# data[].attributes.headline
Vergleich ChatGPT Agent und ChatGPT ProDeepResearch

# data[].attributes.subject
Vergleich ChatGPT Agent und ChatGPT ProDeepResearch

# data[].attributes.body
Ich habe einen Prompt eingesandt, um Informationen zu einem dialektologischen Thema (Germanistik) zu erhalten - an dieser Stelle auch mal herzlichen Dank an die UB, dass uns dieser Service zur Verfügung steht! Beide Versionen liefern meiner Meinung nach einen recht guten Einstieg ins Thema auf dem Niveau eines Bachelor-Studiums. Solide, aber wenig tiefgehend. Die Fachbegriffe der Sprachwissenschaft sind aber ordentlich verwendet, bis auf eine Ausnahme, da wird "Clitics" geschrieben und im Deutschen sollte es "Klitika" oder allenfalls "Clitica" heißen. Einen erheblichen Unterschied zwischen beiden Texten sehe ich in den verarbeiteten Quellen: Hier bietet der Recherchebericht des Agent mehr Quellen als der der 5ProDeepResearch-Version. Der Bericht des Agent ist zwar kürzer, aber tiefgehender und entspricht sehr viel mehr dem, was ich gepromptet hatte (ich wollte etwas über die Syntax eines deutschen Dialekts wissen und nichts über Aussprache, Wortschatz etc.). Fazit: Der Recherchebericht des Agent ist für meine Zwecke (überblicksartige Zusammenstellung von Dialektmerkmalen und Einordnung eines Dialekts in eine Dialektgruppe) sehr brauchbar. Aber natürlich immer noch sehr summarisch und eher oberflächlich.

# data[].attributes.headline
I did ask something challenging, Principles governing the behaviour of mesoscopic structures and what to look at in biology specific. ChatGPT gave answers on the level of a master student, ok, it works, but not really something new for me (like with average master thesis doing literature search).ChatGPT-Pro gave some interesting points, not stunning, but reasonable quality.Still: Best you ask an expert.

# data[].attributes.subject
I did ask something challenging, Principles governing the behaviour of mesoscopic structures and what to look at in biology specific. ChatGPT gave answers on the level of a master student, ok, it works, but not really something new for me (like with average master thesis doing literature search).ChatGPT-Pro gave some interesting points, not stunning, but reasonable quality.Still: Best you ask an expert.

# data[].attributes.body
I did ask something challenging, Principles governing the behaviour of mesoscopic structures and what to look at in biology specific.

ChatGPT gave answers on the level of a master student, ok, it works, but not really something new for me (like with average master thesis doing literature search).

ChatGPT-Pro gave some interesting points, not stunning, but reasonable quality.

Still: Best you ask an expert, this level was not reached by both ChatBots (may be luckily, otherwise Professors would be out of job ....)

# data[].attributes.body
Ich habe nach einer Aufstellung von Datenbanken gefragt, also frei verfügbare wiss. Hilfsmittel, durch die man an Datenmaterial kommt, das man dann für seine jeweiligen Forschungszwecke selber auswerten kann. Und ich muss sagen: Das Ergebnis ist nicht schlecht und lieferte mir erstens Informationen zu zwei Datenbanken, die ich noch gar nicht kannte, zudem auch eine vergleichende Aufstellung zu Größe, Zugänglichkeit, Schwerpunkten, Stärken und Schwächen, sodass man sich ein Bild machen kann, welche Datenbank für welche Forschungszwecke am geeignetsten sein könnte. Nicht in allen Teilen bin ich derselben Meinung und komme ich zum selben Ergebnis - aber im Kern ist das eine solide hilfswissenschaftliche Analyse, die man dann durch eigenes Ausprobieren, genaueres Kennenlernen und Abwägen sicherlich noch vertiefen kann, die aber einen guten Startpunkt bietet.

Komfortabel auch die finale Zusammenfassung der wichtigsten Stärken und Schwächen der jeweiligen Datenbank, gleich versehen mit dem passenden Link.

# data[].attributes.body
In der Tat erstellte Deep Research einen überraschend detaillierten 12 seitigen Bericht zu meiner Anfrage (der des Agents war um einige Seiten kürzer und nicht so in die Tiefe gehend). Die Beschreibungen waren im Großen und Ganzen richtig, bis hin zu den molekularen Mechanismen der Therapieansätze und Krankheitsbildern der geforderten Beispiele (stichprobenartig überprüft). Die Diskussion von Vor-und Nachteilen der Therapiemethoden fand statt, hier vielleicht auf etwas allgemeinere, nicht ganz so tiefgehende wissenschaftliche Weise. Ich denke, es ist sehr gut geeignet, um Anregungen für die Ausarbeitung von Vorlesungen oder Kursen zu erhalten. Was nicht gut geklappt hat, ist die Erstellung von Graphiken oder Diagrammen. Diese waren gar nicht vorhanden, interessanterweise aber passende Bildunterschriften mit Verweis auf Abbildungen von open source Veröffentlichungen zum Thema. Der Agent hatte Abbildungen erstellt, allerdings waren diese typische nonsense KI Graphiken. Powerpoint Erstellung ist noch in der beta-Phase, was man auch merkt. Der Schreibstil war teilweise etwas populärwissenschaftlich gehalten. Bei den Quellenangaben ist noch viel Luft nach oben, die angegebenen existieren aber, mit korrektem Bezug. Für den Life Science Bereich mit viel zugänglichen Informationen ist ChatGPT durchaus als Überblick und Inspirationsquelle nutzbar.

# data[].attributes.headline
Schließe mich dem Votum an: Sieht gut aus, aber wenig dahinter

# data[].attributes.subject
Schließe mich dem Votum an: Sieht gut aus, aber wenig dahinter

# data[].attributes.body
Oberflächlich betrachtet wirkt es wie ein schlüssiger Text, aber eben nur basierend auf dem (Un)Sinn, den das Netz mit allen Widersprüchlichkeiten als Basis liefert. Dabei werden vom Sprachmodell die Widersprüche geflissentlich umschifft und nicht problematisiert. Aber nicht nur das: Auf die Nachfrage nach konkreten Akteuren wurde eine Person 70 Jahre mit einem bedeutenden Werk nach dem zuvor ausgewiesenen Todesdatum aktiv: Beide Daten waren falsch.

Ferner wiederholen sich die Monita:

-additiv (wie auch sonst)

-dürftige Literaturliste

-geringe Diskurstiefe

-unkritisch, nicht problemorientiert

Fazit: bisher bestenfalls ein - durchaus beeindruckend - effizientes Informationsmanagementtool mit Tücken und Lücken; kein wissenschaftliches Instrument.

# data[].attributes.body
Positiv: gute Ausdrucksweise, sinnvolle Gliederung; Formalia (Nummerierung, Einheitlichkeit, etc.) eingehalten; Abstracts in verschiedenen Sprachen funktioniert gut.

Negativ:

Formalia: Tabelle abgeschnitten, geforderte Karte mit Koordinaten, anstatt einer Karte (wild!), Zeitleiste ok, aber schlecht formatiert (Text im Rahmen);

Inhalt: wenig kritisch, Kapitel zu kurz, kein Platz für Diskussion, merkwürdige Quellenverweise (zu wenig, Quellen am Ende als Fußnoten aufgeführt zusätzlich zu einem Literaturverzeichnis); Nutzung nur englischer Quellen (obwohl anders angewiesen!)

--> gute Grundlage, aber muss überarbeitet und geprüft werden. Insbesondere sensible Themen werden einseitig und faktenbasiert dargestellt. Interpretation der Quellen und Kritik fehlt völlig.

# data[].attributes.body
Das Ergebnis ist zum Teil erfreulich, aber auch potentiell problematisch: Meine Kolleginnen und ich haben zum Thema des Prompts publiziert und vor allem auch (in Lehrveranstaltungen mit Studierenden) eine Homepage erstellt. Diese Homepage wurde massiv ausgewertet. Der Text liest sich über weite Passagen wie eine digitale Echokammer.

Dass unser Webangebot so prominent auftaucht, könnte man für positiv halten; es zeigt aus meiner Sicht aber vor allem strukturellen Schwächen und Probleme der KI-Antwort:

1) Unsere auf der Homepage zitierten wissenschaftlichen Publikationen (in einem Peer-reviewed-Journal, open access) wurden sekundär genannt, aber nicht weitergehend ausgewertet.

2) Das Impressum unserer Homepage wurde nicht berücksichtigt, man liest also nur von der Seite und nicht davon, wer sie erstellt hat und wo sie angebunden ist. Diese Art der Auswertung stellt eine strukturelle Gefahr dar, denn jeder kann schließlich umfangreiche Seiten mit (versteckt) zweifelhaftem Inhalt (politisch, esoterisch, ...) aufsetzen. Solche Seiten werden dann zu Leitquellen für ein Thema; wer raffiniert und engagiert umfangreiche Inhalte einstellt, der bekommt rasch ungeprüft die Meinungsführerschaft.

Das scheint mir ein grundlegendes Problem zu sein, denn man kann natürlich immer sagen, dass fragende Personen KI-Ergebnisse selbst überprüfen und kritisch bewerten müssen. In der Praxis wird das aber wohl nicht immer der Fall sein, wenn z. B. Lokalredakteure unter Zeitdruck KI als Rechercheinstrument zu wissenschaftlichen Themen benutzen.

Der Informations-Staubsauger KI funktioniert also auf recht hohem Niveau, auch wenn er wichtige Publikationen (vor und hinter Bezahlschranken) nicht berücksichtigt hat. Er ist aber so blind, dass er leicht zu beeinflussen ist und Einseitigkeiten nicht erkennen kann. Die Auswertung erforderte hochprofessionelle User, die – Paradoxon – schon von Anfang an mehr wissen müssten, als die KI zusammentextet. Denn sonst sehen sie ggf. ein hochverzerrtes Bild, ohne es merken zu können.

# data[].attributes.headline
Liegt es am Prompt oder an der Funktionweise des Sprachmodells - das KI-Ergebnis blieb zumindest zu additiv, die Vorgaben im Prompt wurden unzureichend berücksichtigt. Das Sprachmodell blieb hier zu eng bei den Referenztexten und hat den gewünschten Transfer von den Referenztexten auf ein spezifisches Fach nicht gut gemeistert. Durch iteratives Weiterprompten würde man diese Probleme evtl. aber lösen können.

# data[].attributes.subject
Liegt es am Prompt oder an der Funktionweise des Sprachmodells - das KI-Ergebnis blieb zumindest zu additiv, die Vorgaben im Prompt wurden unzureichend berücksichtigt. Das Sprachmodell blieb hier zu eng bei den Referenztexten und hat den gewünschten Transfer von den Referenztexten auf ein spezifisches Fach nicht gut gemeistert. Durch iteratives Weiterprompten würde man diese Probleme evtl. aber lösen können.

# data[].attributes.body
Der erstellte Text ist sprachlich gut formuliert und greift teilweise auf etablierte Quellen zurück – aktuelle Publikationen (insbesondere aus dem Jahr 2025) fehlen jedoch. Als erste Übersicht ohne vertiefende Analyse ist das Ergebnis aus meiner Sicht insgesamt als gut zu bewerten. Gelungen sind die Zusammenfassungen einzelner Studien (auch meiner eigenen), die präzise und treffend wiedergegeben werden. Dennoch bleiben die Ausführungen insgesamt oberflächlich und es mangelt an analytischer Tiefe sowie detaillierter Auseinandersetzung mit den behandelten Inhalten.

# data[].attributes.body
Insgesamt liest sich das Paper gut, aber es ist sehr oberflächlich und die Literaturliste ist dürftig. Es wäre aus meiner Sicht allenfalls - dann gekürzt - für einen Vortrag geeignet, der sich an ein interessiertes Laienpublikume wendet. Nun muss man aber auch bedenken, dass das Thema sehr spezialisiert ist. Das ist bei anderen Thematiken sicherlich nich einmal anders.

# data[].attributes.body
Insgesamt liest sich das von ChatGPT Deep Research verfasste Paper gut, es ist aber sehr allgemein gehalten und die Literaturliste ist äußerst dürftig. Nun bearbeite ich allerdings auch ein Spezialgebiet. Hier fällt sehr schnell auf, wo fundierte Informationen fehlen. Bei anderen Themen ist das sicherlich schwieriger abzuschätzen. Insgesamt mache ich mir aber schon Sorgen, inwieweit wir zukünftig bereit sind, unseren Verstand und unsere Sprache selbst zu üben und uns an Inhalten abzuarbeiten. Das gehört für mich zu Wissenschaft auch dazu.

# data[].attributes.body
eines der zentralen theoretischen Konstrukte wurde falsch definiert und entsprechend empirische Studien inkorrekt in den Zusammenhang eingeordnet...evtl ein Problem unpräziser Prompts, werde einen neuen Versuch unternehmen.

# data[].attributes.body
Da in unserem Fach online verfügbare Publikationen nicht die Regel sind, kann ChatGPT keine fachlich fundierten Texte verfassen. Aber kann KI vielleicht eine z.B. im Unterricht verwertbare PPP erstellen? Das Ergebnis ist enttäuschend. Trotz detailliertem Prompt war das Ergebnis minimalistisch: zu jeder Vorgabe wurde gerade mal eine Folie erstellt. Ungeachtet der Vorgabe "reich bebildert" zeigten die Folien vor allem Text. Die Auswahl der Bilder war, freundlich ausgedrückt, "ungewöhnlich". Ein Beispiel: Die Folie zu einer Ausgrabung der zu behandelnden Institution zeigte als einziges Bild das in der Nachbarschaft zum Grabungsgelände befindliche Touristenhighlight.

Größter Kritikpunkt: Die wichtigste "Quelle" für Text und Bild war Wikipedia.

Fazit: Wissenschaft ist nicht die Ansammlung von Wissen. Für eine sinnvolle Nutzung von ChatGPT, zumindest in meinem Fach, sehe ich noch einen weiten Weg.

# data[].attributes.body
Das von ChatGPT Deep Research verfasste Paper liest sich sehr gut und es wartet mit zahlreichen Quellen auf. Ohne eigene und solide Kenntnis dieser Quellen birgt das ChatGPT-Paper die große Gefahr, dass man vieles, wenn nicht alles für bare Münze nimmt. Kennt man die Quellen jedoch und ist in der Lage diese kritisch einzuordnen, dann offenbaren sich schnell zahlreiche und teils auch gravierende Fehler in dem von ChatGPT erstellten Text. Manches davon ist in der Tat eher halluziniert als wissenschaftlich bestätigt. Offensichtlich ist auch, dass ChatGPT nicht auf dem aktuellen Stand der im Internet verfügbaren Quellen ist. Postiv hervorzuheben ist die enorme Geschwindigkeit, mit der die Quellen recherchiert und der Text verfasst wurden. Da braucht man alleine für das Lesen des Textes schon länger. Dennoch, wenn die Wissenschaft nicht auf das Niveau von ChatGPT-Publikationen hinabsinken möchte, benötigen wir Tools, die uns dabei helfen, Fehler in KI-generierten Texten zuverlässig zu erkennen. Für die Quellenrecherche kann ChatGPT sehr hilfreich sein. Die kritische Sichtung und Interpretation der Quellen sollte man aber besser selbst vornehmen.

# data[].attributes.body
Ich bin erleichtert! Oberflächlich betrachtet sieht das Ergebnis passabel aus, näher betrachtet weist es erhebliche Lücken auf, weil die wesentliche Fachliteratur nicht open access digital vorliegt und so weite Quellenkomplexe, die einschlägig für das gewählte Thema sind, ignoriert werden. Hauptsächlich ist es eine Zusammenfassung von Wikipedia-Artikeln. Übersetzungsfehler aus dem Deutschen verfälschen, eine kritische Einordnung der ohnehin ja schon nur eingeschränkt herangezogenen Literatur fehlt gänzlich und so kommt es im Ergebnis zu Falschaussagen. Wäre es eine studentische Hausarbeit würde ich bestenfalls eine 4,0 vergeben.

UPDATE 24.07.2025: Definitiv durchgefallen! Viele falsche, sinnlose Wörter, daneben einige Halluzinationen - Angaben erfundener Literatur, d.h. es werden Werke in der mageren Literaturliste angegeben, die es gar nicht gibt!

# data[].attributes.body
Ein recht beeindruckendes erstes Ergebnis. Die Literaturliste hätte etwas länger ausfallen können und der Text dafür etwas kürzer. Dafür wurden tabellarische Angaben gut umgesetzt und waren einfacher auszulesen, als wenn man die Originaltexte einzeln konsultiert.