„Deep Research“

Google Deep Research Self-Instructing nutzt Dinge wie: „Ich bin promovierter Forscher für Zeitgeschichte des Kalten Krieges und Deutschlands mit Spezialkenntnissen im Bereich nachrichtendienstlicher Operationen und verfüge über außergewöhnliche analytische Fähigkeiten und Kompetenzen in der Berichterstellung.“ Erzähler: It did, in fact, not have any of these.

Die naheliegende Frage wäre, was das über durchschnittliche promovierte Forschende der Zeitgeschichte aussagt. Das würde ich allerdings, genau entsprechend dem Self-Instructing, aus einer anderen Sicht sehen: Es werden in den Deep Research-Werkzeugen nur Websites angesteuert, also selten Paywalled Articles, Papers, Journals und Bücher und so weiter. Je nach Kontext bedeutet das, dass nahezu nur Berichte über eine Sache auftauchen, jedoch sehr selten aus Sicht der Sache. Und beide sind ohnehin in der bekannten Qualität zu finden, wie sie im Internet eben im Schnitt zu finden sind.

Bei differenzierten Themen, ganz besonders bei denen es leicht ist, schnell eine Meinung zu haben, fehlt auch oft die Zugänglichkeit zu differenzierten oder aufarbeitenden Inhalten. Also werden, wie LLMs es tun, Zugänglichkeitslücken über Extrapolationen und Regressionen zum Mittelwert geschlossen. Da kommt dann das Problem der Qualifizierung hinzu, mindestens noch eine Mischung aus Alter und Obskurität, sodass Materialien, selbst wenn existent, entsprechend seltener genutzt werden: Wenn Fakten vorhanden sind, werden sie durch die pure Quantifizierung anderer Daten im Bestand untergehen. „Fakt“ und „Wahrheit“ sind hier schließlich das, was einem Mittelwert am nächsten kommt, und dabei spielt es keine Rolle, ob es eben wahr ist oder nicht.

Der Kulturpessimist in mir würde schnell anmerken, dass damit das „Everlasting Now” noch mehr perpetuiert wird und sich die Hypermoderne noch mehr beschleunigt; sich auf das Digitale konzentriert wird und dadurch noch mehr aus sich selbst heraus ernährt. Es gibt mit Sicherheit auch kein finanzielles Interesse daran, andere – also: analoge – Datenbestände verfügbar zu machen; der Aufwand wäre beträchtlich. Den Optimismus aus Reddit-Threads teile ich daher nicht, dass OpenAI, Anthropic und so weiter das ernsthaft machen werden, um so Wettbewerbsvorteile zu haben. Denn offensichtlich befriedigt bereits das, wie es ist, eine kritischen Masse von Anwender:innen. Das wird sich nicht nur hart auf Expertise auswirken.

Flankierend ist da auch noch die Tech-Bro-Denke, die aus dieser spärlichen Sicht auf die Wirklichkeit (wo auch immer wir diese haben) eine repräsentative oder gar normative Sichtweise macht: „Wenn wir doch nur mehr Daten hätten, bräuchten wir keine Gesetze!“ Es wäre naiv, nicht zu erwarten, dass dafür gezielte Manipulationen durch LLMs vorgenommen werden. Was kann schon schiefgehen.

Beim Self-Instructing ist mir dazu auch aufgefallen, dass bereits Vorannahmen in den Prompt eingefügt werden. Zum Beispiel habe ich in meinen Recherche-Tests Anfragen zu lokalen Ausprägungen bei Zeitkoloriten. Dafür hat Deep Research ungefragt eingefügt, sich in München auf Bier und an der Mosel auf Wein zu konzentrieren. Das ist (hier) sicher korrekt, wenn man von einer Normalverteilung ausgeht, aber das sollte das Ergebnis sein, nicht eben die Vorannahme.

Es ist also Fluch und Segen zugleich, dass es Dinge wie das Internet Archive, Sci-Hub, LibGen und Co. gibt. Ohne sie wäre das alles gar nicht möglich gewesen und ohne sie wären die Datenbestände vermutlich noch viel stärker verzerrt. Aber auch da: Wer konnte ahnen, dass sich die Kritik bereits zu GPT-3, Biases nur zu verstärken, bewahrheiten würde. Du musst das Material bereits kennen, um zu erkennen, wenn dein Fuß durch einen Boden geht, der vorher fest war.