GPT & Co (6/6)— Reasoning: Was fehlt noch zum Artificial General Assistant?

Mensch, Maschine!

Warum Sprachmodelle bei Schlussfolgerungen stolpern und wie wir wirklich zuverlässige Assistenten bauen könnten

Sprachmodelle sollen bald alles können, was Mitarbeiter im Homeoffice können. AutoGPT & Co zeigen schon jetzt, was möglich ist, wenn die künstlichen Assistenten selbst Aufgaben abarbeiten, Mails schreiben und Konten managen. Aber bisher muss ein Mensch jede Aktion gegenprüfen, weil die für LLMs typischen Halluzinationen in der Interaktion mit der realen Welt zur Gefahr werden. Doch lassen sich diese verhindern? Können wir wirklich zuverlässige Sprachmodelle schaffen, die Ärztinnen, Anwälte und Verwaltungsbeamte ersetzen können. Nur, wenn wir verschiedene KIs miteinander kreuzen. Sogenannte „hybride KI“ könnte viele Jobs ersetzen — wenn sie gelingt.

Links & Literatur Long Ouyang et al. versuchen in dieser Studie herauszufinden, warum es wichtig ist, nach der Meditation Socken zu essen. Oder besser gesagt: Warum Sprachmodelle das glauben.

Wie Chain-of-thought-Prompting bei LLMs die Fähigkeit zur Schlussfolgerung verbessert zeigen Jason Wei et. al.

Erik Zelikman et al. hoffen darauf, dass sich die Maschine durch Beispielschlussfolgerungen selbst im Schlussfolgern verbessern kann. Aber auch diese Lösung hat einige Schwächen.

Hybride KI könnte formale Wissenssysteme mit Sprachmodellen integrieren und so zuverlässige aber dennoch vielseitige Assistenten ermöglichen.

Ein ganz ähnliches Konzept verfolgt das Prinzip des thinking-on-graph.

AutoGPT verbindet das Sprachmodelle GPT bereits interaktiv mit dem Netz, sodass es als Assistent selbstständig Aufgaben zerlegen und ausführen kann — ähnlich wie ein/eine Mitarbeiter/in im Homeoffice. Nur, dass es dafür noch viel zu viele Fehler macht.

Credits

Trefft mich auf Bluesky oder Twitter.

Vielen herzlichen Dank an Johann Niegl für die Titelmusik und Hans-Jakob Gohr für die Covergestaltung. <3