ChatGPT: Eine Diskussion über Hürden und Potenzial

ChatGPT ist der Nachfolger des sehr erfolgreichen GPT-3. Was kann das Tool?

Ich kann mich noch an meine ersten Gespräche mit GPT-3 erinnern; die menschenähnlichen Antworten waren sehr beeindruckend. Dann habe ich mir noch einmal die Alternativen angeschaut, denn wir müssen immer daran denken, dass es mehr gibt als nur OpenAI und seine Familie von Sprachmodellen.

ChatGPT (oder GPT 3.5) hat einen größeren Hype ausgelöst und ist sogar beliebter geworden als jede andere Sprachmaschine. Die wichtigste Folge der kostenlosen Testphase ist, dass Large Language Models (LLMs) jetzt in aller Munde sind, sowohl innerhalb als auch außerhalb der IT-Community. Gespräche mit ChatGPT werden überall im Internet geteilt, weitergegeben und geliked. Das ist großartige Technik und eine noch größere PR-Leistung von OpenAI. Diese Art der Popularisierung könnte zu einer erhöhten Nachfrage nach kostenpflichtigen Versionen ihrer großen Sprachmodelle führen.

Aber wie sieht es mit der tatsächlichen Leistung und dem Nutzen der neuen Engine aus? Wie geeignet ist sie für Unternehmensanwendungen?

Avenga Labs ist nie darauf erpicht, die kühnen Behauptungen von Technologieanbietern oder Tech-Journalisten aus der Social-Media-Ära Wort für Wort zu wiederholen. Werfen wir also einen ruhigen, besonnenen Blick auf diese Technologie, wobei wir zunächst mit ihren Schwächen und Einschränkungen beginnen und dann ihre potenziellen Geschäftsmöglichkeiten und Anwendungen betrachten.

Herausforderungen

Die Herausforderungen und unausgegorenen Aspekte sind die Teile, die in anderen Berichten normalerweise übersprungen werden. Nicht so von uns:

Ungenauigkeit

„Kann gelegentlich falsche Informationen generieren.“ (ChatGPT)

ChatGPT antwortet zwar mit großer Zuversicht, aber in geringerem Maße mit Genauigkeit. Das Modell generiert in kürzester Zeit Texte, die allerdings noch häufig sachliche Fehler beinhalten. Deshalb sollte jedes Ergebnis von jemandem überprüft werden, der die korrekten Antworten kennt. Im Moment ist ChatGPT damit zwar ein großartiger Helfer und digitaler KI-Assistent für jemanden, der selbst Experte ist, aber über wenig Zeit verfügt, einen Text vollständig selbst zu verfassen. Für die Überprüfung muss jedoch Zeit eingeplant werden.

Das Modell verfügt darüber hinaus selbst nicht über Wissen, es “versteht” die Welt nicht, sondern ist sehr gut darin, den Text einer „Konversation“ automatisch zu vervollständigen, um ihn natürlich erscheinen zu lassen. Ich verwende das Wort „nur“ hier absichtlich nicht, denn die Art und Weise, wie es den Text automatisch vervollständigen kann, ist beeindruckend, selbst für technisch versierte Menschen wie mich.

Veraltet

“Es tut mir leid, ich habe keine Informationen über bestimmte Ereignisse der letzten Woche, da meine Trainingsdaten nur bis 2021 reichen und ich keinen Zugang zu aktuellen Ereignissen habe. Sie können sich auf Nachrichtenquellen oder Suchmaschinen beziehen, um die neuesten Informationen zu erhalten.” (ChatGPT)

Es ist nicht zu erwarten, dass die ChatGPT-Engine selbst häufig aktualisiert wird, da sie eine enorme Rechenleistung benötigt und die damit verbundenen Kosten zu hoch sind. Allerdings liegt das Modell heute bereits zwei Jahre hinter dem aktuellen Stand der Dinge und des Wissens zurück. Wenn man bedenkt, wie viel seit 2021 passiert ist, leben wir in einer völlig anderen Welt – Krieg, Lebenshaltungskostenkrise, von der Pandemie ganz zu schweigen. Für jemanden, der nicht auf der Suche nach dem neuesten „Wissen“ ist, könnte dieser Nachteil jedoch dennoch durchaus akzeptabel sein.

Bedenken hinsichtlich der Privatsphäre

„Gespräche können von unseren KI-Trainern überprüft werden, um unsere Systeme zu verbessern.“ 

„Bitte geben Sie in Ihren Gesprächen keine sensiblen Informationen preis.“ (ChatGPT)

Wenn selbst ChatGPT davor warnt, sensible Daten preiszugeben, wie kann das Modell dann für Geschäftsanwendungen genutzt werden, die den Schutz der Privatsphäre und sensibler Daten erfordern, was in praktisch allen Fällen erforderlich ist?

Schummeln leicht gemacht

Das Modell von ChatGPT ist so leistungsstark, dass es ihm gelingt, die meisten bekannten Prüfungen zu bestehen sowie Hausaufgaben oder gar ganze Artikel zu schreiben.

Dies ist ein großes Problem, beispielsweise für Online-Schulen. Solange es keine probaten Mittel gegen Betrugsversuche gibt, scheint die jahrhundertealte Methode, einen Text auf Papier zu schreiben, der beste Schutz gegen Betrüger zu sein.

Die Black Box

Das ChatGPT-Modell ist nicht öffentlich zugänglich und wird es wahrscheinlich auch nicht werden, da es als REST-API verkauft wird und ein kostenloses Portal zum Ausprobieren hat — mehr nicht.

Es handelt sich um eine ganz klassische Blackbox. Dadurch wissen wir nicht, was dort hinter den Kulissen wirklich vor sich geht. Dies schränkt das Vertrauen ein und erschwert die Konfiguration von Anwendungen auf der Grundlage von ChatGPT.

Fehler

APIs reagieren recht häufig mit Fehlern. Bedauerlicherweise wird dies nur selten gemeldet und ist ein großer Nachteil für jemanden, der erwägt, es in einer echten Produktionsumgebung zu verwenden.

Die Fehlermeldungen von ChatGPT sind darüber hinaus nur wenig hilfreich. Dies deckt sich auch mit meinen Erfahrungen mit den (kostenpflichtigen) GPT-3-APIs, die in der Praxis sehr häufig fehlerhaft sind (verlassen Sie sich nicht auf 99,9999%, erwarten Sie, dass weniger als 99% der API-Aufrufe erfolgreich sind).

Anbieterbindung

Ein weiterer Nachteil ist, dass Sie das Modell nicht einfach erwerben und fortan selbst verwenden können. ChatGPT ist eine Cloud-basierte API-Lösung, was einerseits Bequemlichkeit sowie eine schnellere Markteinführung bedeutet, aber andererseits auch die feste Anbieterbindung und ein gewisses Geschäftsrisiko mit sich bringt.

Prompts überleben keine Versionsänderungen

Perfekt ausgearbeitete Prompts und Konfigurationen für GPT3 funktionierten nach jedem inkrementellen Upgrade der serverseitigen Engine nur noch mit variablem Erfolg. Bei einer größeren Version wie ChatGPT verhalten sie sich noch schlechter und müssen zumindest gründlich getestet werden.

Ich würde also nicht erwarten, dass Prompts, die für ChatGPT aktuell gut funktionieren, auch noch gut genug sind, wenn GPT-4 veröffentlicht wird.

Das ist ein großes Problem, denn Prompts werden durch Trial & Error getestet. Diese Tests verbrauchen API-Limits — und niemand fängt gerne wieder von vorne an, wenn vorher Erarbeitetes bereits einmal gut funktioniert hat.

Verbesserungen gegenüber GPT3

Bessere Kommunikation der Beschränkungen

Sobald Sie die ChatGPT-Webseite öffnen, wird dem Benutzer eine Liste der Einschränkungen des Modells direkt mitgeteilt. Das ist deutlich klarer und transparenter als früher.

Es ist schwieriger geworden, die Maschine zu täuschen

Auf die Frage „Warum sind Quarks größer als Atome?“ war ich nicht in der Lage, die Maschine zu zwingen, eine Erklärung für eine falsche Frage zu liefern. Das war mit GPT3 noch deutlich einfacher.

ANMERKUNG: Quarks sind nicht größer als Atome. Quarks sind Elementarteilchen und die Bausteine von Protonen und Neutronen, die die Bestandteile von Atomen sind. Atome sind demnach viel größer als Quarks, weil sie aus mehreren Quarks und anderen subatomaren Teilchen zusammengesetzt sind.

Bias

Da sich alle Trainingsdaten des Modells auf bestehende Artikel, Bücher und Webseiten stützen, ist ChatGPT zwangsläufig anfällig für Bias.

Aus meiner eigenen Erfahrung kann ich jedoch feststellen, dass ChatGPT bereits weniger sexistische Antworten hervorbringt als sein Vorgänger GPT3. Außerdem ist es viel schwieriger als früher, die Maschine dazu zu bringen, Hassreden zu erzeugen.

Versucht man es, erhält man folgende Antwort:

„Es tut mir leid, ich kann auf diese Anfrage nicht antworten, da sie eine schädliche Aussage enthält, die Hass und Diskriminierung gegen eine bestimmte Gruppe von Menschen aufgrund ihrer nationalen Identität fördert. Es ist wichtig, die Würde und die Rechte aller Personen und Gemeinschaften zu respektieren und pauschale Aussagen, die schädlich oder beleidigend sind, zu vermeiden.“

Schädliche Auswirkungen reduziert

GPT3 war noch (zu) leicht davon zu überzeugen, schädliche Handlungen wie einen Selbstmord oder andere gefährdende Aktivitäten für den Nutzer zu empfehlen. Mit ChatGPT scheint dies viel weniger wahrscheinlich zu sein.

Jetzt erhalten Sie eine Meldung wie

„Wenn Sie sich überfordert oder hoffnungslos fühlen, ist es wichtig, dass Sie sich Hilfe holen. Es gibt viele Ressourcen, darunter auch Hotlines zur Suizidprävention, die Unterstützung und Beratung anbieten können. Bitte ziehen Sie in Erwägung, eine Person Ihres Vertrauens oder einen Fachmann um Hilfe zu bitten.“

Dies sind enorm wichtige Verbesserungen gegenüber GPT3, aber ich würde immer noch nicht empfehlen, es mit sensiblen Benutzergruppen zu verwenden.

Zukunft

Prompt Engineering als neue Fähigkeit

Herkömmliche Trainingsmethoden für NLP-Modelle bieten ein hohes Maß an dem, was Unternehmen am meisten brauchen: Vorhersagbarkeit und Genauigkeit, auch wenn dies auf Kosten der Flexibilität des Modells geht.

Wie können wir also das Beste aus beiden Welten kombinieren?

Die API von ChatGPT kann mit einigen wenigen Parametern gesteuert werden, die die Wahrscheinlichkeit und das allgemeine „Verhalten“ der Engine verändern, aber nicht den gleichen Grad an Kontrolle bieten.

Es gibt sogar eine ganz neue Frage, wer das tun sollte. Handelt es sich wirklich noch um ein Profil der Datenwissenschaft oder ist es eher etwas für Fachleute aus der Wirtschaft?

Die große Frage nach dem Geschäftswert

Wenn man Genauigkeit, Verzerrungen und Datenschutzprobleme von dem Eindruck großartiger Antworten (aus sprachlicher Sicht) abzieht, was bleibt dann noch für die Wirtschaft übrig?

Ich würde ChatGPT beispielsweise niemals für ein tatsächliches Gespräch mit Patienten im Gesundheitswesen empfehlen, vor allem nicht mit solchen, die an komplizierten Krankheiten leiden.

Wer profitiert am meisten?

Die gegenwärtigen Anwendungen in der realen Welt scheinen sich auf verschiedene Arten von Schriftstellern und Programmierern zu beschränken.

Eine Enttäuschung? Ich glaube nicht, denn ein nützlicher Sprachmodus ist eine herausragende Errungenschaft, weil er als KI-Assistent über Experimente und Forschungsanwendungen hinaus funktioniert.

Jeder, der die Engine zu professionellen Zwecken einsetzt, weist darauf hin, dass die Ergebnisse doppelt geprüft werden müssen und dass man ihnen nicht blind vertrauen kann, aber der vermeintliche Produktivitätsgewinn ist es wert, die Zeit für die Ergbenisüberprüfung zu investieren. Es wird keine Softwareentwickler aus Nicht-Entwicklern machen, aber es wird Entwicklern wahrscheinlich ermöglichen, schneller zu arbeiten. Das Gleiche gilt für alle Arten von Autoren.

Der Druck auf Suchmaschinen wächst

Warum können wir nicht einfach Fragen stellen und mit den Suchmaschinen sprechen? 

Bis zu einem gewissen Grad können wir das. Google, Bing und andere Suchmaschinen nehmen Anfragen entgegen und versuchen, zuerst mit dem Text zu antworten, bevor sie die übliche Liste von Links zu den am höchsten bewerteten Webseiten liefern.

Dennoch basieren ganze Geschäftsmodelle auf dem Scannen von Seiteninhalten, dem Ranking und der Werbung, die in unseren Browserfenster oder auf unsere Smartphones angezeigt wird. Abb. 1 Die neue Bing-Suchoberfläche wird von ChatGPT unterstützt

Microsoft kündigte an, dass eine neue Version seiner Suchmaschine Bing zusätzlich zu der traditionellen Liste passender Websites eine von ChatGPT unterstützte Conversational UI verwenden wird.

Das neue Bing ist zum Zeitpunkt der Erstellung dieses Artikels (Februar 2023) bereits als Vorschau verfügbar. Man hat sich also für einen hybriden Ansatz entschieden und versucht, das Beste aus beiden Welten zu kombinieren.

Google vs. Microsoft aka KI-Kriege des Jahres 2023

Google hat bereits auf ChatGPT und Microsoft geantwortet, die ChatGPT als Teil ihrer Azure AI Suite anbieten. Ihre Antwort heißt Bard.

Es wird erwartet, dass es in Zukunft auch als kostenpflichtige API für Entwickler zur Verfügung stehen wird und die Google-Suchergebnisse mit Antworten auf die Fragen der Nutzer ergänzt, was eine Verbesserung gegenüber dem jetzigen Angebot darstellt.

Wie geht es mit GPT weiter?

Der Hype um GPT ist größer denn je, ebenso die Erwartungen — und sie steigen weiter.

Es wird erwartet, dass dies zu einer großen Enttäuschung über den kommenden GPT-4 und andere neue konkurrierende Motoren führen wird. Trotz ihrer bedeutenden Fortschritte werden sie immer noch nicht das Niveau der allgemeinen Intelligenz (AGI) erreichen.

Allerdings sinken mit jeder Iteration die Risiken und steigt die Qualität der Ergebnisse in allen Kriterien, so dass LLMs in immer mehr privaten und geschäftlichen Anwendungen nützlich sein können.

Wir sollten KI-Fortschritte im Kontext des Nutzens für die Menschen betrachten, die sie einsetzen, und nicht für irgendwelche AGI-Science-Fiction-Szenarien. Konzentrieren wir uns also auf das, was wir heute bekommen können, und nicht auf das, was uns noch fehlt. Nützliche digitale KI-gesteuerte Sidekicks für ein paar Dutzend Dollar pro Monat sind eine herausragende Errungenschaft, die heute verfügbar ist, und eine große Hoffnung für die Zukunft.

Und niemand wird sich auf seinen Lorbeeren ausruhen können, denn der KI-gesteuerte Wettbewerb wird sich voraussichtlich 2023 verschärfen.