So unspektakul\u00e4r und \u201anicht neu\u2018 Sprachmodelle manchen Eingeweihten erscheinen oder tats\u00e4chlich sein m\u00f6gen, sind die im November 2022 mit der Ver\u00f6ffentlichung von ChatGPT losgetretenen Disruptionswellen nicht kleinzureden. Oder \u2013 mit \u00ad\u00ad den unbescheidenen, aber zutreffenden Worten des OpenAI-CEO Sam Altman gesprochen: \u201e[We] shot the [IT] industry out of a railgun\u201c.<\/p>\n
Also ist der Geist nicht nur aus der Flasche, vielmehr hat man ihn mit Lichtgeschwindigkeit hinausgeschleudert. Dabei gen\u00fcgt ein Blick auf die rekordhaften Nutzerzahlen sowie das nerv\u00f6se Agieren der seither wachger\u00fcttelten Konkurrenten, die mit eigenen, genauso niedrigschwelligen Angeboten endlich nachr\u00fccken und punkten wollen.<\/p>\n
Obwohl branchen\u00fcbergreifend, sind die Umw\u00e4lzungen nirgends so augenf\u00e4llig wie im Bildungs- bzw. Hochschulbereich. Hier dr\u00e4ngt sich ein dicker Fragenkatalog hinsichtlich Sinnm\u00e4\u00dfigkeit tradierter Arbeitsweisen und Werte auf. Dabei reicht es nur das Stichwort Pr\u00fcfungskultur zu nennen, oder ganz plakativ zu fragen: Welche Kompetenz weiterhin in einer Hausarbeit \u00fcberhaupt zu messen w\u00e4re, wo einst m\u00fchselige Formulierungs-, Argumentations- und Rechercheprozesse Studierenden scheinbar auf Wunsch vollautomatisch abgenommen und nur schwerlich nachverfolgt werden k\u00f6nnen?<\/p>\n
Seit dem Aufkommen von ChatGPT ist damit viel Altbewehrtes infrage gestellt, wenn nicht g\u00e4nzlich museumsreif gemacht worden.<\/p>\n
In Deutschland hat man sich mehrheitlich vom sonst \u00fcblichen Kultur- und Technologiepessimismus losgesagt und zeitig die \u201aFlucht nach vorne\u2018 ergriffen. Gefordert und ermutigt wird f\u00fcr den Hochschulbereich: abseits einer Verbotskultur \u2013 mehr Diskussion, bei Kompetenznachweisen \u2013 mehr Performanz, beim Umgang mit KI-Tools \u2013 mehr Experimentieren, Transparenz und Reflexion.<\/p>\n
Obwohl man dieser Grundhaltung nur beipflichten kann, bleibt absehbar, dass es \u00fcber die guten Vors\u00e4tze und die mitunter eher als \u00dcbergangs-, wenn nicht Verlegenheitsl\u00f6sungen wirkenden Empfehlungen hinaus einer tiefergreifenden Revision\/Neuaushandlung von Bildungsstandards bedarf. Ihre anschlie\u00dfende Durchsetzung wird zudem mit vielen Herausforderungen (sprich: Kopfschmerzen f\u00fcr alle Stakeholder) einhergehen.<\/p>\n
Dieser Beitrag will aber au\u00dferhalb von Grundsatzdebatten die Chancen aus individueller Lerner:innen-Sicht knapp ins Auge fassen und auf eine grundlegende Unterscheidung bei der Bewertung solcher Systeme hinweisen.<\/p>\n
Die didaktischen Vorteile wurden vielerorts, nicht zuletzt in einem praktikablen UNESCO-Paper mittels einer Rollen-Taxonomie definiert. Dabei sind f\u00fcr Studierende sowie Wissensarbeiter aller Couleur mehrere Spielarten eines stets verf\u00fcgbaren personalisierten Sparrings Partners von Interesse (Possibility Engine, Socratic opponent, Study buddy, Personal Tutor etc.). Ich werde dies anhand von drei g\u00e4ngigen Anwendungsf\u00e4llen und mit eigenen Erfahrungspunkten veranschaulichen. Dabei geht es mir weniger um technische Details als um praktische Hilfestellungen, die der Bot \u2013 mittlerweile um zahlreiche Drittanbieter-Plugins erweitert \u2013 leisten kann.<\/p>\n
Recherchefunktionen sollten eigentlich den Kern von ChatGPT ausmachen, da ein schneller Zugang zu vorstrukturierten Wissensbest\u00e4nden die gr\u00f6\u00dfte Arbeitserleichterung bei st\u00e4ndiger Informationsflut darstellt. Gleichzeitig ist das Model auf Plugins von Drittanbietern angewiesen, wie z.B. ScholarAI (zum Durchforsten von akademischen Publikationen), LinkReader (zur Websuche) oder etwa ChatWithPDF (zur Analyse\/Befragen von Einzeldokumenten). Immerhin werden keine Autoren und Quellenverweise mehr halluziniert bzw. frei erdichtet. Auch wird per Plugin auf tats\u00e4chlich existierende Titel verlinkt, wobei die beigef\u00fcgten Zusammenfassungen akkurat wirken.<\/p>\n
Thematische Nuancen und Problemstellungen aus Nischen-Bereichen werden allerdings weitgehend ausgeblendet und von Artikeln mit g\u00e4ngigerer Thematik \u00fcberlagert. Ein Dauerthema ist dabei, dass man in einen Loop des Nachjustierens von Ausgangsprompts ger\u00e4t, ohne aber zu einem zufriedenstellenden Ergebnis zu gelangen.<\/p>\n
Die webgest\u00fctzte Suche war dagegen ergiebiger, ein klarer Mehrwert gegen\u00fcber einer herk\u00f6mmlichen Suchmaschinen-Anfrage blieb (wenigstens bei meinen Testl\u00e4ufen und Prompt-Skills) uneindeutig.<\/p>\n
Die PDF- und Dokumentenanalyse leistet deutlich mehr als \u201estrg+F\u201c, hier kann man sich ganze Standpunkte etwa von Interviewteilnehmer im Wortlaut exzerpieren lassen und dass noch mit korrekter Seitenangabe. Einige Plugins tun sich allergings schwer bei der Layout-Erkennung von Dokumenten und k\u00f6nnen somit weder zwischen Kapiteln unterscheiden noch folglich genaue Zusammenfassungen liefern.<\/p>\n
Besonders in dieser Rolle hat sich ChatGPT einen Namen gemacht und auch in meiner Erfahrung gut geschlagen. F\u00fcr mich als Anf\u00e4nger in Python waren die ausgegebenen Codezeilen und begleitenden Hinweise durchaus hilfreich. Auch wurden einfache Programme\/Funktionen, die ich meiner Einstiegslekt\u00fcre entnommen habe, korrekt ausgef\u00fchrt. Dort, wo dies nicht der Fall war, wurde nachvollziehbar dargestellt, wieso und was anzupassen ist. Hut ab!<\/p>\n
Wie es sich bei komplexeren Problemstellungen verh\u00e4lt, k\u00f6nnen eher Fortgeschrittene einsch\u00e4tzen, auch l\u00e4sst sich bei derart technischen Angelegenheiten nicht auf das eigene Dom\u00e4nenwissen zur\u00fcckgreifen. Daher sollte man auch hier, wo der Bot scheinbar gl\u00e4nzt, vorsichtig bleiben.<\/p>\n
Anders im angrenzenden Feld der Mathematik. ChatGPT war von Anfang an f\u00fcr seine Rechen- und Logikfehler ber\u00fcchtigt. Und obwohl hier Verbesserungen erkennbar sind (etwa bei einfachen Rechenaufgaben) und mittlerweile eine Integration mit WolframAplha verf\u00fcgbar ist, lassen die Ergebnisse noch viel zu w\u00fcnschen \u00fcbrig.<\/p>\n
So kann der Bot die richtige L\u00f6sung meistens auf Anhieb \u201aerraten\u2018 oder per Wolfram ziehen, verstrickt sich jedoch bei der Beweisf\u00fchrung in Widerspr\u00fcche. Dabei hilft auch der bewehrte Kniff \u201eLass uns Schritt f\u00fcr Schritt vorgehen\u201c wenig: Dies versetzt die Maschine nicht nur in Erkl\u00e4rungsnot, sondern in einen Teufelskreis irref\u00fchrender Folgerungen, aus dem es selbst nicht hinausfindet. Es kann zwar den eigenen \u201eDenkfehler\u201c benennen, hat aber keinen logischen Unterbau, um dies begrifflich und folgerichtig aufzul\u00f6sen. Auf dem Feld des Erkl\u00e4rens und Verstehens werden die didaktischen Einschr\u00e4nkungen des Sprachmodels am ehesten offengelegt.<\/p>\n
Nein, dieser Artikel wurde nicht von ChatGPT verfasst \u2026 er stand mir allerdings am Anfang und am Ende des Schreibprozesses beiseite. Zun\u00e4chst hatte ich ihn nach Ratschl\u00e4gen zu Inhalt und Strukturierung des vorliegenden Beitrags ausgefragt. Und: Wenn ChatGPT etwas kann, dann vern\u00fcnftig klingende Ratschl\u00e4ge erteilen und diese \u00fcbersichtlich gliedern. Titel, Zwischen\u00fcberschriften mit Anleitungen\/Leitfragen zu m\u00f6glichen Absatzinhalten inkl. Wortzahl wurden allesamt geliefert. Bereits das Vorhandensein von Schlagworten und m\u00f6glichen Gedankenstr\u00e4ngen, gepaart mit dem oft bekundeten beruhigenden Gef\u00fchl, nicht ein leeres Blatt vor sich zu haben, sorgt f\u00fcr Abhilfe. Abschlie\u00dfend wurde der Beitrag gro\u00dfz\u00fcgig evaluiert. Ein Schmeichler kann er also auch sein.<\/p>\n
Qualitativ wirkt das Vorgeschlagene jedoch zu flach und schematisch. Solche Schreibassistenzen sind m.E. in erster Linie als Ansto\u00dfpunkt nicht nur im Sinne eines \u201eSokratischen Streitpartners\u201c produktiv einsetzbar. Als fiktive Vertreter eines faden Stils oder Denkwegs, den man sich selbst nicht aneignen bzw. nicht einschlagen will, k\u00f6nnen so generierte Texte hingegen als Kontrastfolie dabei helfen, zum eigenen Ausdruck zu finden.<\/p>\n
Bei kleineren Schreibauftr\u00e4gen, wie \u201eLiefere mir ein Gegenargument zu X\u201c, oder \u201eFormuliere eine Likert-Skala-Frage mit entsprechenden antworten f\u00fcr Zielgruppe X im Kontext Y\u201c, erh\u00e4lt man wiederum mehr als brauchbare und insgesamt weniger problematische Ergebnisse, wobei Korrekturlesen auch hier ein Muss bleibt.<\/p>\n
Obwohl das aktuelle Ergebnis eher ern\u00fcchternd ausf\u00e4llt, handelt es sich nur um eine Zwischenbilanz, die zudem auf einer verzerrten Erwartungshaltung gr\u00fcndet, der Bot sei ein Wahrheits-Generator oder unfehlbarer Universalgelehrter.<\/p>\n
Um das volle Potenzial von LLMs wahrzunehmen, sollten ihre Einschr\u00e4nkungen nicht (nur) als Manko, sondern als Feature verstanden werden. KI-Systeme wie ChatGPT setzten bewusst auf Wahrscheinlichkeit und nicht auf \u201aWahrheit\u2018 \u2013 auf ihre Vorhersage- und eben nicht auf Urteilsf\u00e4higkeiten (hierzu Prediction Machines<\/em> von Agrawal, Gans und Goldfarb). Strenggenommen, verf\u00fcgen sie \u00fcber letztere gar nicht. Jedem Prompt versucht ChatGPT mit der allerwahrscheinlichsten Ausgabe zu entgegnen \u2013 nicht mehr und nicht weniger.<\/p>\n Daf\u00fcr gibt es einen einfachen \u00f6konomischen Grund: Vorhersagen (das Erschlie\u00dfen neuer Informationen anhand vorhandener Daten) ist und wird immer kosteneffizienter als das Nachbauen von menschen\u00e4hnlicher Kognition. Zudem gibt es Kontexte, in denen maschinelle Mustererkennung unsere Vorhersage-M\u00f6glichkeiten \u00fcbertrifft (z.B. bei Krebsdiagnose).<\/p>\n Daher bleiben kritische Reflexion und logisches Urteilsverm\u00f6gen zukunftsfeste Kernkompetenzen, die es in Zeiten von KI verst\u00e4rkt auszubauen gilt. Dies bleibt bestehen, auch wenn die Modelle leistungsf\u00e4higer und um zuverl\u00e4ssige(re) Datenquellen\/Plugins erg\u00e4nzt werden. Dem Menschen bleibt das Urteilen (noch) vorbehalten.<\/p>\n Vor allem intrinsisch motivierte und experimentierfreudige Lerner:innen k\u00f6nnen schon jetzt gro\u00dfe Vorteile aus generativen KI-Modellen sch\u00f6pfen, solange sie gleichzeitig ihre kritische Brille nicht ablegen.<\/p>\n