Was ist ein großes Sprachmodell?
Ein großes Sprachmodell (LLM) ist ein Sprachmodell mit Milliarden von Parametern, trainiert an einer sehr großen Textmenge, das Anweisungen befolgen und zu fast jedem Thema flüssigen Text erzeugen kann. Bekannte Familien sind GPT von OpenAI, Claude von Anthropic, Gemini von Google und Llama von Meta.
So funktionieren LLMs
- Tokens: Text wird in Tokens zerlegt, Wortstücke; im Englischen ist ein Token etwa drei Viertel eines Wortes.
- Transformer-Architektur: ein Deep-Learning-Entwurf, dessen Aufmerksamkeitsmechanismus das Modell jedes Token der Eingabe gewichten lässt, wenn es das nächste vorhersagt.
- Parameter: die Zahlen, die das Modell beim Lernen anpasst. GPT-3 (2020) hatte 175 Milliarden.
- Kontextfenster: die Textmenge, die das Modell auf einmal berücksichtigen kann, von wenigen Seiten bis zu ganzen Büchern bei neueren Modellen.
So werden LLMs trainiert
- Vortraining: Das Modell lernt, an riesigen Textmengen (seinen Trainingsdaten) das nächste Token vorherzusagen.
- Feinabstimmung: Es wird an Beispielen guter Antworten auf Anweisungen weitertrainiert.
- Lernen aus Rückmeldung: Menschen bewerten Antworten, und das Modell wird auf die bevorzugten hin abgestimmt, ein Verfahren namens bestärkendes Lernen aus menschlichem Feedback (RLHF).
LLM, KI und GPT
- KI ist das ganze Gebiet; ein LLM ist eine Art von KI und Teil der generativen KI.
- GPT (generative pre-trained transformer) ist OpenAIs Familie von LLMs.
- ChatGPT ist eine App auf Basis von GPT-Modellen. Ja, ChatGPT läuft also auf einem großen Sprachmodell, und Claude ebenso.
Offene und geschlossene Modelle
Manche Modelle, etwa Llama und einige von Mistral, veröffentlichen ihre Gewichte, sodass jeder sie betreiben kann; andere, etwa GPT und Claude, sind nur über die Apps und die Schnittstelle des Anbieters verfügbar.
LLMs im wissenschaftlichen Schreiben
LLMs sind stark im Umformulieren, Zusammenfassen und Erklären und schwach bei Fakten: Sie können Quellen erfinden (siehe KI-Halluzination). Akademische Werkzeuge verbinden das Modell deshalb oft mit echten Quellen. In Papero zum Beispiel findet die Aussagenprüfung Sätze, die einen Beleg brauchen, und bietet Arbeiten aus OpenAlex zum Zitieren an.
Anwendungsfall: Essay schreiben mit KI, das Argument bleibt Ihres