Was ist ein Sprachmodell?
Ein Sprachmodell ist ein System, das schätzt, wie wahrscheinlich eine Wortfolge ist, und dadurch das nächste Wort anhand der vorherigen vorhersagen kann. Einfach gesagt: Es hat so viel Text gesehen, dass es sehr gut raten kann, was üblicherweise als Nächstes kommt. Diese eine Fähigkeit, Wort für Wort wiederholt, ist die Art, wie es Text erzeugt.
Ein einfaches Beispiel
Bei „Die Ergebnisse waren statistisch“ bewertet ein Sprachmodell „signifikant“ als weit wahrscheinlicher als „lila“. Die Wortvorschläge Ihrer Smartphone-Tastatur und die Autovervollständigung in Schreibwerkzeugen arbeiten nach diesem Prinzip.
Vom Wörterzählen zu neuronalen Netzen
- N-Gramm-Modelle: Die ersten Sprachmodelle zählten, wie oft kurze Wortfolgen vorkommen. Claude Shannon nutzte diese Idee 1948, um das Englische anzunähern.
- Neuronale Sprachmodelle: Ab den 2000er Jahren lernten Netze Wortbedeutungen als Zahlen, sodass ähnliche Wörter ähnliche Vorhersagen erhielten.
- Transformer: Seit 2017 können Modelle jedes Wort einer langen Passage gleichzeitig gewichten, was zu großen Sprachmodellen führte.
Arten von Sprachmodellen
- Große Sprachmodelle: Milliarden von Parametern, für viele Zwecke, etwa die Modelle hinter ChatGPT, Claude und Gemini.
- Kleine Sprachmodelle: kompakt genug für Laptop oder Smartphone, oft für engere Aufgaben trainiert.
- Bild-Sprach-Modelle: arbeiten außer mit Text auch mit Bildern.
Anwendungen
- Textgenerierung, Chat-Assistenten und Zusammenfassungen.
- Grammatikprüfung und Übersetzung.
- Spracherkennung, bei der das Modell aus ähnlichen Lauten die wahrscheinlichsten Wörter wählt.
- Suche, die Anfragen nach Bedeutung mit Dokumenten abgleicht; Teil der Verarbeitung natürlicher Sprache.
Was Sprachmodelle nicht können
Ein Sprachmodell sagt plausiblen Text voraus; es prüft keine Fakten. Sein Wissen stammt aus seinen Trainingsdaten, die einen Stichtag und Lücken haben, weshalb es selbstsichere Fehler und erfundene Quellen erzeugen kann (siehe KI-Halluzination). Prüfen Sie alles, worauf Sie sich stützen wollen.
Anwendungsfall: Essay schreiben mit KI, das Argument bleibt Ihres