Qu’est-ce qu’un modèle de langage ?
Un modèle de langage est un système qui estime la probabilité d’une suite de mots, ce qui lui permet de prédire le mot suivant à partir de ceux qui précèdent. En termes simples : il a vu tant de texte qu’il peut deviner, très bien, ce qui vient d’ordinaire ensuite. Cette seule capacité, répétée mot après mot, est la façon dont il produit du texte.
Un exemple simple
Devant « Les résultats étaient statistiquement », un modèle de langage juge « significatifs » bien plus probable que « violets ». Les suggestions de mot suivant du clavier de votre téléphone et l’autocomplétion des outils d’écriture reposent sur ce principe.
Du comptage de mots aux réseaux de neurones
- Modèles n-grammes : les premiers modèles de langage comptaient la fréquence des courtes suites de mots. Claude Shannon a utilisé cette idée pour approcher l’anglais en 1948.
- Modèles de langage neuronaux : à partir des années 2000, les réseaux ont appris le sens des mots sous forme de nombres, si bien que des mots proches recevaient des prédictions proches.
- Transformers : depuis 2017, les modèles peuvent pondérer d’un coup chaque mot d’un long passage, ce qui a mené aux grands modèles de langage.
Types de modèles de langage
- Grands modèles de langage : des milliards de paramètres, polyvalents, comme les modèles derrière ChatGPT, Claude et Gemini.
- Petits modèles de langage : assez compacts pour tourner sur un ordinateur portable ou un téléphone, souvent entraînés pour des tâches plus étroites.
- Modèles vision-langage : ils travaillent sur des images autant que sur du texte.
Applications
- Génération de texte, assistants de discussion et résumés.
- Correction grammaticale et traduction.
- Reconnaissance vocale, où le modèle choisit les mots les plus probables parmi des sons proches.
- Recherche, qui rapproche des requêtes et des documents par le sens ; elle relève du traitement automatique du langage.
Ce que les modèles de langage ne peuvent pas faire
Un modèle de langage prédit un texte plausible ; il ne vérifie pas les faits. Ses connaissances viennent de ses données d’entraînement, qui ont une date limite et des lacunes, si bien qu’il peut produire des erreurs assurées et des sources inventées (voir l’hallucination de l’IA). Vérifiez tout ce sur quoi vous comptez vous appuyer.
Cas d'usage: IA pour la dissertation qui vous laisse l'argument