Qu’est-ce qu’un grand modèle de langage ?
Un grand modèle de langage (LLM) est un modèle de langage de plusieurs milliards de paramètres, entraîné sur un très vaste corpus de texte, capable de suivre des instructions et de produire un texte fluide sur presque tous les sujets. Parmi les familles connues figurent GPT d’OpenAI, Claude d’Anthropic, Gemini de Google et Llama de Meta.
Comment fonctionnent les LLM
- Jetons : le texte est découpé en jetons, des morceaux de mots ; en anglais, un jeton vaut à peu près trois quarts de mot.
- Architecture transformer : une conception d’apprentissage profond dont le mécanisme d’attention permet au modèle de pondérer chaque jeton de l’entrée pour prédire le suivant.
- Paramètres : les nombres que le modèle ajuste en apprenant. GPT-3 (2020) en avait 175 milliards.
- Fenêtre de contexte : la quantité de texte que le modèle peut considérer d’un coup, de quelques pages à des livres entiers dans les modèles récents.
Comment les LLM sont entraînés
- Préentraînement : le modèle apprend à prédire le jeton suivant sur d’énormes quantités de texte (ses données d’entraînement).
- Ajustement fin : il est entraîné davantage sur des exemples de bonnes réponses à des instructions.
- Apprentissage à partir de retours : des personnes notent les réponses et le modèle est ajusté vers celles qui sont préférées, une méthode appelée apprentissage par renforcement à partir de retours humains (RLHF).
LLM, IA et GPT
- L’IA est tout le domaine ; un LLM est un type d’IA et relève de l’IA générative.
- GPT (generative pre-trained transformer) est la famille de LLM d’OpenAI.
- ChatGPT est une application construite sur des modèles GPT. Donc oui, ChatGPT repose sur un grand modèle de langage, et Claude aussi.
Modèles ouverts et fermés
Certains modèles, comme Llama et quelques-uns de Mistral, publient leurs poids pour que chacun puisse les exécuter ; d’autres, comme GPT et Claude, ne sont disponibles que via les applications et l’API du fournisseur.
Les LLM dans l’écriture universitaire
Les LLM sont forts pour reformuler, résumer et expliquer, et faibles sur les faits : ils peuvent inventer des références (voir l’hallucination de l’IA). Les outils universitaires relient donc souvent le modèle à de vraies sources. Dans Papero, par exemple, la vérification des affirmations repère les phrases qui ont besoin d’une citation et propose des articles d’OpenAlex à citer.
Cas d'usage: IA pour la dissertation qui vous laisse l'argument