¿Qué es un gran modelo de lenguaje?
Un gran modelo de lenguaje (LLM) es un modelo de lenguaje con miles de millones de parámetros, entrenado con un cuerpo de texto muy grande, que puede seguir instrucciones y producir texto fluido sobre casi cualquier tema. Entre las familias conocidas están GPT de OpenAI, Claude de Anthropic, Gemini de Google y Llama de Meta.
Cómo funcionan los LLM
- Tokens: el texto se divide en tokens, fragmentos de palabras; en inglés un token equivale más o menos a tres cuartos de palabra.
- Arquitectura transformer: un diseño de aprendizaje profundo cuyo mecanismo de atención permite al modelo ponderar cada token de la entrada al predecir el siguiente.
- Parámetros: los números que el modelo ajusta mientras aprende. GPT-3 (2020) tenía 175 mil millones.
- Ventana de contexto: la cantidad de texto que el modelo puede considerar a la vez, de unas pocas páginas a libros enteros en los modelos recientes.
Cómo se entrenan los LLM
- Preentrenamiento: el modelo aprende a predecir el siguiente token a partir de enormes cantidades de texto (sus datos de entrenamiento).
- Ajuste fino: se entrena más con ejemplos de buenas respuestas a instrucciones.
- Aprendizaje a partir de opiniones: las personas valoran las respuestas y el modelo se ajusta hacia las preferidas, un método llamado aprendizaje por refuerzo con retroalimentación humana (RLHF).
LLM, IA y GPT
- La IA es todo el campo; un LLM es un tipo de IA y forma parte de la IA generativa.
- GPT (generative pre-trained transformer) es la familia de LLM de OpenAI.
- ChatGPT es una aplicación construida sobre modelos GPT. Así que sí, ChatGPT funciona con un gran modelo de lenguaje, y Claude también.
Modelos abiertos y cerrados
Algunos modelos, como Llama y algunos de Mistral, publican sus pesos para que cualquiera pueda ejecutarlos; otros, como GPT y Claude, solo están disponibles a través de las aplicaciones y la API del proveedor.
Los LLM en la escritura académica
Los LLM son buenos para reformular, resumir y explicar, y débiles con los hechos: pueden inventar referencias (consulta la alucinación de la IA). Por eso las herramientas académicas suelen conectar el modelo con fuentes reales. En Papero, por ejemplo, la comprobación de afirmaciones encuentra las frases que necesitan una cita y ofrece artículos de OpenAlex para citar.
Caso de uso: IA para hacer ensayos sin perder tu argumento