¿Qué es un modelo de lenguaje?
Un modelo de lenguaje es un sistema que estima cuán probable es una secuencia de palabras, lo que le permite predecir la siguiente palabra a partir de las anteriores. En términos sencillos: ha visto tanto texto que puede adivinar, muy bien, lo que suele venir a continuación. Esa única capacidad, repetida palabra tras palabra, es como produce texto.
Un ejemplo sencillo
Ante «Los resultados fueron estadísticamente», un modelo de lenguaje considera «significativos» mucho más probable que «morados». Las sugerencias de la siguiente palabra del teclado del teléfono y el autocompletado de las herramientas de escritura funcionan con este principio.
De contar palabras a las redes neuronales
- Modelos de n-gramas: los primeros modelos de lenguaje contaban con qué frecuencia aparecen secuencias cortas de palabras. Claude Shannon usó esta idea para aproximar el inglés en 1948.
- Modelos de lenguaje neuronales: desde la década de 2000, las redes aprendieron el significado de las palabras como números, de modo que las palabras parecidas recibían predicciones parecidas.
- Transformers: desde 2017, los modelos pueden ponderar a la vez cada palabra de un pasaje largo, lo que condujo a los grandes modelos de lenguaje.
Tipos de modelos de lenguaje
- Grandes modelos de lenguaje: miles de millones de parámetros, de propósito general, como los modelos que hay detrás de ChatGPT, Claude y Gemini.
- Modelos de lenguaje pequeños: lo bastante compactos para funcionar en un portátil o un teléfono, a menudo entrenados para tareas más acotadas.
- Modelos de visión y lenguaje: trabajan con imágenes además de texto.
Aplicaciones
- Generación de texto, asistentes de chat y resúmenes.
- Revisión gramatical y traducción.
- Reconocimiento de voz, en el que el modelo elige las palabras más probables entre sonidos parecidos.
- Búsqueda, que empareja consultas con documentos por su significado; parte del procesamiento del lenguaje natural.
Lo que los modelos de lenguaje no pueden hacer
Un modelo de lenguaje predice texto plausible; no comprueba hechos. Su conocimiento procede de sus datos de entrenamiento, que tienen una fecha límite y lagunas, por lo que puede producir errores con aplomo y fuentes inventadas (consulta la alucinación de la IA). Comprueba todo aquello en lo que vayas a apoyarte.
Caso de uso: IA para hacer ensayos sin perder tu argumento