O que é um modelo de linguagem?
Um modelo de linguagem é um sistema que estima a probabilidade de uma sequência de palavras, o que lhe permite prever a próxima palavra a partir das anteriores. Em termos simples: ele viu tanto texto que consegue adivinhar, muito bem, o que costuma vir a seguir. Essa única capacidade, repetida palavra após palavra, é como ele produz texto.
Um exemplo simples
Diante de “Os resultados foram estatisticamente”, um modelo de linguagem considera “significativos” muito mais provável do que “roxos”. As sugestões de próxima palavra do teclado do celular e o preenchimento automático das ferramentas de escrita funcionam com esse princípio.
De contar palavras a redes neurais
- Modelos de n-gramas: os primeiros modelos de linguagem contavam com que frequência sequências curtas de palavras aparecem. Claude Shannon usou essa ideia para aproximar o inglês em 1948.
- Modelos de linguagem neurais: a partir dos anos 2000, as redes aprenderam o significado das palavras como números, de modo que palavras parecidas recebiam previsões parecidas.
- Transformers: desde 2017, os modelos podem ponderar de uma só vez cada palavra de uma passagem longa, o que levou aos grandes modelos de linguagem.
Tipos de modelo de linguagem
- Grandes modelos de linguagem: bilhões de parâmetros, de uso geral, como os modelos por trás do ChatGPT, do Claude e do Gemini.
- Modelos de linguagem pequenos: compactos o bastante para rodar em um notebook ou celular, em geral treinados para tarefas mais restritas.
- Modelos de visão e linguagem: trabalham com imagens além de texto.
Aplicações
- Geração de texto, assistentes de chat e resumos.
- Verificação gramatical e tradução.
- Reconhecimento de fala, em que o modelo escolhe as palavras mais prováveis entre sons parecidos.
- Busca, que associa consultas a documentos pelo significado; parte do processamento de linguagem natural.
O que os modelos de linguagem não conseguem fazer
Um modelo de linguagem prevê texto plausível; ele não checa fatos. O seu conhecimento vem dos seus dados de treinamento, que têm uma data de corte e lacunas, por isso ele pode produzir erros confiantes e fontes inventadas (veja a alucinação da IA). Confira tudo em que você pretende se apoiar.
Caso de uso: IA para redação que deixa o argumento com você