O que é um LLM?

O termo LLM anda na boca de toda a gente, mas muitas vezes é usado como se fosse uma “caixa mágica”.

Se tivesses de explicar à tua avó o que é um LLM (Large Language Model ou Grande Modelo de Linguagem), podias dizer que é um estagiário incrivelmente lido que passou a vida inteira numa biblioteca gigante. Ele não “pensa” como nós; ele prevê.

Na realidade, um LLM é um algoritmo de aprendizagem profunda (deep learning) treinado em quantidades massivas de texto. A sua função principal é o autocompletar estatístico. Quando lhe dás uma frase, ele não está a consultar uma base de dados de respostas; ele está a calcular, palavra por palavra (ou melhor, token por toque), qual é a próxima unidade de texto mais provável de aparecer a seguir, com base em tudo o que já leu.

Nem todos os LLMs são iguais: Os tipos que existem

Não, não existe apenas um tipo de LLM. Eles variam conforme a sua arquitetura e o objetivo para o qual foram “treinados”. Podemos dividi-los em três grandes categorias:

• Modelos de Base (Pre-trained): São os gigantes que leram a internet toda (como o GPT-4 original ou o Llama 3). Eles sabem falar de tudo, mas não são muito bons a seguir instruções específicas. Se lhes disseres “Faz-me um café”, eles podem responder com um poema sobre café em vez de te darem uma receita.
• Modelos Instrucionais (Instruct-tuned): Estes são os que usamos no dia a dia (como o ChatGPT ou o Claude). Foram afinados (fine-tuning) para perceberem ordens. Eles entendem que, quando fazes uma pergunta, esperas uma resposta direta e útil.
• Modelos de Chat (RLHF): São treinados com feedback humano (Reinforcement Learning from Human Feedback) para serem conversadores, educados e evitarem temas perigosos. É aqui que entra a “personalidade” da IA.

Além disso, temos agora os Modelos Multimodais, que não processam apenas texto, mas também conseguem “ver” imagens, ouvir áudio e gerar vídeo, tudo no mesmo sistema.

Como identificar um LLM: As “impressões digitais”

Como é que sabemos se estamos perante um LLM e qual a sua “potência”? Existem três métricas fundamentais para os identificar e comparar:

1. Parâmetros: É o número de “conexões” internas do modelo. Pensa nisto como a densidade do cérebro. Um modelo com 7 mil milhões de parâmetros (7B) é leve e rápido; um com 1.8 biliões (como o GPT-4) é uma enciclopédia ambulante.
2. Janela de Contexto (Context Window): É a capacidade de “memória de curto prazo”. Mede-se em tokens. Um LLM com uma janela de 1 milhão de tokens consegue ler 10 livros de uma vez e discutir o capítulo 1 com base no capítulo 10. Outros perdem o fio à meada depois de duas páginas.
3. Benchmark de Performance: Para saberes quem é quem, consultamos tabelas como o MMLU (que mede conhecimentos gerais) ou o HumanEval (que mede a capacidade de programar). Se queres identificar o “rei da montanha” atual, o site de referência é o LMSYS Chatbot Arena, onde humanos testam os modelos às cegas.