LLM e ChatGPT são a mesma coisa?

Não. O LLM é o modelo, o motor. ChatGPT, Claude e Gemini são produtos de chat construídos sobre LLMs, com interface, ferramentas e regras de segurança adicionais.

Um LLM entende o que escreve?

Ele aprende padrões estatísticos da linguagem e produz texto plausível. Isso gera respostas úteis e raciocínio convincente, mas não garante que o conteúdo seja verdadeiro.

O que é alucinação em um LLM?

É quando o modelo afirma com confiança algo falso, como uma função inexistente ou uma fonte inventada. Acontece porque ele prioriza texto plausível, não texto verificado.

O LLM lembra das conversas anteriores?

Não por conta própria. A API não guarda estado: o aplicativo reenvia o histórico a cada chamada, e tudo precisa caber na janela de contexto do modelo.

Preciso treinar um modelo para usar um LLM no meu app?

Quase nunca. Você chama um modelo pronto por API e controla o comportamento com prompt, exemplos e dados que você mesmo envia na requisição.

O que é um LLM (modelo de linguagem)

Quando você pede a um chat para resumir um texto ou corrigir um bug, quem responde é um LLM. A sigla vem de large language model, modelo de linguagem de grande porte. É a peça central de quase todo assistente, chatbot e agente de código que você usa hoje.

Entender o básico do funcionamento muda a forma como você o usa. Fica claro por que ele erra com toda a confiança, por que o histórico da conversa custa dinheiro e por que a mesma pergunta pode ter respostas diferentes.

O que é um LLM, em termos simples?#

Um LLM é um programa que recebe um texto e devolve a continuação mais provável. No treino, ele lê volumes enormes de texto e aprende a prever o trecho seguinte. Depois de fazer isso bilhões de vezes, o modelo absorve gramática, fatos, estilos e até padrões de código.

O "grande" do nome se refere ao número de parâmetros, os valores numéricos ajustados no treino. O GPT-3, de 2020, tinha 175 bilhões de parâmetros, segundo o artigo que o apresentou. O mesmo artigo mostrou que aumentar o modelo melhora o desempenho em tarefas descritas só com instruções e alguns exemplos no texto, sem retreino.

Como um LLM gera texto?#

Em três passos, repetidos em ciclo:

Tokenização. O texto é cortado em tokens: pedaços de palavra, palavras inteiras ou símbolos. "Hospedagem" pode virar dois ou três tokens.
Previsão. O modelo lê todos os tokens e calcula uma probabilidade para cada token possível como próximo.
Escolha. Um token é sorteado ou escolhido dessa distribuição e anexado ao texto. O ciclo recomeça até o modelo emitir um sinal de fim.

Um exemplo minúsculo em Python mostra a ideia. Ele "treina" contando quais palavras vêm depois de quais e, em seguida, gera frases:

python

import random
from collections import defaultdict

corpus = "o gato dorme no sofá . o gato come peixe . o cão dorme no tapete .".split()

proximas = defaultdict(list)
for atual, seguinte in zip(corpus, corpus[1:]):
    proximas[atual].append(seguinte)

palavra, frase = "o", ["o"]
while palavra != "." and len(frase) < 12:
    palavra = random.choice(proximas[palavra])
    frase.append(palavra)

print(" ".join(frase))

Rode algumas vezes e a frase muda: "o gato come peixe .", "o cão dorme no sofá .". Um LLM real faz o mesmo laço, mas com uma rede neural que considera o texto inteiro, não só a última palavra. É isso que permite sustentar uma conversa coerente.

O que é um transformer?#

É a arquitetura de rede neural por trás dos LLMs modernos, apresentada no artigo Attention Is All You Need, de 2017. A ideia central é a atenção: ao prever o próximo token, o modelo pesa a relevância de cada token anterior. Em "o cão perseguiu o gato porque ele estava com medo", a atenção ajuda a decidir a quem "ele" se refere.

O transformer também processa muitos tokens em paralelo durante o treino, e foi isso que permitiu chegar aos tamanhos atuais.

O que são janela de contexto, temperatura e alucinação?#

Janela de contexto é tudo o que o modelo considera de uma vez: sua pergunta, o histórico e a resposta que ele gera. A documentação da Anthropic descreve isso como a "memória de trabalho" do modelo e informa o tamanho da janela de cada modelo Claude, que nos maiores chega a centenas de milhares de tokens ou mais. Mais contexto não significa resultado melhor: a mesma página explica que precisão e recall caem à medida que o contexto cresce.

Temperatura é o parâmetro que controla o sorteio do próximo token. Valores baixos deixam as respostas previsíveis, o que ajuda a extrair dados ou gerar código. Valores altos deixam as respostas mais variadas, úteis para ideias e texto criativo. Nem todo modelo expõe esse controle, então confira a documentação do que você usa.

Alucinação é a resposta fluente e errada: uma função de biblioteca que não existe, uma citação inventada, uma data trocada. Acontece porque o treino ensina a gerar texto plausível, não a verificar fatos. Para reduzir o risco, coloque a fonte correta no próprio prompt e peça que o modelo avise quando não souber.

Para que serve um LLM no dia a dia?#

Gerar e revisar código, explicar erros, escrever testes.
Resumir e classificar texto: tickets de suporte, e-mails, logs.
Extrair dados estruturados de texto livre, como transformar um pedido em JSON.
Conversar: chatbots de atendimento, assistentes em Discord, Telegram e WhatsApp.
Agentes: o modelo decide chamar ferramentas (buscar um dado, rodar um comando) e usa o resultado para continuar.

Se você quer montar algo do tipo, veja como criar um bot de IA para o Discord e como hospedar um chatbot de IA.

Quando não usar um LLM?#

Evite quando a resposta precisa ser sempre exata e verificável: cálculo financeiro, regra de negócio fixa, validação de CPF. Nesses casos, um if ou uma consulta SQL sai mais barato, mais rápido e dá sempre o mesmo resultado. Evite também quando um erro custa caro e ninguém revisa a saída.

Outros limites práticos:

Sem estado. A API não lembra da conversa. Seu aplicativo reenvia o histórico a cada chamada, e esses tokens são cobrados de novo. Veja quanto custa uma API de LLM.
Conhecimento congelado. O modelo sabe até a data do treino. Para usar dados atuais, envie-os na requisição ou dê ao modelo uma ferramenta de busca.
Respostas não determinísticas. A mesma entrada pode gerar saídas diferentes. Teste com vários exemplos, não com um só.

Que termos aparecem junto com LLM?#

Prompt: o texto de entrada, com instruções e dados.
Fine-tuning: treino adicional de um modelo com os seus exemplos. Raramente é o primeiro passo.
RAG: buscar trechos relevantes dos seus documentos e colocá-los no prompt.
Embedding: representação numérica de um texto, usada em busca por similaridade.
Modelo aberto: modelo com pesos publicados, que você pode rodar por conta própria. Um modelo por API, ao contrário, roda no servidor do provedor.

Como fazer isso na Square Cloud#

Na prática, usar um LLM no seu projeto é fazer uma chamada HTTP: seu bot ou sua API monta o prompt com o histórico, envia ao modelo e devolve a resposta. Você hospeda esse código, não o modelo. Na Square Cloud ele roda num container isolado e sempre ligado, em diversos runtimes, como Node.js, Python e Go: veja os runtimes disponíveis hoje em Runtimes. O plano Hobby custa a partir de R$ 12,49 por mês, com 1 GB de RAM. Isso basta para o código que chama a API, mas não para rodar um modelo local com torch e transformers.

Para o modelo, a partir do plano Standard (R$ 44,99 por mês) você pode usar o AI Gateway: uma API compatível com a da OpenAI que dá acesso ao modelo cubic, o mesmo do assistente do painel. Aponte qualquer SDK da OpenAI para a base URL https://api.squarecloud.app/v2/ai e use uma chave de API da conta com o escopo ai:chat. O que você viu neste artigo continua valendo:

Sem estado: você reenvia o histórico em messages a cada chamada.
Janela de contexto: até 16 mil tokens no Standard, até 24 mil no Pro e até 32 mil no Enterprise.
Conhecimento congelado: o modelo tem busca na web embutida, decide sozinho quando pesquisar e cita as URLs.
Agentes: function calling no formato da OpenAI, com até 32 tools.

O gateway está em beta, com acesso antecipado sem custo extra, e os limites e a disponibilidade por plano podem mudar quando o beta acabar. Ele aceita só texto e ainda não faz streaming. Os detalhes estão na página do AI Gateway.