Qué es un LLM

Cuando le pides a un chat que resuma un texto o corrija un bug, quien responde es un LLM. La sigla viene de large language model, modelo de lenguaje de gran tamaño. Es la pieza central de casi todo asistente, chatbot y agente de código que usas hoy.

Entender lo básico de su funcionamiento cambia cómo lo usas. Queda claro por qué se equivoca con total seguridad, por qué el historial de la conversación cuesta dinero y por qué la misma pregunta puede tener respuestas distintas.

¿Qué es un LLM, en términos simples?#

Un LLM es un programa que recibe un texto y devuelve la continuación más probable. Durante el entrenamiento, lee enormes cantidades de texto y aprende a predecir qué viene después. Tras hacerlo miles de millones de veces, el modelo absorbe gramática, hechos, estilos e incluso patrones de código.

El "grande" del nombre se refiere al número de parámetros, los valores numéricos ajustados en el entrenamiento. GPT-3, de 2020, tenía 175 mil millones de parámetros, según el artículo que lo presentó. El mismo artículo mostró que agrandar el modelo mejora el rendimiento en tareas descritas solo con instrucciones y unos pocos ejemplos en el texto, sin reentrenar.

¿Cómo genera texto un LLM?#

En tres pasos, repetidos en ciclo:

1. Tokenización. El texto se corta en tokens: fragmentos de palabra, palabras completas o símbolos. "Hospedaje" puede convertirse en dos o tres tokens.
2. Predicción. El modelo lee todos los tokens y calcula una probabilidad para cada posible token siguiente.
3. Selección. Se sortea o elige un token de esa distribución y se añade al texto. El ciclo recomienza hasta que el modelo emite una señal de fin.

Un ejemplo mínimo en Python muestra la idea. "Entrena" contando qué palabras siguen a cuáles y luego genera frases:

import random
from collections import defaultdict

corpus = "el gato duerme en el sofá . el gato come pescado . el perro duerme en la alfombra .".split()

siguientes = defaultdict(list)
for actual, siguiente in zip(corpus, corpus[1:]):
    siguientes[actual].append(siguiente)

palabra, frase = "el", ["el"]
while palabra != "." and len(frase) < 12:
    palabra = random.choice(siguientes[palabra])
    frase.append(palabra)

print(" ".join(frase))

Ejecútalo varias veces y la frase cambia: "el gato come pescado .", "el perro duerme en el sofá .". Un LLM real hace el mismo bucle, pero con una red neuronal que considera todo el texto, no solo la última palabra. Eso es lo que le permite sostener una conversación coherente.

¿Qué es un transformer?#

Es la arquitectura de red neuronal detrás de los LLM modernos, presentada en el artículo de 2017 Attention Is All You Need. Su idea central es la atención: al predecir el siguiente token, el modelo pondera la relevancia de cada token anterior. En "el trofeo no cabe en la maleta porque es demasiado grande", la atención ayuda a decidir que "es" se refiere al trofeo.

El transformer también procesa muchos tokens en paralelo durante el entrenamiento, y eso hizo posibles los tamaños actuales.

¿Qué son la ventana de contexto, la temperatura y la alucinación?#

La ventana de contexto es todo lo que el modelo considera a la vez: tu pregunta, el historial y la respuesta que genera. La documentación de Anthropic la describe como la "memoria de trabajo" del modelo e indica el tamaño de la ventana de cada modelo Claude, que en los más grandes llega a cientos de miles de tokens o más. Más contexto no significa automáticamente mejores resultados: la misma página explica que la precisión y el recall bajan a medida que el contexto crece.

La temperatura es un parámetro que controla cómo se sortea el siguiente token. Valores bajos hacen las respuestas predecibles, algo útil para extraer datos o generar código. Valores altos las hacen más variadas, mejor para ideas y texto creativo. No todos los modelos exponen este control, así que revisa la documentación del que uses.

La alucinación es la respuesta fluida y errónea: una función de librería que no existe, una cita inventada, una fecha cambiada. Ocurre porque el entrenamiento premia el texto plausible, no los hechos verificados. Para reducir el riesgo, pon la fuente correcta en el propio prompt y pide al modelo que avise cuando no sepa algo.

¿Para qué sirve un LLM en el día a día?#

• Escribir y revisar código, explicar errores, escribir pruebas.
• Resumir y clasificar texto: tickets de soporte, correos, logs.
• Extraer datos estructurados de texto libre, como convertir un pedido en JSON.
• Conversar: chatbots de atención, asistentes en Discord, Telegram y WhatsApp.
• Agentes: el modelo decide llamar herramientas (buscar un dato, ejecutar un comando) y usa el resultado para continuar.

Si quieres montar algo así, mira cómo crear un bot de Discord con IA y cómo alojar un chatbot con IA.

¿Cuándo no usar un LLM?#

Evítalo cuando la respuesta debe ser siempre exacta y verificable: cálculos financieros, reglas de negocio fijas, validación de documentos de identidad. En esos casos, un if o una consulta SQL es más barato, más rápido y siempre da el mismo resultado. Evítalo también cuando un error sale caro y nadie revisa la salida.

Otros límites prácticos:

• Sin estado. La API no recuerda la conversación. Tu aplicación reenvía el historial en cada llamada, y esos tokens se cobran de nuevo. Mira cuánto cuesta una API de LLM.
• Conocimiento congelado. El modelo sabe hasta la fecha de su entrenamiento. Para usar datos actuales, envíalos en la solicitud o dale al modelo una herramienta de búsqueda.
• Respuestas no deterministas. La misma entrada puede producir salidas distintas. Prueba con muchos ejemplos, no con uno solo.

¿Qué términos cercanos aparecen junto a los LLM?#

• Prompt: el texto de entrada, con instrucciones y datos.
• Fine-tuning: entrenamiento adicional de un modelo con tus ejemplos. Rara vez es el primer paso.
• RAG: buscar fragmentos relevantes de tus documentos y ponerlos en el prompt.
• Embedding: representación numérica de un texto, usada en búsqueda por similitud.
• Modelo abierto: modelo con pesos publicados, que puedes ejecutar por tu cuenta. Un modelo por API, en cambio, corre en los servidores del proveedor.

Cómo hacerlo en Square Cloud#

En la práctica, usar un LLM en tu proyecto es hacer una llamada HTTP: tu bot o tu API arma el prompt con el historial, lo envía al modelo y devuelve la respuesta. Lo que hospedas es ese código, no el modelo. En Square Cloud corre en un contenedor aislado y siempre encendido, en diversos runtimes, como Node.js, Python y Go: consulta los runtimes disponibles hoy en Runtimes. El plan Hobby cuesta desde R$12,49 al mes, con 1 GB de RAM. Eso alcanza para el código que llama a la API, pero no para ejecutar un modelo local con torch y transformers.

Para el modelo, desde el plan Standard (R$44,99 al mes) puedes usar el AI Gateway: una API compatible con la de OpenAI que da acceso al modelo cubic, el mismo del asistente del panel. Apunta cualquier SDK de OpenAI a la base URL https://api.squarecloud.app/v2/ai y usa una clave de API de la cuenta con el scope ai:chat. Lo que viste en este artículo sigue valiendo:

• Sin estado: reenvías el historial en messages en cada llamada.
• Ventana de contexto: hasta 16 mil tokens en Standard, hasta 24 mil en Pro y hasta 32 mil en Enterprise.
• Conocimiento congelado: el modelo tiene búsqueda web integrada, decide por sí solo cuándo buscar y cita las URLs.
• Agentes: function calling en el formato de OpenAI, con hasta 32 tools.

El gateway está en beta, con acceso anticipado sin costo extra, y sus límites y la disponibilidad por plan pueden cambiar cuando termine la beta. Solo acepta texto y todavía no hace streaming. Los detalles están en la página del AI Gateway.