Cómo razonan los LLMs

Conversación: Reglas y conceptos formales (resumen) · LLM understanding (resumen). Índice: documentos.

15 de octubre de 2026 · Oriol

¿Razonan de forma probabilista?

Sí en la salida, no en el sentido bayesiano fuerte. El modelo produce una distribución de probabilidad sobre el siguiente token y elige uno; por eso la misma pregunta puede dar respuestas distintas.

El cálculo interno, en cambio, es determinista: multiplicaciones de matrices capa a capa. El modelo no mantiene hipótesis con grados de creencia ni aplica reglas de probabilidad explícitas. Aun así, a veces se comporta como si hiciera inferencia probabilística, por ejemplo al deducir qué tipo de tarea le piden a partir de unos pocos ejemplos.

En qué se basa el razonamiento

El razonamiento no se programa: emerge porque es útil para predecir texto. Se apoya en tres piezas.

1. Predicción del siguiente token. Para predecir bien la conclusión de una demostración o la salida de un código, al modelo le compensa aprender la estructura que generó ese texto.
2. Representaciones internas. Cada token es un vector; los conceptos son direcciones en ese espacio. La atención mueve información entre tokens y las capas MLP guardan asociaciones y hechos. Al apilar capas se componen operaciones.
3. Profundidad limitada por token. Cada token pasa por un número fijo de capas, así que el modelo solo encadena unos pocos pasos sin escribirlos.

Flexibilidad y rigidez de los patrones

Los patrones son más flexibles que una plantilla, pero menos que una regla abstracta bien entendida.

Los modelos de razonamiento recientes reducen estos fallos porque se entrenan para verificar, no solo para reconocer.

Reglas difusas frente a reglas formales

Una regla formal vale igual para todos los casos; la de un LLM vale bien cerca de lo que ha visto y se degrada al alejarse. Se parece más a un controlador fuzzy que a un motor de reglas.

• Graduales: un concepto se activa con cierta intensidad, no como sí/no.
• Distribuidas: no hay un lugar concreto que sea “la regla”.
• En paralelo: para sumar 36 + 59, Claude estima la magnitud por un camino (cerca de 90) y la última cifra por otro (acaba en 5).
• Sin universalidad: sumar bien con 10 cifras no garantiza hacerlo con 20.
• Sin consistencia global: puede afirmar cosas contradictorias en contextos distintos.

Cuando hace falta rigor de verdad, lo más fiable es que el modelo use una herramienta (código, calculadora, verificador formal) en lugar de calcular de cabeza.

Qué es un concepto dentro del modelo

Un concepto es una dirección identificable en el espacio interno, con efecto causal medible, pero de bordes graduales. Se define por su posición respecto a los demás conceptos, no por una lista de propiedades.

• Concreto: la característica “Golden Gate” de Claude se activa con texto en varios idiomas y con imágenes; amplificada, el modelo habla del puente en todo.
• Sin granularidad única: con más resolución, un concepto se divide en otros más finos.
• Superposición: hay más conceptos que dimensiones, así que se solapan parcialmente.
• Contextual: “banco” de sentarse y “banco” de dinero se separan capa a capa.
• Conocimiento repartido: reconocer un objeto y recuperar sus datos ocurre en partes distintas del modelo.

Cuando la información es escasa

El modelo rellena huecos con lo típico y lo dice con la misma seguridad que cuando sabe. Es el origen de las alucinaciones.

• Poco presente en el entrenamiento: el acierto factual baja cuanto menos aparece un tema en los datos.
• No sabe que no sabe: Claude tiene un circuito de “no lo sé” que se apaga ante lo familiar; si un nombre le suena sin tener datos, inventa.
• Incentivos: el entrenamiento suele premiar responder antes que abstenerse.
• Poco contexto en la pregunta: asume la interpretación más probable en vez de preguntar.

En la práctica: dar contexto, pedir que separe lo que sabe de lo que supone y, para datos de nicho, que busque fuentes.

Chain of thought

Escribir pasos intermedios amplía la profundidad de cálculo: es como dividir en papel en vez de de cabeza. Cada token nuevo lee los anteriores y hace otra pasada completa sobre ellos.

1. 2022: bastaba con pedir “pensemos paso a paso” o dar ejemplos resueltos para mejorar mucho en matemáticas y lógica.
2. 2024 en adelante: los modelos de razonamiento se entrenan con aprendizaje por refuerzo en problemas verificables. Sin programarlo, aprenden a comprobar, retroceder y probar otra vía.

Advertencia: la cadena escrita no siempre refleja el cálculo real. Es un borrador útil, no una ventana fiel a lo que pasa dentro.

Referencias clave

Citadas de memoria, sin verificar en esta sesión.

• Anthropic (2025). On the Biology of a Large Language Model. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
• Anthropic (2024). Scaling Monosemanticity. https://transformer-circuits.pub/2024/scaling-monosemanticity/
• Wei et al. (2022). Chain-of-Thought Prompting. https://arxiv.org/abs/2201.11903
• Xie et al. (2021). In-context Learning as Implicit Bayesian Inference. https://arxiv.org/abs/2111.02080
• Berglund et al. (2023). The Reversal Curse. https://arxiv.org/abs/2309.12288
• Mirzadeh et al. (2024). GSM-Symbolic. https://arxiv.org/abs/2410.05229