Cómo “razonan” los LLM: si es probabilístico, en qué se basan, cuán
rígidas o flexibles son sus reglas y conceptos y hasta qué punto se
parecen a reglas y conceptos formales. Es un tema colateral al libro,
útil para el contraste entre sistemas formales y sistemas
aprendidos.
Hilo de la conversación
Oriol pregunta si cabe entender que los LLM razonan de forma
probabilística. Claude: sí en la salida (distribución sobre tokens), no
en el sentido bayesiano fuerte (el cálculo interno es determinista, sin
hipótesis ni creencias explícitas); hay cómputo interno
estructurado.
Oriol pide en qué se basa; Claude cita trabajos de memoria (Vaswani,
Binz y Schulz, Anthropic 2025, Xie, Kadavath).
Base del razonamiento: entrenamiento predictivo, representaciones
internas (atención, MLP, capas) y “pensar por escrito”.
Rigidez o flexibilidad de los patrones: flexibles al combinar
conceptos y aprender reglas en el prompt; rígidos ante variantes con
trampa, contrafactuales, cambios irrelevantes y asimetrías (reversal
curse).
Las reglas no son lógicas estrictas sino heurísticas difusas,
graduales, distribuidas, paralelas y dependientes del contexto (ejemplo
de la suma 36 + 59).
Información escasa: relleno de huecos con lo típico, alucinación por
fallo del circuito de “no lo sé”, consejos prácticos.
Cómo funciona chain of thought: ampliar profundidad de cómputo y
memoria de trabajo; advertencia de que la cadena escrita no siempre
refleja el cálculo real.
Diferencia con reglas formales: conceptos como prototipos; falta de
universalidad, consistencia y cierre lógico; solución híbrida con
herramientas (código, Lean).
Grado de definición de un concepto: el ejemplo del puente Golden
Gate, granularidad variable, superposición, dependencia de
contexto.
Oriol pide un artifact con mínimas referencias; Claude crea “Cómo
razonan los LLMs” y copia en Drive.
Tesis y conclusiones
Los LLM son sistemas deterministas que aproximan una distribución
condicional; su razonamiento no se construye sobre reglas
probabilísticas ni lógicas explícitas.
Sus conceptos y reglas son graduales y de cobertura limitada, no
universales ni consistentes como las formales.
La síntesis práctica es híbrida: intuición del modelo más garantía
formal de herramientas.
Oriol no formula tesis; sus preguntas buscan delimitar la diferencia
entre regla formal y regla aprendida.
Autores y referencias
citados
Vaswani et al. 2017 (Attention Is All You Need); Binz y
Schulz (PNAS, 2023); Anthropic, On the Biology of a Large Language
Model (2025) y trabajo sobre el puente Golden Gate (2024); Xie et
al. 2021; Kadavath et al. 2022; informe técnico de GPT-4 (2023). Sin
enlaces.
Puntos a verificar
Claude afirma haber dado las referencias de memoria; las seis del
artifact tampoco se comprobaron.
El texto atribuye a Anthropic el circuito de “no lo sé” y la suma
por dos caminos; verificar en el informe de 2025.
“RLHF empeora la calibración” (informe de GPT-4) y la cifra sobre
aritmética modular con senos y cosenos necesitan fuente exacta.
Afirmaciones sobre experimentos de fidelidad de la cadena de
pensamiento y sobre resultados teóricos de Transformers con pasos
intermedios se dan sin cita.
La comparación con un “controlador fuzzy” es una analogía de
Claude.