Si un LLM comprende y qué significa “comprender”; cómo razonan los
modelos de lenguaje. Conversación en inglés, breve y de carácter
exploratorio; tangencial al eje del libro, pero conecta con conciencia,
límites del lenguaje y Searle.
Hilo de la conversación
Oriol pregunta si un LLM entiende y qué significa entender. Claude
distingue cuatro sentidos: funcional (uso flexible), estructural (modelo
interno de relaciones), fundamentado (conexión con el mundo por
percepción y acción) y experiencial (hay algo que se siente al
comprender; blanco de la Habitación China de Searle).
Valoración: funcional, en gran medida sí, con fallos frágiles;
estructural, hay evidencia por interpretabilidad (representaciones de
conceptos, relaciones espaciales, tableros de juego); fundamentado,
débil (conocimiento de segunda mano); experiencial, desconocido y quizá
incognoscible, incluso para el propio Claude.
Postura de Claude: comprender no es binario, es un conjunto de
capacidades graduales; más útil preguntar bajo qué condiciones
falla.
Oriol pregunta cómo razonan. Respuesta: predicción del siguiente
token; dentro de un paso hay cómputo intermedio de profundidad fija
(ejemplo de la Torre Eiffel, Francia, París); con cadena de pensamiento
el texto actúa de cuaderno de trabajo; los modelos “pensantes” se
entrenan con refuerzo para razonar, verificar y retroceder.
Salvedad: la cadena escrita no siempre es un informe fiel y puede
ser racionalización posterior. Fortalezas (plantillas de razonamiento,
combinar dominios) y debilidades (fragilidad ante variaciones, estado
preciso largo, sin verificación sin herramientas). Analogía final:
procesador paralelo de profundidad fija con una cinta para
escribir.
Tesis y
conclusiones (incluidas las de Oriol)
Entender es una familia de capacidades graduales, no un predicado
binario.
El estatus experiencial queda abierto; Claude se declara incapaz de
verificarlo desde dentro.
Oriol no formula tesis propias; solo hace dos preguntas.
Autores y referencias
citados
John Searle (Habitación China). Se alude a investigación de
interpretabilidad sin citar trabajos concretos.
Puntos a verificar
La afirmación sobre representaciones internas (“France” antes de
“Paris”, tableros de juego) remite a trabajos de interpretabilidad sin
referencia; localizar las fuentes (p. ej. estudios de circuitos,
Othello-GPT) antes de usarla en el libro.
Infidelidad de la cadena de pensamiento: respaldada en literatura
reciente, pero no citada aquí.
La clasificación en cuatro sentidos de “entender” es de Claude, no
una taxonomía estándar; si se usa, atribuirla como propuesta de la
conversación.
Probablemente de poco uso directo para el libro; valorar si se
enlaza con el apartado de conciencia o de límites del pensamiento.