STONY BROOK, Nueva York, 5 de agosto de 2026. Un estudio publicado el 30 de julio en arXiv midió si un modelo de lenguaje mejora sus respuestas matemáticas cuando planifica, critica, reescribe o reflexiona sobre su propia salida, y encontró que ninguno de esos métodos supera de forma confiable al muestreo repetido (generar varias respuestas independientes y quedarse con la más común) cuando ambos gastan el mismo número de tokens. El autor, Iliya Mirzaei, estudiante de doctorado en Ciencias de la Computación de Stony Brook University, corrió siete métodos sobre modelos abiertos de 1.500, 3.000 y 7.000 millones de parámetros, en dos bancos de pruebas de matemática de 150 preguntas cada uno.

La cuenta es exhaustiva: el paper suma cada token generado, incluidos los que un método gasta en criticar, reflexionar, debatir consigo mismo o verificar su propia respuesta, y compara cada técnica contra el muestreo repetido al costo que ese mismo método efectivamente consumió. Sobre esa base, corrió 36 comparaciones pareadas por pregunta, con intervalos de bootstrap y corrección por comparaciones múltiples, el ajuste estadístico que evita declarar significativo un resultado solo porque se probaron muchas hipótesis a la vez.

El número que ordena el paper

18 de 18

Ese es el resultado de las comparaciones donde el modelo inspecciona su propia salida (se corrige, se reflexiona o se debate a sí mismo): todas negativas frente al muestreo repetido de igual costo. Del total de 36 comparaciones, diez son de forma confiable peores que la línea base, y las diez pertenecen a esa misma familia de autoinspección.

Elegir deja de ayudar al crecer el modelo

Best-of-N, el método que genera varias respuestas y deja que el propio modelo elija la mejor, sí funciona a escala chica, pero por una razón que no tiene que ver con el juicio del modelo. A 1.500 millones de parámetros, tomar las mismas ocho muestras y quedarse con la respuesta más repetida le gana a dejar que el modelo elija, por 8,0 y 11,3 puntos según el banco de pruebas. A 7.000 millones esa ventaja del voto simple sobre el juicio del modelo se reduce a 2,0 y 1,3 puntos, una diferencia que el estudio ya no distingue de cero.

Reescribir no revierte la pérdida

Self-Refine y una versión forzada de Reflexion, los dos métodos que hacen que el modelo relea y corrija su propia respuesta, quedan entre 3,6 y 10,1 puntos por debajo del muestreo repetido en el modelo de 7.000 millones. El caso más marcado es Reflexion en el modelo de 1.500 millones: tal como fue publicado originalmente, el método nunca disparó su propio reintento. El modelo juzgó su primera respuesta correcta todas las veces y el sistema completo se redujo, sin que nada lo señalara, a una única cadena de razonamiento sin ninguna reflexión de por medio.

El modelo juzgó su primera respuesta correcta todas las veces.

Lo que esos dos métodos prometían en 2023

Self-Refine y Reflexion no son papers menores. Self-Refine, publicado por Aman Madaan y un equipo de Carnegie Mellon University y el Allen Institute for AI, reportó una mejora promedio de alrededor del 20% absoluto sobre la generación en un solo paso, medida con GPT-3.5, ChatGPT y GPT-4 en siete tareas distintas. Reflexion, de Noah Shinn y coautores, reportó 91% de exactitud pass@1 (la proporción de problemas resueltos al primer intento) en el banco de código HumanEval, contra el 80% que entonces lograba GPT-4 sin el método.

Ninguno de esos dos resultados se reproduce acá, aunque tampoco se contradice de manera directa: los papers originales midieron modelos cerrados de frontera, de una escala muy superior a los 7.000 millones de parámetros que Mirzaei probó, y ninguno de los dos controló el costo en tokens contra una línea base de muestreo repetido igualada. El paper de 2026 responde en particular a Wang et al. (2024), que había reportado la ventaja del muestreo repetido con estimaciones puntuales, sin intervalos de confianza ni pruebas de significancia estadística.

Qué queda abierto

El hallazgo confirma, con un diseño experimental más estricto que el habitual, algo que la literatura sobre autocorrección viene documentando desde hace tiempo: sin una señal externa (ejecutar código, consultar un verificador formal, comparar contra un dato conocido), un modelo de lenguaje no logra distinguir de manera confiable una respuesta mejorada de una que solo suena más convincente. El paper libera el código, los prompts, todas las generaciones y los scripts de verificación, lo que permite repetir el experimento en otros modelos y escalas. Queda sin probar si el mismo patrón se sostiene en modelos de frontera cerrados, muy por encima de los 7.000 millones de parámetros que cubre este estudio.