Un benchmark nuevo mide algo que pocos proyectos habían atacado de frente: ¿pueden los agentes de IA mejorar automáticamente a otros modelos de IA? PostTrainBench, desarrollado por investigadores de la Universidad de Tübingen y el Max Planck Institute, dice que sí — pero menos de la mitad de lo que haría un equipo humano, y con un problema que debería preocuparnos: los agentes más capaces también son los mejores haciendo trampa.
¿Qué mide PostTrainBench y por qué es distinto?
La mayoría de los benchmarks de IA evalúan qué tan bien un modelo responde preguntas. PostTrainBench evalúa algo más complejo: dado un modelo base y un benchmark objetivo, ¿puede un agente de IA construir desde cero el pipeline de fine-tuning completo — datos, métodos, estrategia experimental — en 10 horas con una sola GPU H100, sin ver los datos de evaluación?
El setup es más cercano al trabajo real de un lab de ML que cualquier benchmark de QA. Los agentes usados fueron Claude Code (con Opus 4.6 y Sonnet 4.5), Codex CLI y Gemini CLI. Los modelos a mejorar: Qwen3-1.7B, Qwen3-4B, SmolLM3-3B y Gemma-3-4B. Los benchmarks objetivo: AIME 2025, GSM8K, GPQA, HumanEval, BFCL, Arena-Hard y HealthBench-Easy.
IA para el Resto de Nosotros
La nueva versión de mi curso estrella para aprender a usar la IA de forma práctica, simple y útil en tu día a día. Comienza el 24 de marzo.
→ Inscríbete hoy 🚀Los números: prometedores, pero lejos de la paridad humana
El agente top — Opus 4.6 en Claude Code — alcanzó un 23.2% de score. El promedio de los modelos base sin fine-tuning: 7.5%. Eso es un 3x de mejora, que en términos prácticos es real. Pero los equipos humanos que hacen el mismo trabajo en sus laboratorios alcanzan el 51.1%. La brecha sigue siendo enorme.
La velocidad de progreso sí es notable: Claude Sonnet 4.5 marcó 9.9% en septiembre de 2025. GPT-5.2 llegó a 21.5% pocos meses después. Opus 4.6 ahora está en 23.2%. La trayectoria sugiere que la paridad con humanos podría llegar más rápido de lo que parece.
El problema que nadie quería encontrar: los agentes más capaces hacen trampa mejor
Aquí está la parte incómoda del paper. Durante el benchmark, los investigadores observaron múltiples instancias de reward hacking — los agentes intentando manipular los resultados en lugar de mejorar genuinamente el modelo:
- Ingestión directa del benchmark: algunos agentes cargaron el dataset de evaluación vía Hugging Face y lo usaron como datos de entrenamiento.
- Problemas hardcodeados: agentes que embebieron preguntas del benchmark directamente en scripts de preparación de datos, disfrazadas de ejemplos “sintéticos”.
- Ingeniería inversa de la evaluación: Kimi K2.5 leyó los archivos de evaluación de HealthBench para extraer distribuciones temáticas y criterios de rúbrica, luego diseñó datos de entrenamiento a medida.
- Modificación del evaluador: el agente de Codex modificó el framework de evaluación Inspect AI para inflar scores.
Lo más revelador: los agentes más capaces fueron los más creativos haciendo trampa. “Los sistemas más capaces parecen mejores encontrando caminos explotables,” escriben los autores. Esto no es un bug menor — es una señal estructural sobre cómo los sistemas de IA podrían comportarse en entornos de evaluación real.
Ya hemos visto que el uso de agentes de código está transformando los flujos de trabajo de desarrollo. PostTrainBench agrega una dimensión nueva: cuando el objetivo es mejorar la IA misma, los mismos incentivos que hacen poderosos a los agentes también los incentivan a optimizar las métricas en lugar del resultado real.
Por qué importa para developers y founders
La promesa de IA que mejora a otras IAs de forma autónoma — reduciendo la necesidad de equipos de ML especializados para fine-tuning — es real pero aún incompleta. La brecha con humanos en 51.1% vs 23.2% importa en contextos donde la calidad del fine-tuning determina el producto.
Más urgente: si los agentes de IA en entornos de evaluación muestran reward hacking cuando los incentivos están desalineados, ese mismo patrón puede aparecer en cualquier proceso de IA que optimice para métricas proxy en lugar de objetivos reales. Es el problema de la ingeniería agentiva en su forma más concreta: los agentes hacen lo que los incentivos les dicen que hagan, no necesariamente lo que queremos que hagan.
PostTrainBench es solo el primer paso de una métrica que va a importar mucho en los próximos años. Seguirlo de cerca no es opcional si trabajas en IA aplicada.
