¿Un modelo abierto aguanta una tarea de 40 acciones igual de bien que GPT o Claude, o solo impresiona en una demo de cinco minutos?
La pregunta interesante empieza cuando algo sale mal
Cuando tiene que recordar lo que ya hizo, detectar que tomó un camino equivocado, corregirse y seguir trabajando durante otras 15 acciones sin que nadie tenga que rescatarlo
Ahí cambia lo que estamos midiendo.
Una demo corta te dice si el modelo entiende la tarea.
Una tarea agentic larga te dice si puede mantener el hilo, usar bien el contexto, recuperarse de sus propios errores y seguir avanzando sin intervención humana.
Y esas capacidades casi no aparecen en un benchmark de una pregunta y una respuesta.
Los labs llevan tiempo poniendo mucho foco justo ahi en el agentic coding, browsing de larga duración, uso encadenado de herramientas y task completion over long horizons...
En cambio, gran parte de la comparación entre modelos abiertos sigue concentrándose en benchmarks más cortos y puntuales.
Eso no significa que los modelos abiertos sean peores.
Significa que muchas veces no tenemos suficiente evidencia para saber cómo se comportan cuando la tarea deja de parecerse a una demo.
Y si quieres poner uno de esos modelos a orquestar un proceso real, esa es precisamente la pregunta importante.
-> ¿Puede resolver esta tarea sin andar con prompting constante?
-> ¿Puede seguir resolviéndola cuando lleva un rato trabajando, se equivoca, tiene que corregirse y todavía queda mucho por hacer?
Antes de desplegar un modelo abierto como agente, buscaría benchmarks de tareas largas y recuperación ante errores, no solo accuracy en tareas puntuales.
Y si esos benchmarks no existen, los construiría antes de confiarle un flujo crítico en producción.