Un agente de inteligencia artificial que sorprende al utilizar la computadora, pero que todavía tiene mucho que demostrar frente a Fable 5.1 en programación.
OpenAI presentó esta semana GPT 6 Astra, anunciándolo como su mejor modelo hasta la fecha para ingeniería de software y como un avance importante en la capacidad de interactuar directamente con una computadora. El lanzamiento llegó en un momento bastante oportuno: acababa de terminar una serie de pruebas con Fable 5.1 de Anthropic, utilizando los mismos criterios de evaluación y diferentes escenarios prácticos.
Esto me permitió establecer una comparación mucho más precisa y responder una pregunta bastante interesante: ¿realmente GPT 6 Astra consigue cerrar la brecha con Fable 5.1?
La respuesta corta es que, en las tareas de programación, Astra ofrece resultados muy similares a los de GPT 5.6 Sol, pero sigue bastante por detrás de Fable 5.1. De hecho, los resultados del benchmark DeepSWE muestran que el rendimiento de Astra coincide casi por completo con el de Sol.
Sin embargo, hay un aspecto en el que Astra sí consigue destacar: su capacidad para realizar tareas directamente en una computadora, más allá de escribir código.
Y quiero aclarar algo importante desde el principio: esta evaluación no parte de una postura contraria a OpenAI. Llevo utilizando Codex con Sol para desarrollar proyectos complejos que requieren varias semanas de trabajo desde su lanzamiento. Por eso, tenía motivos suficientes para esperar que Astra representara una mejora significativa.
Cómo se realizaron las pruebas
Para evaluar las capacidades de programación, utilicé Codex con GPT 6 Astra configurado en su nivel de razonamiento más alto, conocido como xhigh.
Como referencia, tomé los resultados de evaluaciones anteriores realizadas con Fable 5.1 en Claude Code y GPT 5.6 Sol en Codex.
El objetivo era mantener unas condiciones de comparación lo más consistentes posible.
Las pruebas incluyeron la creación de réplicas funcionales de productos digitales conocidos y el desarrollo de un juego de rol Dungeons & Dragons basado en texto. Son las mismas tareas utilizadas anteriormente para evaluar Fable 5.1.
También incorporé algunos experimentos adicionales fuera de la batería habitual de pruebas, especialmente relacionados con la interacción directa con la computadora, una de las capacidades que OpenAI más está destacando de Astra.
Pruebas de programación: ¿qué tan bueno es realmente GPT 6 Astra?
1. Réplica de Lyfetime.io: resultados aceptables, pero sin grandes avances
Esta es la prueba más antigua de todas las que realizo y, precisamente por eso, una de las más útiles para comparar modelos. A lo largo del tiempo he acumulado suficientes referencias como para identificar con claridad cuándo existe una mejora real.
En esta ocasión, Astra consiguió un resultado aceptable.
Su desempeño fue bastante parecido al de GPT 5.6 Sol, pero no logró superarlo. Además, quedó claramente por detrás de Fable 5.1.
El principal problema estuvo en las decisiones relacionadas con la interfaz de usuario.
Astra fue acumulando pequeños errores de diseño y experiencia de usuario que, aunque individualmente no resultaban graves, terminaron afectando al resultado general.
No se trataba de un único fallo importante, sino de una sucesión de decisiones poco acertadas que hacían que la aplicación se sintiera menos intuitiva, menos fluida y algo torpe al utilizarla.
La conclusión de esta prueba es sencilla: Astra puede construir una aplicación funcional, pero todavía tiene dificultades para ofrecer una experiencia de usuario verdaderamente cuidada.
2. Réplica de Linear: una experiencia bastante decepcionante
La segunda prueba consistió en desarrollar una réplica de Linear, una herramienta conocida por su interfaz limpia y su enfoque en la gestión de proyectos.
Aquí los resultados fueron considerablemente peores.
Desde el punto de vista de la experiencia de usuario, Astra estuvo prácticamente al mismo nivel que Sol, e incluso podría decirse que ligeramente por debajo.
La aplicación presentaba decisiones de diseño cuestionables y, además, no incluía datos de ejemplo.
Esto último puede parecer un detalle menor, pero tiene un impacto importante en la experiencia inicial.
Al abrir la aplicación, en lugar de encontrarte con un entorno preparado para explorar sus funcionalidades, aparecía una estructura prácticamente vacía, sin información con la que interactuar.
En comparación, Fable 5.1 había conseguido generar en un solo intento una interfaz extremadamente pulida, atractiva y fluida.
La diferencia entre ambos resultados fue evidente.
Mientras Fable 5.1 entregaba una aplicación que parecía lista para utilizarse, Astra ofrecía una estructura que todavía necesitaba bastante trabajo.
Fue, sin duda, un resultado decepcionante.
3. Réplica de Notion: todavía más lejos de la competencia
La tercera prueba consistió en desarrollar una réplica de Notion.
Y aquí las cosas empeoraron todavía más.
Si el resultado obtenido con Linear ya había sido decepcionante, la réplica de Notion dejó una impresión aún más negativa.
Astra simplemente no consiguió acercarse al nivel alcanzado por Fable 5.1.
La diferencia fue demasiado grande como para considerarla una competencia equilibrada.
En esta prueba, Astra volvió a demostrar que, aunque puede desarrollar estructuras funcionales, todavía tiene importantes limitaciones cuando necesita combinar diseño, experiencia de usuario y una ejecución realmente cuidada.
4. Un juego de rol Dungeons & Dragons: la prueba más exigente
Esta es la tarea más larga y compleja de toda la evaluación. También es una de las que mejor permite identificar diferencias entre modelos.
El objetivo consistía en desarrollar un juego de rol Dungeons & Dragons basado en texto, con una historia interactiva, decisiones para el jugador y una interfaz que permitiera disfrutar de la experiencia.
En este caso, la diferencia en la manera de trabajar fue especialmente interesante.
Fable 5.1 creó ocho subagentes y distribuyó diferentes partes del desarrollo para ejecutarlas en paralelo.
Astra, por el contrario, trabajó de forma secuencial durante todo el proceso.
Es importante señalar que no le indiqué explícitamente que utilizara subagentes. Por lo tanto, la comparación del tiempo total de ejecución debe interpretarse teniendo en cuenta esta diferencia.
Aun así, el contraste fue considerable.
Después de siete horas de trabajo, tuve que pedirle a Astra que se apresurara y me permitiera comenzar a jugar.
Finalmente, lo hizo.
¿Y qué tal fue el resultado?
Aceptable, aunque lejos de lo esperado.
La interfaz representaba una mejora clara respecto a la desarrollada anteriormente por Sol, pero seguía sin alcanzar el nivel de calidad visual conseguido por Fable 5.1.
Sin embargo, los problemas más importantes no estaban en la apariencia del juego, sino en su funcionamiento.
La historia resultaba difícil de seguir, las opciones disponibles para el jugador eran demasiado limitadas y los controles eran excesivamente sencillos.
Todo esto hacía que la experiencia se alejara de lo que normalmente esperamos de un verdadero juego de rol.
Astra consiguió crear un juego que funcionaba, pero no una experiencia suficientemente profunda, flexible y envolvente.
Y esa diferencia es fundamental cuando se evalúa la capacidad de un modelo para desarrollar productos completos.
Más allá de la programación: aquí es donde Astra empieza a destacar
Las pruebas de programación son las que me permiten realizar comparaciones más sólidas, principalmente porque llevo bastante tiempo utilizando la misma metodología.
Sin embargo, OpenAI no está posicionando Astra únicamente como un modelo para escribir código.
Una de sus grandes promesas es la capacidad de interactuar directamente con una computadora, navegar por aplicaciones y realizar tareas que normalmente requieren intervención humana.
Por eso decidí salir de las pruebas habituales y explorar algunas de estas posibilidades.
Los resultados fueron bastante interesantes.
5. Modelado 3D: buenas ideas, pero resultados limitados
La primera prueba consistió en pedirle a Astra que generara un mapa tridimensional de mi vecindario.
El resultado fue razonablemente preciso.
Consiguió representar el entorno de una manera bastante aproximada a la realidad, pero presentó dos problemas importantes: la resolución era baja y el tiempo de renderizado fue extremadamente lento.
Después decidí probar algo más personal: crear un modelo tridimensional de mi casa utilizando información pública disponible en internet.
Para conseguirlo, Astra utilizó sus capacidades de interacción con la computadora, navegó por Google Maps y Zillow y obtuvo diferentes capturas de pantalla.
A partir de esos datos consiguió generar una representación interior de la vivienda con una precisión razonable, aunque nuevamente con una resolución bastante limitada.
Aquí merece la pena reconocer algo.
Gran parte de la precisión del resultado no se debió necesariamente a una capacidad extraordinaria de modelado tridimensional.
En realidad, Astra consiguió localizar los planos de la vivienda publicados en Zillow y utilizarlos como referencia.
Es decir, el verdadero acierto estuvo más en encontrar y recuperar la información adecuada que en la propia capacidad de generar el modelo 3D.
Aun así, demuestra que Astra puede combinar diferentes herramientas y fuentes de información para completar tareas que van más allá de una conversación tradicional.
Uso de la computadora: el verdadero punto fuerte de GPT 6 Astra
Esta fue probablemente la parte más interesante de toda la evaluación.
Aquí quería comprobar hasta qué punto Astra podía navegar, interpretar información y ejecutar acciones dentro de diferentes plataformas.
Para ello, realicé tres pruebas muy distintas.
6. Navegación por historiales médicos
La primera consistió en permitirle acceder a mis registros médicos y pedirle que revisara la información para identificar cualquier detalle importante que debería conocer.
En este caso tenía una ventaja para evaluar el resultado: ya sabía qué información relevante debería encontrar.
Eso convertía la prueba en un escenario con una respuesta esperada y relativamente fácil de comprobar.
Astra realizó un trabajo bastante decente.
Consiguió navegar por los registros y destacar información relevante, mostrando que puede desenvolverse con cierta eficacia en tareas de revisión de documentos y exploración de plataformas.
No fue un resultado extraordinario, pero sí suficientemente bueno como para reconocer su utilidad en este tipo de situaciones.
7. Recomendaciones de lectura: la mejor prueba de todas
La siguiente tarea fue mucho más sencilla en apariencia, pero terminó convirtiéndose en la gran sorpresa de la evaluación.
Le pedí a Astra que revisara mis lecturas recientes en Goodreads y me recomendara nuevos libros.
Para hacerlo, tenía que navegar por la plataforma, interpretar mi historial de lectura y utilizar esa información para elaborar recomendaciones.
Y aquí sí consiguió destacar.
El resultado fue excelente.
Astra hizo un trabajo realmente bueno, hasta el punto de convertirse en la prueba más satisfactoria de todo el ejercicio.
Esta experiencia demostró que su capacidad para navegar por información personal, comprender el contexto y ofrecer recomendaciones útiles puede ser uno de sus mayores puntos fuertes.
Es precisamente en este tipo de tareas donde empieza a resultar evidente el valor de un modelo capaz de interactuar directamente con aplicaciones y servicios.
8. Jugar ajedrez: una experiencia llena de errores
La última prueba consistió en enfrentar a Astra contra la inteligencia artificial de ajedrez disponible en playfulton.com.
Y los resultados fueron bastante malos.
Astra cometió errores graves una y otra vez durante la partida.
Le costaba interpretar correctamente la situación del tablero y tomar decisiones estratégicas adecuadas.
En un momento especialmente curioso, decidió intentar instalar un motor de ajedrez para utilizarlo como apoyo, en lugar de continuar jugando a partir de la información visual que tenía disponible.
Tuve que intervenir para pedirle que dejara de hacerlo.
Esta experiencia dejó en evidencia una limitación importante: tener la capacidad de interactuar con una computadora no significa necesariamente comprender bien todas las tareas que se realizan en ella.
Astra puede navegar, hacer clic y ejecutar acciones, pero eso no garantiza que sus decisiones sean correctas.
Veredicto final: ¿vale la pena GPT 6 Astra?
Después de completar todas estas pruebas, mi conclusión es bastante clara.
GPT 6 Astra es un buen agente para interactuar con una computadora, pero su rendimiento en programación sigue siendo intermedio frente a los modelos más competitivos.
En las pruebas de desarrollo, los resultados se mantuvieron prácticamente al nivel de GPT 5.6 Sol.
No representa un salto significativo respecto a su predecesor.
Y cuando lo comparamos con Fable 5.1, la diferencia sigue siendo considerable.
Fable 5.1 consiguió resultados superiores en todas las tareas de programación evaluadas, especialmente en la calidad de las interfaces de usuario.
Este último punto es particularmente importante.
La capacidad de construir aplicaciones funcionales ya no es suficiente para destacar entre los modelos de inteligencia artificial más avanzados.
También importan el criterio de diseño, la atención al detalle, la experiencia de usuario y la capacidad para organizar procesos de desarrollo complejos.
Precisamente ahí es donde Fable 5.1 sigue demostrando una ventaja importante.
Y eso coloca a Astra en una posición algo incómoda, especialmente cuando OpenAI lo presenta como su mejor modelo de ingeniería de software hasta la fecha.
Por supuesto, es importante contextualizar los resultados.
Estas pruebas no corresponden al benchmark SWE-bench ni pretenden representar una evaluación exhaustiva de todas las capacidades de los modelos.
Se trata de un conjunto de ejercicios prácticos, diseñados para comprobar cómo responden ante solicitudes reales del tipo: «Construye este producto».
Son tareas que premian la calidad de ejecución, la atención a los detalles, el buen criterio y la capacidad de dividir el trabajo en diferentes procesos cuando resulta necesario.
Y, bajo estos criterios, Astra todavía no consigue alcanzar a Fable 5.1.
Conclusión: un modelo prometedor, pero no la evolución que esperaba
Después de todas las pruebas, Fable 5.1 sigue siendo el mejor modelo que he evaluado.
Su capacidad para desarrollar aplicaciones completas, generar interfaces cuidadas y abordar tareas complejas continúa situándolo por delante de Astra.
Eso no significa que GPT 6 Astra sea un mal modelo.
De hecho, sus capacidades para interactuar con la computadora son suficientemente buenas como para seguir utilizándolo en determinadas actividades.
Especialmente en aquellas que requieren navegar por sitios web, explorar aplicaciones, consultar información y realizar acciones mediante clics e interacciones directas.
En ese terreno, Astra sí demuestra tener un valor considerable.
Sin embargo, cuando se trata de programación y desarrollo de productos, la conclusión es diferente.
GPT 6 Astra no representa la actualización que esperaba.
Es una herramienta capaz, con avances interesantes fuera del editor de código, pero todavía tiene un camino importante por recorrer antes de superar a los modelos que actualmente destacan en el desarrollo de software.
Y quizá esa sea la reflexión más interesante de toda esta evaluación: un modelo puede mejorar considerablemente en su capacidad para utilizar herramientas sin convertirse necesariamente en un mejor programador.
Por ahora, Astra se gana un lugar entre mis herramientas para tareas de navegación e interacción con la computadora.
Pero cuando necesito escribir código y construir productos de calidad, Fable 5.1 continúa siendo mi primera opción.
Gracias por leer Código en Casa.
Si esto te a ayudado y te sumo algo Dale un 👏 , compártelo con tu red o dejame un comentario para saber tu opinión.
