Fable 5.2 supera a competidores en evaluación de trabajos freelance

Fable 5.2 obtuvo un 41.3% en el Remote Labor Index, evaluación de trabajos freelance reales, superando a sus predecesores y competidores como Fable 5.1, Opus 5.5 y GPT 6 Astra. El índice mide la capacidad de los agentes de IA para completar encargos profesionales con calidad aceptable.

La prueba incluyó 240 proyectos freelance con un valor total de USD $144,000. Fable 5.2 completó más del doble de encargos que Fable 5.1, que obtuvo poco menos del 18%. El modelo superó a Opus 5.5 (21.25%) y GPT 6 Astra (20.83%).

Gemini Argon 4, el mejor modelo de Google en esta evaluación, obtuvo un 17.08%. Fable 5.2 mostró avances en edición de audio, arquitectura, interiores y modelos 3D. Casi 50 tareas completadas por Fable 5.2 no habían sido resueltas antes por otros agentes.

El índice identifica áreas donde los agentes de IA aún tienen dificultades, como el diseño industrial y la animación. Los encargos se evalúan en software profesional como Blender, GIMP y Audacity. La revisión humana es clave para verificar si los resultados cumplen con los estándares profesionales.

CAIS intentó automatizar la evaluación, pero los sistemas de IA no han sido confiables hasta ahora. Scale Labs destacó que los avances más marcados de Fable 5.2 se concentran en edición de audio y música, diseño de arquitectura y espacios interiores, además de la creación de modelos 3D. Casi 50 de las tareas completadas con éxito por Fable 5.2 no habían sido resueltas antes por ningún agente incluido en la prueba.

CAIS señaló que los revisores automáticos apenas pueden operar por sí mismos el software profesional y pueden dejarse engañar por entregas visualmente atractivas, calificándolas con demasiada generosidad pese a sus fallos técnicos.