La 'empresa' cuyo personal entero es IA

¿Tendrá éxito una empresa basada íntegramente en inteligencia artificial? Foto: Business Insiders .

En un experimento reciente, investigadores de la Universidad Carnegie Mellon simularon una empresa de software llamada TheAgentCompany, con políticas para empleados y un sitio web interno. En el cual, todo el personal son agentes de IA, inteligencia artificial diseñada para razonar y planificar la realización de tareas por sí misma.

El software de inteligencia artificial que impulsa a los “trabajadores” proviene de Google, OpenAI, Anthropic y Meta. Estas IA asumen roles que van desde analistas financieros e ingenieros de software hasta gerentes de proyectos. Trabajan juntos como colegas, en departamentos simulados, desde recursos humanos hasta ingeniería de la vida real.

El experimento requirió que el modelo de IA manejara tareas que simularan las tareas diarias de empleados reales en una empresa de software. El equipo quería evaluar con precisión qué tan bien puede desempeñarse la IA en entornos del mundo real y si es lo suficientemente capaz de reemplazar a los humanos.

Las tareas que deben realizarse varían desde navegar por carpetas de archivos, recorrer la nueva oficina “virtualmente” y escribir evaluaciones de desempeño para ingenieros de software basadas en los comentarios recopilados.

En una tarea, la IA tuvo que acceder a múltiples directorios para analizar la base de datos de una cadena de cafeterías. En otro trabajo, se les pidió que recopilaran comentarios sobre un ingeniero de 36 años y escribieran evaluaciones de desempeño.

Sin embargo, según Business Insider , los resultados fueron desalentadores. El modelo con mejor rendimiento, Claude 3.5 Sonnet de Anthropic, solo completó el 24% de las tareas asignadas. Incluso este modesto nivel de rendimiento tiene un coste muy elevado, señala el equipo. En promedio, Claude necesita aproximadamente 30 pasos y le cuesta más de 6 dólares completar cada tarea.

En segundo lugar se encuentra Gemini 2.0 Flash de Google. La herramienta promedio necesita 40 pasos para completar una tarea, pero solo logra una tasa de éxito del 11,4%. En último lugar quedó Nova Pro v1 de Amazon con un 1,7 % de tareas completadas y un promedio de casi 20 pasos.

Según los investigadores, la razón de este resultado es que los agentes de IA aún carecen de conocimientos básicos comunes y de habilidades sociales débiles. Además, la navegación y el acceso a Internet también son muy deficientes.

Los chatbots también luchan contra el autoengaño, que consiste en tomar automáticamente un camino más fácil, pero que en última instancia conduce al fracaso de la tarea. Por ejemplo, al realizar una tarea, el agente de IA no puede encontrar a la persona adecuada para preguntar en la sala de chat de la empresa. Entonces se les ocurrió un atajo: usar el nombre de la persona que están buscando para nombrar otro objeto.

Stephen Casper, un investigador de IA, dice que la gente está exagerando las capacidades de los agentes de IA. Tanto Jensen Huang, CEO de Nvidia, como Sam Altman, CEO de OpenAI, han dicho que este año la IA entrará en la fuerza laboral, reemplazando algunas partes de la empresa.

Sin embargo, muchos otros estudios han demostrado lo contrario. La Harvard Business School ha señalado que la IA no se adapta bien en entornos con grandes cambios. El informe de Langchain también encontró que tenían dificultades para utilizar herramientas y seguir instrucciones.

Se supone que los agentes de IA pueden realizar bien algunas tareas pequeñas. Pero según los resultados del estudio mencionado, tienen una mayor tasa de éxito en tareas que son más difíciles para los humanos, como el desarrollo de software.

Los resultados del experimento de Carnegie Mellon muestran que la IA aún no ha reemplazado a los humanos en tareas importantes. Por otro lado, los humanos pueden aprovechar la IA para optimizar su trabajo diario.

Fuente: https://znews.vn/cong-ty-co-toan-bo-nhan-vien-la-ai-post1549608.html