Das „Unternehmen“, dessen gesamte Belegschaft aus KI besteht

Wird ein reines KI-Unternehmen erfolgreich sein? Foto: Business Insiders .

In einem kürzlich durchgeführten Experiment simulierten Forscher der Carnegie Mellon University ein Softwareunternehmen namens TheAgentCompany, komplett mit Mitarbeiterrichtlinien und einer internen Website. Dabei handelt es sich beim gesamten Personal um KI-Agenten, also um künstliche Intelligenz, die dazu konzipiert ist, Aufgaben selbstständig zu schlussfolgern und zu planen.

Die künstliche Intelligenzsoftware, die die „Arbeiter“ antreibt, stammt von Google, OpenAI, Anthropic und Meta. Diese KIs übernehmen verschiedene Rollen, vom Finanzanalysten über den Softwareentwickler bis zum Projektmanager. Sie arbeiten als Kollegen in simulierten Abteilungen zusammen, von der Personalabteilung bis hin zum realen Ingenieurwesen.

Für das Experiment musste das KI-Modell Aufgaben bewältigen, die die täglichen Aufgaben echter Mitarbeiter eines Softwareunternehmens simulierten. Das Team wollte genau beurteilen, wie gut KI in realen Umgebungen funktioniert und ob sie leistungsfähig genug ist, um Menschen zu ersetzen.

Zu den zu erledigenden Aufgaben gehören das Navigieren in Aktenordnern, ein „virtueller“ Rundgang durch das neue Büro und das Verfassen von Leistungsbeurteilungen für Softwareentwickler auf der Grundlage des gesammelten Feedbacks.

Bei einer Aufgabe musste die KI auf mehrere Verzeichnisse zugreifen, um die Datenbank einer Kaffeehauskette zu analysieren. In einem anderen Job wurden sie gebeten, Feedback zu einem 36-jährigen Ingenieur einzuholen und Leistungsbeurteilungen zu schreiben.

Laut Business Insider waren die Ergebnisse jedoch düster. Das Modell mit der besten Leistung, Anthropics Claude 3.5 Sonnet, erledigte nur 24 % der ihm zugewiesenen Aufgaben. Selbst dieses bescheidene Leistungsniveau ist mit einem sehr hohen Preis verbunden, stellt das Team fest. Im Durchschnitt benötigt Claude fast 30 Schritte und kostet über 6 US-Dollar, um jede Aufgabe zu erledigen.

Auf dem zweiten Platz landet Googles Gemini 2.0 Flash. Das durchschnittliche Tool benötigt 40 Schritte, um eine Aufgabe zu erledigen, erreicht aber nur eine Erfolgsquote von 11,4 %. Den letzten Platz belegte Amazons Nova Pro v1 mit 1,7 % erledigten Aufgaben und durchschnittlich fast 20 Schritten.

Der Grund für dieses Ergebnis liegt den Forschern zufolge darin, dass es den KI-Agenten noch immer an allgemeinem Hintergrundwissen und schwachen sozialen Fähigkeiten mangelt. Darüber hinaus sind Navigation und Internetzugang ebenfalls sehr mangelhaft.

Chatbots kämpfen außerdem mit der Selbsttäuschung, dass sie zwar automatisch einen einfacheren Weg wählen, aber letztlich zum Scheitern der Aufgabe führen. Beispielsweise kann der KI-Agent beim Ausführen einer Aufgabe nicht die richtige Person finden, die er im Chatroom des Unternehmens fragen kann. Deshalb haben sie sich eine Abkürzung ausgedacht: Sie verwenden den Namen der gesuchten Person, um ein anderes Objekt zu benennen.

Stephen Casper, ein KI-Forscher, sagt, dass die Fähigkeiten von KI-Agenten überbewertet werden. Sowohl Jensen Huang, CEO von Nvidia, als auch Sam Altman, CEO von OpenAI, haben erklärt, dass KI in diesem Jahr Einzug in die Arbeitswelt halten und einige Teile des Unternehmens ersetzen wird.

Viele andere Studien haben jedoch das Gegenteil bewiesen. Die Harvard Business School hat darauf hingewiesen, dass sich KI an Umgebungen mit großen Veränderungen nicht gut anpasst. Der Bericht von Langchain ergab auch, dass sie Schwierigkeiten hatten, Werkzeuge zu verwenden und Anweisungen zu befolgen.

KI-Agenten sollen einige kleine Aufgaben gut erledigen können. Den Ergebnissen der oben genannten Studie zufolge weisen sie jedoch bei Aufgaben, die für Menschen schwieriger sind, wie etwa der Softwareentwicklung, eine höhere Erfolgsquote auf.

Ergebnisse des Carnegie Mellon-Experiments zeigen, dass KI den Menschen bei wichtigen Aufgaben noch nicht ersetzt hat. Andererseits können Menschen KI nutzen, um ihre tägliche Arbeit zu optimieren.

Quelle: https://znews.vn/cong-ty-co-toan-bo-nhan-vien-la-ai-post1549608.html