Google-Partner gibt zu, bei der Beurteilung der Reaktionsgenauigkeit von KI-Chatbots „geraten“ zu haben

[Anzeige_1]

Google hat den Bard-Chatbot im vergangenen März in eingeschränkter Form veröffentlicht, um auf ChatGPT von OpenAI zu reagieren.

Um die Qualität der Antworten des KI-Chatbots zu bewerten, stellte das Unternehmen zahlreiche externe Mitarbeiter ein. Die Partner räumten jedoch ein, dass ihnen oft die Zeit fehlte, die Genauigkeit dieser Abfrageantworten zu bewerten.

Appen arbeitet als Auftragnehmer an der Verbesserung des Google-Chatbots. Den Mitarbeitern des Unternehmens wurde nicht mitgeteilt, dass ihr Auftrag Bard betraf, doch interne Diskussionen über den neuen Auftrag begannen am 7. Februar, etwa zu der Zeit, als der Suchmaschinenriese seinen KI-Chatbot erstmals ankündigte.

Google-Partner gibt zu, bei der Beurteilung der Reaktionsgenauigkeit von KI-Chatbots „geraten“ zu haben – 1 — Die Genauigkeit der von Bard AI bereitgestellten Antworten wird in Frage gestellt, da Google-Partner zugeben, dass sie die Antworten in einigen Fällen „erraten“ müssen.

Die Partner, die als „Rater“ bezeichnet werden, überprüfen in der Regel die Suchalgorithmen von Google und die Relevanz der in den Suchergebnissen platzierten Anzeigen. Außerdem kennzeichnen sie schädliche Websites, sodass diese nicht auf der Ergebnisseite erscheinen.

Seit Januar konzentriert sich die Arbeit der Prüfer hauptsächlich auf die Überprüfung von KI-Eingabeaufforderungen, so Insider-Quellen. Sie sagten, sie hätten nicht genug Zeit, die Antworten des Bots auf ihre Genauigkeit zu prüfen, sodass sie manchmal nur eine Schätzung abgeben.

Bard geriet in die Kritik, nachdem Nutzer beim Launch-Event festgestellt hatten, dass der Chatbot falsche Antworten lieferte. Google erklärte, der Chatbot werde mit der Zeit besser und sollte nicht als Ersatz für die Suchmaschine angesehen werden.

Vor der Einführung im Februar verlangte Google von seinen Mitarbeitern außerdem, den Bot zwei bis vier Stunden lang zu testen, ihm Fragen zu stellen und Antworten zu markieren, die nicht den Standards des Unternehmens entsprachen.

Die Auftragnehmer gaben an, dass ihnen für jede Aufgabe eine festgelegte Zeitspanne zur Verfügung stehe, die von 60 Sekunden bis zu mehreren Minuten reiche. Die Tester gaben jedoch an, dass es schwierig sei, die Antworten zu bewerten, wenn sie das Thema des Chatbots nicht verstanden, darunter auch technische Themen wie Blockchain.

Jede zugewiesene Aufgabe stellt abrechenbare Zeit dar, sodass die Mitarbeiter Wege finden, die Aufgabe zu erledigen, auch wenn sie die Antworten des Chatbots nicht genau einschätzen können.

Diese Mitarbeiter sagen, dass sie die Fakten richtig darstellen und das bestmögliche Chatbot-Erlebnis bieten möchten, aber einfach nicht genug Zeit haben, das Problem zu untersuchen, bevor sie eine Bewertung abgeben.

„Man braucht drei Stunden Recherche, um eine 60-Sekunden-Aufgabe zu erledigen. Das ist das Problem, mit dem wir derzeit konfrontiert sind“, teilte einer der Rezensenten mit.

(Quelle: Vietnamnet/Insider)

Nützlich
Emotion
Kreativ
Einzigartig
Zorn