Meta hat Purple Llama vorgestellt, ein Projekt, das sich der Entwicklung von Open-Source-Tools widmet, mit denen Entwickler die Zuverlässigkeit und Sicherheit generierter Modelle künstlicher Intelligenz (KI) vor deren Einsatz bewerten und verbessern können.
Meta betonte die Notwendigkeit gemeinsamer Anstrengungen zur Gewährleistung der Sicherheit von KI und stellte gleichzeitig fest, dass die Herausforderungen der KI nicht isoliert bewältigt werden können.
Das Unternehmen erklärte, dass Purple Llama mit der Schaffung einer gemeinsamen Plattform für die Entwicklung sichererer generativer KI angesichts wachsender Bedenken hinsichtlich großer Sprachmodelle und anderer KI-Technologien eine Lösung anstrebt.
Gareth Lindahl-Wise, Direktor für Informationssicherheit beim Cybersicherheitsunternehmen Ontinue, bezeichnete Purple Llama als „einen positiven und proaktiven Schritt“ hin zu einer sichereren KI-Technologie.
Project Purple Llama arbeitet mit KI-Entwicklern, Cloud-Diensten wie AWS und Google Cloud, Halbleiterunternehmen wie Intel, AMD und Nvidia sowie Softwareunternehmen, darunter Microsoft, zusammen.
Das erste Toolkit, das über Purple Llama veröffentlicht wurde, ist CyberSecEval – ein KI-gestütztes Software-Tool zur Bewertung von Cybersicherheitsrisiken.
Es verfügt über ein Sprachmuster, das unangemessene oder schädliche Texte kennzeichnet, einschließlich Diskussionen über Gewalt oder illegale Aktivitäten.
Entwickler können CyberSecEval nutzen, um zu überprüfen, ob ihre KI-Modelle anfällig dafür sind, unsicheren Code zu generieren oder Cyberangriffe zu unterstützen.
Die Forschung von Meta hat ergeben, dass große Sprachmodelle oft auf anfälligen Code hinweisen, was die Bedeutung kontinuierlicher Tests und Verbesserungen für die Sicherheit von KI unterstreicht.
Llama Guard ist ein weiteres Werkzeug – ein großes Sprachmodell, das darauf trainiert wurde, potenziell schädliche oder beleidigende Sprache zu erkennen.
Entwickler können Llama Guard verwenden, um zu überprüfen, ob ihr Modell unsichere Inhalte generiert oder akzeptiert. Dies hilft dabei, Eingabeaufforderungen herauszufiltern, die zu ungeeigneten Ausgaben führen könnten.
(laut IFW)
Er investiert massiv in KI und startet fünf neue Quantenprojekte.
Der GUIDi AI-Gürtel ersetzt den Blindenstock für Sehbehinderte.
Die Open-Source-KI-Allianz der Tech-Giganten wird mit OpenAI konkurrieren.
Ein einzigartiger Ansatz zur Entwicklung von KI-Chatbots in China.
Quelle








Kommentar (0)