KI benötigt keine riesigen Datenmengen mehr: Das Rennen um die Entwicklung energieeffizienter KI

KI-Modelle benötigen zum Lernen keine riesigen Datenmengen oder extrem leistungsstarke Computer mehr. Der Wettlauf um ein energieeffizienteres KI-Training eröffnet einen neuen, benutzerfreundlicheren Ansatz.

Technologiekonzerne setzen auf moderne, energieeffiziente KI-Modelle.

In den letzten Jahren folgte die Branche der künstlichen Intelligenz (KI) weitgehend dem Prinzip „größer ist besser“: mehr Daten, mehr Parameter, mehr Berechnungen. Neue Forschungsergebnisse von Google, dem MIT und Stanford weisen jedoch in eine völlig andere Richtung.

Moderne Modelle lassen sich mit weniger Daten effizient trainieren, verbrauchen weniger Energie und erzielen dennoch hohe Leistungen. Dies reduziert nicht nur Trainingskosten und -zeit, sondern ermöglicht auch kleinen Forschungsteams und mittelständischen Unternehmen den Zugang zu KI-Anwendungen, die zuvor Schwierigkeiten hatten, auf groß angelegte Technologien zuzugreifen.

Technologische Fortschritte tragen dazu bei, dass KI „klein, aber leistungsstark“ wird.

Laut einer Studie von Tuoi Tre Online reduzierte Google im Test zur Anzeigenverarbeitung die Trainingsdaten von 100.000 Beispielen auf weniger als 500 Beispiele und erhöhte gleichzeitig die Übereinstimmung mit Experten um 65 %.

Parallel dazu zeigt eine umfassende Untersuchung zum dateneffizienten Training, dass „Datenqualität, intelligentes Sampling und ‚Destillations‘-Techniken die Leistung bestimmen“, und nicht einfach die Erhöhung der Datenmenge.

Theoretisch legen „Skalierungsgesetze“ nahe, dass eine Erhöhung der Modellparameter, der Daten und der Rechenleistung hilfreich sein wird, doch Experten wie Yann LeCun, Direktor für KI bei Meta, betonen: „Man kann nicht einfach Daten und Rechenleistung erhöhen und dadurch KI automatisch intelligenter machen.“

Das bedeutet, dass Forschungsteams, anstatt Millionen bis Milliarden von Proben erstellen und kennzeichnen zu müssen, nun Daten wiederverwenden, synthetische Daten erzeugen, kleinere Modelle verwenden und sich auf energie- und dateneffizientere Algorithmen konzentrieren.

Die Technik der „Wissensdestillation“ ermöglicht beispielsweise die Übertragung von Wissen von einem „Lehrer“ (einem großen Lehrermodell) auf einen „Schüler“ (einem kompakten Schülermodell), wobei viele Fähigkeiten erhalten bleiben. Forscher am Stanford HAI betonen, dass dieser Trend sowohl rechentechnisch effizient als auch umweltfreundlich ist und gleichzeitig kleinen Forschungsgruppen sowie kleinen und mittelständischen Unternehmen die Möglichkeit eröffnet, KI effektiv einzusetzen.

Diese Fortschritte ermöglichen es KI-Modellen, mit weniger Daten auszukommen, schneller zu laufen, weniger Energie zu verbrauchen, Kosten zu senken, die Nachhaltigkeit zu erhöhen und Anwendungen auf ressourcenbeschränkte Umgebungen auszudehnen, um eine intelligente Optimierung zu erreichen, schneller zu lernen, weniger Ressourcen zu verbrauchen und dennoch die Qualität zu gewährleisten.

Praktische Anwendungen und Herausforderungen des dateneffizienten KI-Trainings

Tatsächlich hat das Training von KI mit weniger Daten und Rechenleistung weitreichende Folgen. Für kleine Unternehmen oder Forschungsteams in Entwicklungsländern ist die Nutzung von Millionen von Beispielen und riesigen Servern nicht realisierbar. Wenn es gelingt, ein Modell mit wenigen Tausend Beispielen und herkömmlichen Computern zu trainieren, rücken KI-Anwendungen näher an die Bedürfnisse von Endnutzern und realen Umgebungen heran.

Beispielsweise zeigt Google in Dialogen zur Anzeigenmoderation, dass die Auswahl einer repräsentativen Stichprobe von Daten besser ist als Hunderttausende von Zufallsstichproben – so wird die benötigte Datenmenge reduziert, ohne dass die Ergebnisse beeinträchtigt werden.

Die Herausforderung bleibt jedoch bestehen: Bei geringer Datenmenge neigt das Modell zu Überanpassung, schlechter Generalisierung und Schwierigkeiten bei der Anpassung an veränderte Umgebungsbedingungen. Untersuchungen zum visuellen Transferlernen zeigen, dass Destillation bei sehr begrenzten Eingangsdaten effektiver ist, bei ausreichend großen Datenmengen jedoch die traditionelle Methode weiterhin die Nase vorn hat.

Im Hinblick auf Energieverbrauch und Kosten bedeutet die Reduzierung der Datenmenge auch eine Reduzierung des Rechenaufwands, der Server und des Stromverbrauchs, was im Kontext großer KI-Modelle (LLM) von Bedeutung ist, deren Training Millionen von Dollar kostet.

Laut einem Bericht von Stanford HAI wird der Trend zu daten- und energiesparender KI im Jahr 2025 als „große Transformation“ betrachtet.

Für Journalisten und allgemeine Leser ist es daher wichtig zu wissen, dass, wenn KI nicht mehr nur den „Tech-Giganten“ vorbehalten ist, sondern auch von kleinen Teams mit weniger Daten und geringeren Kosten entwickelt werden kann, viele neue Anwendungen entstehen werden – von der Kleinunternehmensverwaltung über regionale medizinische Anwendungen bis hin zum personalisierten Lernen.

Nutzer sollten sich jedoch auch bewusst sein, dass das „Datenmodell“ weniger genau und anfälliger für Verzerrungen sein kann, wenn es nicht gut kontrolliert wird.

Zurück zum Thema

Tuan Vi

Quelle: https://tuoitre.vn/ai-khong-con-can-du-lieu-khong-lo-cuoc-dua-huan-luyen-ai-tiet-kiem-nang-luong-20251031115025169.htm