Techgiganten stappen over op moderne, energiezuinige AI-modellen
De afgelopen jaren heeft de kunstmatige intelligentie (AI)-industrie grotendeels het principe "groter is beter" gevolgd: meer data, meer parameters, meer berekeningen. Nieuw onderzoek van Google, MIT en Stanford laat echter een heel andere richting zien.
Moderne modellen kunnen efficiënt worden getraind met minder data, verbruiken minder energie en leveren toch hoge prestaties. Dit verlaagt niet alleen de trainingskosten en -tijd, maar maakt AI-toepassingen ook toegankelijk voor kleine onderzoeksteams en middelgrote ondernemingen, die voorheen moeilijk toegang hadden tot grootschalige technologie.
Technologische vooruitgang maakt AI ‘klein maar krachtig’
Uit onderzoek van Tuoi Tre Online blijkt dat Google bij de advertentieverwerkingstest de trainingsgegevens heeft teruggebracht van 100.000 samples naar minder dan 500 samples, terwijl de compatibiliteit met experts toch met 65% is vergroot.
Tegelijkertijd blijkt uit een uitgebreid onderzoek naar data-efficiënte trainingen dat 'datakwaliteit, slimme bemonstering en 'destillatietechnieken' de prestaties bepalen', en niet alleen de toename van de hoeveelheid data.
In theorie suggereren 'schaalwetten' dat het vergroten van modelparameters, data en rekenkracht zal helpen, maar experts zoals Yann LeCun, directeur AI bij Meta, benadrukken: 'Je kunt niet zomaar data en rekenkracht vergroten en AI automatisch slimmer maken.'
Dit betekent dat onderzoeksteams niet langer miljoenen tot miljarden monsters hoeven te bouwen en te labelen, maar dat ze data kunnen hergebruiken, synthetische data kunnen creëren, kleinere modellen kunnen gebruiken en zich kunnen richten op algoritmes die energie- en data-efficiënter zijn.
De techniek van 'kennisdistillatie' maakt het bijvoorbeeld mogelijk om kennis over te dragen van een 'leraar' (een groot lerarenmodel) naar een 'student' (een compact studentenmodel), terwijl veel vaardigheden behouden blijven. Onderzoekers van Stanford HAI benadrukken dat deze trend zowel computationeel kosteneffectief als milieuvriendelijk is, en tegelijkertijd kansen biedt voor kleine onderzoeksgroepen of kleine en middelgrote ondernemingen om AI effectief toe te passen.
Dankzij deze ontwikkelingen kunnen AI-modellen minder data gebruiken, sneller werken, minder stroom verbruiken, kosten verlagen, de duurzaamheid vergroten en toepassingen uitbreiden naar omgevingen met beperkte middelen. Zo kunnen ze intelligente optimalisatie doorvoeren, sneller leren, minder middelen verbruiken en toch de kwaliteit garanderen.
Praktische toepassingen en uitdagingen van data-efficiënte AI-training
Sterker nog, het trainen van AI met minder data en rekenkracht heeft een brede impact. Voor kleine bedrijven of onderzoeksteams in ontwikkelingslanden is "het gebruik van miljoenen samples en enorme servers" niet haalbaar. Wanneer iemand een model kan trainen met een paar duizend samples en gewone computers, zullen AI-toepassingen dichter bij eindgebruikers en echte omgevingen liggen.
Google laat bijvoorbeeld in de moderatiedialogen voor advertenties zien dat het selecteren van een 'waardevolle' steekproef van gegevens beter is dan honderdduizenden willekeurige steekproeven. Hierdoor is er minder gegevens nodig en worden er nog steeds resultaten behaald.
De uitdaging blijft echter bestaan: wanneer de data schaars is, is het model vatbaar voor overfitting, slechte generalisatie en problemen met het verwerken van veranderingen in de omgeving. Onderzoek naar visueel transferleren toont aan dat distillatie effectiever is bij zeer beperkte invoerdata, maar bij voldoende data wint de traditionele methode nog steeds.
Als het gaat om stroomverbruik en kosten, betekent het verminderen van data ook het verminderen van rekenkracht, servers en elektriciteit. Dit is belangrijk in de context van grote AI-modellen (LLM) waarvan de kosten per training miljoenen dollars bedragen.
Volgens een rapport van Stanford HAI wordt de trend van data- en energiebesparende AI beschouwd als een "grote transformatie" in 2025.
Voor journalisten en lezers is het belangrijk om te weten dat AI niet langer alleen is voorbehouden aan 'techgiganten', maar kan worden ontwikkeld door kleine teams met minder data en tegen lagere kosten. Er zullen dan veel nieuwe toepassingen ontstaan, van management van kleine bedrijven en regionale medische toepassingen tot gepersonaliseerd leren.
Maar gebruikers moeten er ook rekening mee houden dat het ‘data’-model minder nauwkeurig kan zijn en vatbaarder voor vertekening als het niet goed wordt gecontroleerd.
Bron: https://tuoitre.vn/ai-khong-con-can-du-lieu-khong-lo-cuoc-dua-huan-luyen-ai-tiet-kiem-nang-luong-20251031115025169.htm
Reactie (0)