Artificiell intelligens används alltmer för att optimera beslut i kritiska sammanhang. Till exempel kan ett autonomt system föreslå den mest kostnadseffektiva kraftdistributionsplanen samtidigt som spänningsstabilitet bibehålls.
Men är en "tekniskt optimal" lösning verkligen rättvis? Vad händer om en lågkostnadsstrategi gör låginkomstområden mer sårbara för strömavbrott än rikare områden?
För att hjälpa intressenter att upptäcka etiska risker tidigt före implementering utvecklade MIT-forskargruppen en automatiserad bedömningsmetod som balanserar kvantitativa indikatorer (såsom kostnad och tillförlitlighet) med kvalitativa värden (såsom rättvisa).
Detta system separerar objektiv utvärdering från användardefinierade mänskliga värden och använder en stor språkmodell (LLM) som en mänsklig "representant" för att registrera och integrera intressenternas prioriteringar.
Det adaptiva utvärderingsramverket kommer att välja ut de viktigaste scenarierna för vidare analys, vilket förenklar en process som skulle vara kostsam och tidskrävande om den gjordes manuellt. Dessa scenarier kan indikera när ett AI-system överensstämmer med mänskliga värderingar, såväl som när det inte uppfyller etiska kriterier.
Enligt Chuchu Fan (MIT) räcker det inte att bara sätta upp regler eller "säkerhetsbarriärer" för AI, eftersom dessa bara förhindrar risker som människor kan förutse. Därför behövs en systematisk metod för att upptäcka "okända risker" innan de orsakar konsekvenser.
Etisk utvärdering i komplexa system
I stora system som elnät är det utmanande att bedöma den etiska lämpligheten hos AI-genererade förslag, särskilt när flera mål måste beaktas samtidigt.
Nuvarande metoder förlitar sig ofta på lättillgänglig data, men data som är märkta enligt etiska kriterier är sällsynta. Samtidigt förändras etiska värderingar och AI-system ständigt, vilket snabbt gör statiska utvärderingsmetoder föråldrade.
Forskargruppen utvecklade ett experimentellt designramverk som kallas SEED-SET, vilket består av två delar:
- Objektiv modell: utvärderar prestanda baserat på mätbara indikatorer (såsom kostnader)
- Subjektiv modell: återspeglar mänsklig bedömning (såsom känslor av rättvisa)
Denna metod möjliggör identifiering av scenarier som uppfyller både tekniska kriterier och mänskliga värderingar, eller vice versa.
I synnerhet kräver SEED-SET inte befintlig utvärderingsdata och kan anpassas till en mängd olika mål. Till exempel kan olika användargrupper (såsom landsbygdssamhällen och datacenter) i ett elsystem ha olika etiska prioriteringar trots att båda önskar prisvärd och stabil el.
Modellering av subjektiva faktorer
För att utvärdera subjektiva faktorer använder systemet LLM som representant för utvärderaren. Varje grupps preferenser kodas in i naturligt språk.
Juristutbildningen jämför scenarier och väljer det lämpligaste alternativet baserat på etiska kriterier. Denna metod hjälper till att undvika mänsklig trötthet och inkonsekvens vid utvärdering av hundratals eller tusentals scenarier.
SEED-SET använder sedan de valda scenarierna för att simulera systemet (t.ex. kraftdistributionsstrategi) och fortsätter att söka efter nya scenarier med högre utvärderingsvärde.
Slutresultatet är en uppsättning typiska scenarier, vilket gör det möjligt för användare att analysera AI-systemets prestanda och justera sin strategi efter behov.
Systemet skulle till exempel kunna upptäcka fall där eldistributionen prioriterar höginkomstområden under rusningstid, vilket gör missgynnade områden mer sårbara för strömavbrott.
Effektivitet och framtida utveckling
När SEED-SET testas på verkliga system som smarta nät eller trafikhantering i städer genererar metoden dubbelt så många optimala scenarier som traditionella metoder, samtidigt som den upptäcker fler situationer som andra metoder missar.
Det är värt att notera att när användarnas preferenser ändras, förändras även de scenarier som genereras av systemet avsevärt, vilket visar på en hög grad av anpassningsförmåga till mänskliga värderingar.
I framtiden planerar forskargruppen att genomföra studier med verkliga användare för att bedöma systemets användbarhet i beslutsprocessen. Samtidigt strävar de efter att utöka metodiken till mer komplexa problem, såsom att utvärdera beslut från större språkmodeller.
Denna forskning finansierades delvis av den amerikanska försvarsmyndigheten DARPA (Defense Advanced Research Projects Agency).
(Enligt MIT News)
Källa: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
Kommentar (0)