Etické hodnocení autonomních systémů

Výzkumníci z MIT vyvinuli testovací rámec, který má pomoci identifikovat situace, kdy systémy podpory rozhodování s využitím umělé inteligence nedokážou zajistit spravedlnost pro jednotlivce i komunity.

MIT vyvíjí testovací rámec, který pomůže odhalit nekalá rozhodnutí umělé inteligence. Foto: Midjourney

Umělá inteligence se stále častěji využívá k optimalizaci rozhodnutí v kritických situacích. Například autonomní systém dokáže navrhnout nákladově nejefektivnější plán distribuce energie a zároveň zachovat stabilitu napětí.

Je však „technicky optimální“ řešení skutečně spravedlivé? Co se stane, když nízkonákladová strategie učiní oblasti s nízkými příjmy zranitelnějšími vůči výpadkům proudu než oblasti bohatší?

Aby pomohl zúčastněným stranám odhalit etická rizika včas před implementací, vyvinul výzkumný tým MIT automatizovanou metodu hodnocení, která vyvažuje kvantitativní ukazatele (jako jsou náklady a spolehlivost) s kvalitativními hodnotami (jako je spravedlnost).

Tento systém odděluje objektivní hodnocení od uživatelem definovaných lidských hodnot a používá model velkého jazyka (LLM) jako lidského „zástupce“ k zaznamenávání a integraci priorit zúčastněných stran.

Adaptivní hodnotící rámec vybere nejdůležitější scénáře pro další analýzu, čímž zjednoduší proces, který by byl při ručním provádění nákladný a časově náročný. Tyto scénáře mohou naznačovat, kdy systém umělé inteligence odpovídá lidským hodnotám, a také kdy nesplňuje etická kritéria.

Podle Chuchu Fana (MIT) pouhé stanovení pravidel nebo „bezpečnostních bariér“ pro umělou inteligenci nestačí, protože ty pouze zabraňují rizikům, která lidé dokáží předvídat. Proto je zapotřebí systematický přístup k odhalení „neznámých rizik“ dříve, než způsobí následky.

Etické hodnocení ve složitých systémech

Ve velkých systémech, jako jsou energetické sítě, je posouzení etické vhodnosti návrhů generovaných umělou inteligencí náročné, zejména pokud je třeba současně zohlednit více cílů.

Současné metody se často spoléhají na snadno dostupná data, ale data označená podle etických kritérií jsou vzácná. Zároveň se etické hodnoty a systémy umělé inteligence neustále mění, což rychle činí statické metody hodnocení zastaralými.

Výzkumný tým vyvinul experimentální návrhový rámec s názvem SEED-SET, který se skládá ze dvou částí:

- Objektivní model: hodnotí výkonnost na základě měřitelných ukazatelů (jako jsou náklady)
- Subjektivní model: odráží lidský úsudek (například pocity spravedlnosti)
Tento přístup umožňuje identifikaci scénářů, které splňují jak technická kritéria, tak lidské hodnoty, nebo naopak.

SEED-SET zejména nevyžaduje předem existující vyhodnocovací data a lze se přizpůsobit široké škále cílů. Například v elektrické soustavě mohou mít různé uživatelské skupiny (jako jsou venkovské komunity a datová centra) odlišné etické priority, a to i přes to, že obě skupiny touží po cenově dostupné a stabilní elektřině.

Modelování subjektivních faktorů

Pro vyhodnocení subjektivních faktorů systém používá LLM jako reprezentativní model hodnotitele. Preference každé skupiny jsou zakódovány do přirozeného jazyka.

LLM porovná scénáře a vybere vhodnější možnost na základě etických kritérií. Tento přístup pomáhá předejít lidské únavě a nekonzistenci při hodnocení stovek nebo tisíců scénářů.

SEED-SET poté použije vybrané scénáře k simulaci systému (např. strategie distribuce energie) a pokračuje v hledání nových scénářů s vyšší hodnotou vyhodnocení.

Konečným výsledkem je sada typických scénářů, které uživatelům umožňují analyzovat výkon systému umělé inteligence a podle potřeby upravovat svou strategii.

Systém by například mohl detekovat případy, kdy distribuce energie upřednostňuje oblasti s vysokými příjmy během špičky, čímž znevýhodněné oblasti stává zranitelnějšími vůči výpadkům proudu.

Efektivita a budoucí vývoj

Při testování na reálných systémech, jako jsou inteligentní sítě nebo řízení městské dopravy, SEED-SET generuje dvakrát více optimálních scénářů než tradiční metody a zároveň detekuje více situací, které jiné metody přehlížejí.

Je pozoruhodné, že když se změní preference uživatelů, výrazně se změní i scénáře generované systémem, což prokazuje vysoký stupeň přizpůsobivosti lidským hodnotám.

V budoucnu plánuje výzkumný tým provést studie se skutečnými uživateli, aby posoudil užitečnost systému v rozhodovacím procesu. Současně se snaží rozšířit metodologii na složitější problémy, jako je například vyhodnocování rozhodnutí větších jazykových modelů.

Tento výzkum byl částečně financován americkou Agenturou pro pokročilé výzkumné projekty obrany (DARPA).

(Podle MIT News)

Zdroj: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html