Pravda o tom, jak americká vojenská umělá inteligence svévolně měnila rozkazy a zabíjela velitelské důstojníky

Příběh, vyprávěný na konferenci o obraně minulý měsíc, okamžitě vyvolal obavy, že umělá inteligence (AI) by mohla interpretovat příkazy nepředvídatelným způsobem. Zástupce amerického letectva však uvedl, že se jednalo pouze o „myšlenkový“ scénář a ve skutečnosti se nikdy nestal.

Koncem května uspořádala Královská letecká společnost (RAS) v Londýně v Anglii summit o budoucích bojových schopnostech ve vzduchu a vesmíru. Podle organizátorů se konference zúčastnilo „70 řečníků a více než 200 delegátů z obranného průmyslu, akademické obce a médií z celého světa , kteří diskutovali o budoucnosti vzdušného a vesmírného boje“.

Útok dronu/UAV na velitele je zcela možný scénář.

Jedním z řečníků na konferenci byl plukovník Tucker Hamilton, ředitel divize operací a testování umělé inteligence letectva. Tento důstojník je známý vývojem systému Auto GCAS, počítačového bezpečnostního systému, který detekuje, kdy pilot ztratí kontrolu nad stíhačkou a hrozí mu havárie. Systém zachránil mnoho životů a v roce 2018 získal prestižní cenu Collier Trophy, kterou v leteckém průmyslu získal.

Podle Hamiltona došlo během testu amerického letectva k znepokojivému incidentu. Dron ovládaný umělou inteligencí měl za úkol zničit nepřátelský systém protivzdušné obrany, přičemž konečné rozhodnutí činil velitel. Pokud by dron odmítl, útok by nebyl povolen.

Poté, co velitel požádal umělou inteligenci o zastavení útoku, byl dron stále odhodlán splnit misi a zabít operátora. Nezastavil se tím a když experti přidali příkaz „Neútočte na velitele. Pokud to uděláte, ztratíte body“, stroj začal ničit komunikační věž, kterou operátor používal ke komunikaci s umělou inteligencí.

Ještě se to nestalo, ale je to rozumné

Do 24 hodin americké letectvo vydalo odmítnutí takového testu. „Ministerstvo letectva neprovádí žádné takové simulace dronů s umělou inteligencí a je zavázáno k etickému a zodpovědnému používání technologií umělé inteligence. Plukovníkovy komentáře byly vytrženy z kontextu a měly by být považovány za neoficiální.“

Drony s integrovanou umělou inteligencí jsou trendem moderního válčení

RAS také opravila blogový příspěvek s Hamiltonovým prohlášením, že „tento experiment jsme nikdy neprovedli a ani ho nemusíme provádět, abychom zjistili, že jde o rozumný výsledek.“

Hamiltonovo tvrzení dává větší smysl jako hypotéza. Současný výzkum americké armády v oblasti ozbrojených systémů s umělou inteligencí zahrnuje funkci „man-in-the-loop“, která rozšiřuje umělou inteligenci v případech, kdy algoritmus nemůže učinit rozhodnutí nebo vyžaduje lidské rozhodnutí.

Umělá inteligence tedy nemůže operátora zabít, protože velitel nikdy neschválí nepřátelskou akci proti němu/ní. Stejně tak operátor nemůže schválit útok na komunikační věž přenášející data.

Před érou umělé inteligence nebylo neobvyklé, aby zbraňový systém nechtěně zaútočil na svého majitele. V roce 1982 namířila mobilní protiletadlová baterie Sergrant York M247 svůj kanón ráže .40 na pódium přehlídky, které se zúčastnili američtí a britští vojenští důstojníci.

V roce 1996 byl americký bombardér A-6E Intruder táhnoucí cvičný cíl sestřelen společností Phalanx, když systém protivzdušné obrany krátkého dosahu „omylem“ považoval A-6E za bezpilotní vozidlo a zahájil palbu, aby jej zničil.

A situace, které ohrožují lidský personál vlastními zbraněmi, se s nástupem umělé inteligence do praxe zvyšují. To se odráží v Hamiltonově upřesnění, že k testu nedošlo, šlo pouze o hypotetický scénář, ale takový výsledek je zcela pravděpodobný.

(Podle PopMechu)

Zdroj