Lovforslag om kunstig intelligens. KI i medisin må inspiseres som medisinsk utstyr.

Scene fra diskusjonsøkten i salen om prosjektet om kunstig intelligenslov

Administrering av AI-produkter for helsevesenet

Som delegat i helsesektoren satte nasjonalforsamlingsrepresentant Tran Khanh Thu ( Hung Yen ) stor pris på virkningen av kunstig intelligens (KI) i helsesektoren – et av feltene med størst potensial for KI-anvendelse, med klare konsekvenser for diagnoseprosessen, behandlingen, pasienthåndteringen samt farmasøytisk forskning og utvikling.

Nylig ble imidlertid en 55 år gammel pasient i Ho Chi Minh- byen brakt til akuttmottaket i en sløv tilstand, uvitende om omgivelsene. Pasientens datter sa at hun tidligere hadde sett moren sin svimmel og ha pustevansker, så hun ba kunstig intelligens om å stille en diagnose. Resultatene viste at hun hadde høyt blodtrykk.

Nasjonalforsamlingsrepresentant Tran Khanh Thu (Hung Yen) taler

Delegaten fortalte at sønnen målte morens blodtrykk og så at det virkelig hadde økt, så han dro til apoteket for å kjøpe medisin til moren. Men etter å ha tatt medisinen ble morens tilstand verre, hun ble sliten, kastet opp mye og mistet bevisstheten, så han tok henne med til akuttmottaket. På sykehuset bekreftet legen at pasienten hadde hjerneskade og et hjerneslag. Selv om hun ble reddet fra det kritiske stadiet, var konsekvensene uunngåelige.

Delegaten sa åpenhjertig at internett er veldig populært nå for tiden, spesielt AI, en veldig god informasjonskilde for pasienter som ønsker å lære mer om sykdommen sin... Imidlertid kan folk absolutt ikke bruke resultatene til å søke, diagnostisere eller foreskrive medisiner til seg selv – og bryter folk som selger medisiner i henhold til AI-resepter loven? – delegaten tok opp spørsmålet.

Delegaten påpekte også at vi ikke har et spesifikt og fullstendig juridisk rammeverk spesifikt for anvendelse av KI i helsevesenet. Selv om lover som loven om medisinsk undersøkelse og behandling eller loven om apotek har regulert medisinsk undersøkelse og behandling og medisinske produkter, er spesifikke forskrifter for KI-anvendte produkter i medisin fortsatt uklare.

I tillegg er AI-baserte medisinske undersøkelses- og behandlingsprodukter fortsatt underlagt generelle lisensprosedyrer for medisinsk utstyr, og mangler spesifikke AI-standarder og -forskrifter for disse produktene.

Delegater som deltar på diskusjonsmøtet

«I tillegg er noen problemstillinger, som juridisk ansvar ved AI-feil og medisinsk datasikkerhet og pasientsikkerhet, ikke klart regulert i gjeldende juridiske dokumenter», understreket delegaten.

Basert på ovennevnte realitet håper delegat Tran Khanh Thu at lovutkastet om kunstig intelligens vil ha mer spesifikke bestemmelser, vilkår og juridiske rammeverk for å håndtere AI-produkter for helsevesenet, spesielt ansvaret til relevante parter.

Siden helsevesen er et sensitivt og høyrisikofelt, må det kontrolleres strengt når man bruker kunstig intelligens. Nasjonalforsamlingsrepresentant Le Van Kham (Ho Chi Minh-byen) foreslo at det er nødvendig å studere regelverket. Kunstig intelligens i helsevesenet må inspiseres på samme måte som medisinsk utstyr. Det finnes obligatoriske inspeksjonskategorier når kunstig intelligens støtter klinisk beslutningstaking, for eksempel: KI-diagnose, KI som forutsier risikoen for død eller komplikasjoner, kirurgiske roboter som bruker kunstig intelligens, KI som støtter forskrivning eller behandlingsregime.

I tillegg foreslo delegatene at det burde være forskrifter om overvåking av sirkulasjonen av AI i helsevesenet for å sikre pasientsikkerhet, slik som forskrifter om periodisk rapportering, rask varsling av hendelser, algoritmerevisjon og sanntidsfeilovervåking. Når det finnes prinsipielle forskrifter i denne loven, vil den kompetente myndigheten utstede dellovdokumenter for å implementere dem, samt bygge styringsverktøy og passende tiltak innen medisinsk AI-styring.

Utsikt fra møtet. Foto: Quang Khanh

Samtidig må lovutkastet nøye vurdere å la leverandører selvklassifisere risikoer for AI i medisin, slik det er fastsatt i artikkel 9 i lovutkastet, foreslo delegat Le Van Kham.

Vurdering av datapåvirkningen av høyrisiko-AI-implementeringer

Nasjonalforsamlingsrepresentant Thach Phuoc Binh (Vinh Long) understreket at risikoklassifisering er selve kjernen i loven om kunstig intelligens, og bemerket at lovutkastet ennå ikke har gitt kvantitative klassifiseringskriterier. Listen over høyrisiko-KI-systemer reguleres relativt bredt, inkludert områder der det ikke har dukket opp noen betydelige risikoer i praksis. Dette kan skape unødvendige samsvarsbyrder, spesielt for små og mellomstore bedrifter.

Nasjonalforsamlingsrepresentant Thach Phuoc Binh (Vinh Long) taler. Foto: Pham Thang

Delegatene foreslo derfor at det er nødvendig å gjennomgå høyrisikolisten for kun å fokusere på systemer som kan ha stor innvirkning på menneskerettigheter, personvern, helse, økonomi og sosial trygghet. Samtidig etablere en mekanisme for fleksibel oppdatering av høyrisikolisten basert på samråd med eksperter, bransjeforeninger og forskningsorganisasjoner. Knytt risikokriterier til modellens tekniske egenskaper, som automatisering, selvlæringsevne, uforutsigbarhet og bruksomfang.

Når det gjelder data, personvern og brukervern, sa delegat Thach Phuoc Binh at data er «drivstoffet» til kunstig intelligens, men de nåværende bestemmelsene i lovutkastet er ikke i tråd med loven om beskyttelse av personopplysninger. Det er nødvendig å avklare behandlingsnivået som er tillatt for sensitive data, barnedata og biometriske data. Samtidig er det nødvendig å legge til en forpliktelse til å vurdere virkningen av data ved bruk av høyrisiko-kunstig intelligens.

For AI-brukere har lovutkastet nevnt noen grunnleggende rettigheter, men mangler fortsatt viktige rettigheter i henhold til internasjonale standarder, som retten til å nekte helautomatiserte beslutninger eller retten til å be om forklaringer. Dette er svært viktige rettigheter for å hjelpe folk med å ikke bli skadet av AI-baserte beslutninger innen finans, forsikring, helse eller arbeidskraftrekruttering.

Vitenskaps- og teknologiminister Nguyen Manh Hung forklarer meningene til representantene i nasjonalforsamlingen på møtet. Foto: Ho Long

Delegaten påpekte at deepfake, tale-, bilde- og videoforfalskning har forårsaket mange hendelser som påvirker informasjonssikkerhet og personvern i alvorlig grad. Artikkel 9 i lovutkastet fastsetter merking av AI-utdata, men det er fortsatt nødvendig å avklare noen punkter, som for eksempel: hvilke typer innhold som må merkes, hvilket nivå av merking som skal beskytte brukerne uten å redusere den digitale opplevelsen, og ansvaret til sosiale nettverksplattformer for å oppdage og fjerne falskt innhold. Å utforme en streng, men fleksibel merkemekanisme er en ekstremt nødvendig faktor.

Delegaten bemerket også at systemet for samsvarsvurdering er et av de mest tekniske innholdene i lovutkastet. Men hvis vi utformer forhåndsinspeksjonsmekanismen for mye, kan vi utilsiktet hindre innovasjon.

Derfor foreslo delegat Thach Phuoc Binh å kun kreve sertifisering for høyrisikosystemer, slik at selvvurdering tillates for lav- og middels risikosystemer. Sikre en tydelig og transparent vurderingsprosess, og unngå å opprette en mekanisme for forespørsel og innvilgelse.

Kilde: https://daibieunhandan.vn/du-thao-luat-tri-tue-nhan-tao-ai-trong-y-te-phai-duoc-kiem-dinh-nhu-thiet-bi-y-te-10397661.html