Gesetzentwurf zur künstlichen Intelligenz: KI in der Medizin muss wie Medizinprodukte geprüft werden.

In Anbetracht der Tatsache, dass das Gesundheitswesen ein sensibles, risikoreiches Feld ist, das streng kontrolliert werden muss, einschließlich der Anwendung von KI, schlugen einige Delegierte vor, dass der Gesetzentwurf zur künstlichen Intelligenz Regelungen enthalten sollte, die vorsehen, dass KI im Gesundheitswesen wie Medizinprodukte überprüft werden muss.

Szene der Diskussionsrunde im Saal über das Projekt „Recht der künstlichen Intelligenz“

Verwaltung von KI-Produkten für das Gesundheitswesen

Als Delegierte im Gesundheitssektor würdigte die Abgeordnete der Nationalversammlung, Tran Khanh Thu ( Hung Yen ), die Auswirkungen der künstlichen Intelligenz (KI) im Gesundheitssektor sehr – einem der Bereiche mit dem größten Potenzial für KI-Anwendungen, mit klaren Auswirkungen auf den Diagnose-, Behandlungs-, Patientenmanagement- sowie pharmazeutischen Forschung- und Entwicklungsprozess.

Vor Kurzem wurde jedoch eine 55-jährige Patientin in Ho-Chi-Minh -Stadt apathisch und desorientiert in die Notaufnahme eingeliefert. Die Tochter der Patientin berichtete, ihre Mutter zuvor schon schwindlig und atemlos erlebt zu haben, und bat daher um eine KI-gestützte Diagnose. Diese ergab Bluthochdruck.

Die Abgeordnete der Nationalversammlung, Tran Khanh Thu (Hung Yen), spricht.

Der Delegierte berichtete, dass der Sohn den Blutdruck seiner Mutter gemessen und festgestellt hatte, dass er stark angestiegen war. Daraufhin sei er in die Apotheke gegangen, um Medikamente für sie zu kaufen. Nach der Einnahme der Medikamente habe sich der Zustand der Mutter jedoch verschlechtert; sie sei erschöpft gewesen, habe sich stark übergeben und sei bewusstlos geworden. Er habe sie daraufhin in die Notaufnahme gebracht. Im Krankenhaus bestätigte der Arzt eine Hirnschädigung und einen Schlaganfall. Obwohl sie dem Tod entronnen war, seien die Folgen unausweichlich gewesen.

Der Delegierte erklärte offen, dass das Internet heutzutage sehr beliebt sei, insbesondere KI, und eine sehr gute Informationsquelle für Patienten darstelle, die mehr über ihre Krankheit erfahren möchten. Allerdings dürften die Ergebnisse keinesfalls dazu genutzt werden, selbst zu suchen, Diagnosen zu stellen oder sich Medikamente zu verschreiben – und verstoße man gegen das Gesetz, wenn man Medikamente auf Basis von KI-Verschreibungen verkaufe?, fragte der Delegierte.

Der Delegierte wies zudem darauf hin, dass es keinen spezifischen und umfassenden Rechtsrahmen speziell für den Einsatz von KI im Gesundheitswesen gibt. Zwar regeln Gesetze wie das Gesetz über ärztliche Untersuchung und Behandlung oder das Arzneimittelgesetz ärztliche Untersuchungs- und Behandlungstätigkeiten sowie Medizinprodukte, doch sind die spezifischen Regelungen für KI-gestützte Produkte in der Medizin noch unklar.

Darüber hinaus unterliegen KI-basierte medizinische Untersuchungs- und Behandlungsprodukte noch immer den allgemeinen Zulassungsverfahren für Medizinprodukte, es fehlen spezifische KI-Standards und -Vorschriften für diese Produkte.

Delegierte, die an der Diskussionsrunde teilnehmen

„Darüber hinaus sind einige Fragen, wie die rechtliche Haftung bei KI-Fehlern sowie die Sicherheit medizinischer Daten und Patientensicherheit, in den geltenden Rechtsdokumenten nicht klar geregelt“, betonte der Delegierte.

Ausgehend von dieser Realität hofft der Delegierte Tran Khanh Thu, dass der Gesetzentwurf zur künstlichen Intelligenz konkretere Bestimmungen, Bedingungen und rechtliche Rahmenbedingungen für die Verwaltung von KI-Produkten im Gesundheitswesen enthalten wird, insbesondere hinsichtlich der Verantwortlichkeiten der relevanten Parteien.

Da das Gesundheitswesen ein sensibler und risikoreicher Bereich ist, muss der Einsatz von KI streng kontrolliert werden. Der Abgeordnete der Nationalversammlung, Le Van Kham (Ho-Chi-Minh-Stadt), schlug daher vor, die entsprechenden Vorschriften zu prüfen. KI im Gesundheitswesen müsse wie Medizinprodukte kontrolliert werden. Obligatorische Inspektionskategorien gibt es, wenn KI die klinische Entscheidungsfindung unterstützt, beispielsweise bei: KI-Diagnostik, KI-gestützter Prognose von Sterbe- oder Komplikationsrisiken, KI-gestützten Operationsrobotern sowie KI-gestützter Verschreibung oder Therapieplanung.

Darüber hinaus schlugen die Delegierten vor, die Verbreitung von KI im Gesundheitswesen zu überwachen, um die Patientensicherheit zu gewährleisten. Dazu gehören Regelungen zur regelmäßigen Berichterstattung, zur schnellen Warnung vor Zwischenfällen, zur Überprüfung von Algorithmen und zur Echtzeit-Fehlerüberwachung. Sobald in diesem Gesetz grundlegende Regelungen enthalten sind, wird die zuständige Behörde Durchführungsbestimmungen erlassen und Managementinstrumente sowie geeignete Maßnahmen zur Steuerung medizinischer KI entwickeln.

Ansicht des Treffens. Foto: Quang Khanh

Gleichzeitig müsse die zuständige Behörde sorgfältig prüfen, ob es möglich sei, dass Lieferanten die Risiken für KI in der Medizin selbst einstufen können, wie in Artikel 9 des Gesetzesentwurfs vorgesehen, schlug der Delegierte Le Van Kham vor.

Bewertung der Auswirkungen risikoreicher KI-Implementierungen auf die Daten

Der Abgeordnete Thach Phuoc Binh (Vinh Long) betonte, dass die Risikoklassifizierung das Herzstück des Gesetzes über Künstliche Intelligenz sei, und merkte an, dass der Gesetzentwurf noch keine quantitativen Klassifizierungskriterien enthalte. Die Liste der KI-Systeme mit hohem Risiko sei relativ breit gefasst und umfasse auch Bereiche, in denen in der Praxis keine signifikanten Risiken aufgetreten seien. Dies könne insbesondere für kleine und mittlere Unternehmen unnötige Auflagen mit sich bringen.

Der Abgeordnete der Nationalversammlung, Thach Phuoc Binh (Vinh Long), spricht. Foto: Pham Thang

Die Delegierten schlugen daher vor, die Liste der Hochrisikosysteme zu überarbeiten und sich dabei ausschließlich auf Systeme zu konzentrieren, die erhebliche Auswirkungen auf Menschenrechte, Datenschutz, Gesundheit, Finanzen und soziale Sicherheit haben können. Gleichzeitig sollte ein Mechanismus eingerichtet werden, um die Liste der Hochrisikosysteme flexibel und in Absprache mit Experten, Branchenverbänden und Forschungseinrichtungen zu aktualisieren. Den technischen Merkmalen des Modells, wie Automatisierung, Selbstlernfähigkeit, Unvorhersehbarkeit und Nutzungsumfang, sollten Risikokriterien zugeordnet werden.

Bezüglich Daten, Datenschutz und Nutzerschutz erklärte der Delegierte Thach Phuoc Binh, Daten seien der „Treibstoff“ der KI, doch die aktuellen Bestimmungen des Gesetzentwurfs stünden nicht im Einklang mit dem Gesetz zum Schutz personenbezogener Daten. Es sei notwendig, den zulässigen Umfang der Verarbeitung sensibler Daten, Daten von Kindern und biometrischer Daten zu präzisieren. Gleichzeitig müsse die Pflicht zur Bewertung der Auswirkungen von Daten beim Einsatz risikoreicher KI eingeführt werden.

Für KI-Nutzer nennt der Gesetzesentwurf zwar einige Grundrechte, lässt aber wichtige Rechte gemäß internationalen Standards vermissen, wie beispielsweise das Recht, vollautomatisierte Entscheidungen abzulehnen oder Erläuterungen zu verlangen. Diese Rechte sind von entscheidender Bedeutung, um Menschen vor Schäden durch KI-basierte Entscheidungen in den Bereichen Finanzen, Versicherungen, Gesundheit oder Personalbeschaffung zu schützen.

Wissenschafts- und Technologieminister Nguyen Manh Hung erläutert die Meinungen der Abgeordneten der Nationalversammlung bei dem Treffen. Foto: Ho Long

Der Delegierte wies darauf hin, dass Deepfakes sowie Sprach-, Bild- und Videofälschungen zahlreiche Vorfälle verursacht haben, die die Informationssicherheit und den Datenschutz ernsthaft beeinträchtigen. Artikel 9 des Gesetzentwurfs sieht die Kennzeichnung von KI-generierten Inhalten vor, doch es bedarf noch einiger Klärung, beispielsweise: Welche Arten von Inhalten müssen gekennzeichnet werden? Welcher Kennzeichnungsgrad ist erforderlich, um Nutzer zu schützen, ohne deren digitales Erlebnis einzuschränken? Und welche Verantwortung tragen soziale Netzwerke für die Erkennung und Entfernung gefälschter Inhalte? Die Entwicklung eines strengen, aber flexiblen Kennzeichnungsmechanismus ist daher unerlässlich.

Der Delegierte merkte zudem an, dass das Konformitätsbewertungssystem zu den technisch anspruchsvollsten Inhalten des Gesetzentwurfs gehöre. Eine zu starke Ausweitung des Vorprüfungsmechanismus könne jedoch unbeabsichtigt Innovationen behindern.

Der Delegierte Thach Phuoc Binh schlug daher vor, eine Zertifizierung nur für Systeme mit hohem Risiko vorzuschreiben und für Systeme mit niedrigem und mittlerem Risiko eine Selbsteinschätzung zuzulassen. Dadurch soll ein klarer und transparenter Bewertungsprozess gewährleistet und ein Antrags- und Genehmigungsmechanismus vermieden werden.

Quelle: https://daibieunhandan.vn/du-thao-luat-tri-tue-nhan-tao-ai-trong-y-te-phai-duoc-kiem-dinh-nhu-thiet-bi-y-te-10397661.html