인공지능법 초안 의료용 AI도 의료기기처럼 검사받아야

인공지능법안 추진을 위한 토론회가 홀에서 진행된 모습

헬스케어를 위한 AI 제품 관리

국회의원 Tran Khanh Thu( Hung Yen )는 보건 부문에서 일하는 대표로서, 보건 부문에서 인공지능(AI)의 영향을 높이 평가했습니다. 보건 부문은 AI 적용에 가장 큰 잠재력을 가진 분야 중 하나이며, 진단, 치료, 환자 관리, 제약 연구 및 개발 과정에 명확한 영향을 미칩니다.

그런데 최근 호찌민 시의 55세 환자가 주변 상황을 인지하지 못하고 무기력한 상태로 응급실로 이송되었습니다. 환자의 딸은 어머니가 어지럼증과 호흡 곤란을 호소하는 것을 본 적이 있어 AI에 진단을 의뢰했습니다. 검사 결과 고혈압이라는 진단을 받았습니다.

국회의원 Tran Khanh Thu(Hung Yen)가 연설합니다.

대표는 아들이 어머니의 혈압을 측정해 보니 혈압이 많이 올라간 것을 보고 약국에 가서 어머니 약을 사왔다고 말했습니다. 하지만 약을 먹은 후 어머니의 상태가 악화되어 피곤하고 구토를 많이 하며 의식을 잃어 응급실로 이송되었다고 합니다. 병원 의사는 환자의 뇌 손상과 뇌졸중을 진단했습니다. 비록 위독한 상태는 면했지만, 그 후유증은 불가피했습니다.

대표는 요즘 인터넷이 매우 인기가 많고, 특히 AI가 환자가 자신의 질병에 대해 더 자세히 알고 싶어 할 때 매우 좋은 정보원이라고 솔직하게 말했습니다. 그러나 사람들은 검색, 진단 또는 약 처방에 결과를 사용할 수 없습니다. AI 처방에 따라 약을 판매하는 사람들이 법을 어기는 것일까요? 대표는 이 문제를 제기했습니다.

대표는 또한 의료 분야에서 AI 적용을 위한 구체적이고 완전한 법적 체계가 아직 마련되어 있지 않다고 지적했습니다. 진료법이나 약사법과 같은 법률이 진료 행위와 의료 제품을 규제하고 있지만, 의료 분야에서 AI 적용 제품에 대한 구체적인 규정은 아직 명확하지 않습니다.

또한, AI 기반 의료 검사 및 치료 제품은 여전히 의료기기에 대한 일반적인 허가 절차를 거쳐야 하며, 해당 제품에 대한 구체적인 AI 표준 및 규정이 부족합니다.

토론 세션에 참석한 대표들

대표는 "또한 AI 오류 발생 시 법적 책임, 의료 데이터 보안, 환자 안전 등 일부 문제는 현행 법률에서 명확하게 규정되지 않았다"고 강조했다.

위의 현실을 바탕으로, Tran Khanh Thu 의원은 인공지능에 관한 법률 초안에 의료용 AI 제품, 특히 관련 당사자의 책임을 관리하기 위한 보다 구체적인 조항, 조건 및 법적 틀이 포함되기를 바랍니다.

의료 분야가 민감하고 위험도가 높은 분야라는 점을 고려할 때, AI 적용 시 엄격한 관리가 필요합니다. 호찌민시 국회의원 레 반 캄은 관련 규정을 검토하고, 의료 분야의 AI도 의료기기와 마찬가지로 검사를 받아야 한다고 제안했습니다. AI가 임상 의사 결정을 지원하는 경우, AI 진단, 사망 또는 합병증 위험 예측, AI를 활용한 수술 로봇, 처방 또는 치료 계획 지원 등 의무적인 검사 항목이 있습니다.

또한, 대표단은 환자 안전을 보장하기 위해 의료 분야에서 AI의 확산을 모니터링하는 규정, 즉 정기 보고, 신속한 사고 경고, 알고리즘 감사, 실시간 오류 모니터링 등에 대한 규정이 마련되어야 한다고 제안했습니다. 이 법에 원칙적인 규정이 있는 경우, 관할 기관은 이를 시행하기 위한 하위 법률 문서를 발행하고, 의료 AI 거버넌스에 대한 관리 도구와 적절한 조치를 마련할 것입니다.

회의 풍경. 사진: Quang Khanh

동시에, 초안 작성 기관은 초안법 제9조에 규정된 대로 의료 분야의 AI 위험을 공급업체가 자체 분류하도록 허용하는 방안을 신중하게 고려해야 한다고 Le Van Kham 의원은 제안했습니다.

고위험 AI 배포의 데이터 영향 평가

국회의원 탁 푸옥 빈(빈 롱)은 인공지능법의 핵심은 위험 분류임을 강조하며, 초안 법안이 아직 정량적 분류 기준을 제시하지 않았다고 지적했습니다. 고위험 AI 시스템 목록은 실무적으로 심각한 위험이 나타나지 않은 분야를 포함하여 비교적 광범위하게 규제되고 있습니다. 이는 특히 중소기업의 경우 불필요한 규정 준수 부담을 초래할 수 있습니다.

국회의원 탁 푸옥 빈(빈롱)이 연설하고 있다. 사진: 팜 탕

따라서 대표단은 인권, 개인정보보호, 보건, 금융, 사회보장에 중대한 영향을 미칠 수 있는 시스템에만 집중하여 고위험 목록을 검토할 필요가 있다고 제안했습니다. 동시에 전문가, 업계 협회, 연구 기관과의 협의를 통해 고위험 목록을 유연하게 업데이트할 수 있는 메커니즘을 구축해야 합니다. 자동화, 자가 학습 능력, 예측 불가능성, 사용 규모 등 모델의 기술적 특성에 위험 기준을 적용해야 합니다.

데이터, 개인정보 보호 및 사용자 보호와 관련하여 탁 푸옥 빈 의원은 데이터가 AI의 "연료"라고 지적했지만, 현재 법안 초안의 조항들은 개인정보보호법과 부합하지 않는다고 지적했습니다. 민감 데이터, 아동 데이터, 생체 인식 데이터에 허용되는 처리 수준을 명확히 해야 합니다. 동시에 고위험 AI 도입 시 데이터의 영향을 평가해야 하는 의무를 추가해야 합니다.

AI 사용자를 위해, 초안 법안은 몇 가지 기본 권리를 언급했지만, 국제 기준에 따른 중요한 권리, 즉 완전 자동화된 의사결정을 거부할 권리나 설명을 요청할 권리는 아직 미흡합니다. 이러한 권리는 금융, 보험, 의료 또는 인력 채용 분야에서 AI 기반 의사결정으로 인해 사람들이 피해를 입지 않도록 돕는 데 매우 중요합니다.

응우옌 마잉 훙 과학기술부 장관이 국회 의원들의 의견을 설명하고 있다. 사진: 호 롱

대표는 딥페이크, 음성, 이미지, 영상 위조로 인해 정보 보안 및 개인정보 보호에 심각한 영향을 미치는 수많은 사고가 발생했다고 지적했습니다. 초안 법률 제9조는 AI 결과물에 대한 라벨링 규정을 명시하고 있지만, 어떤 유형의 콘텐츠에 라벨링을 해야 하는지, 디지털 경험을 저해하지 않으면서 사용자를 보호하기 위한 라벨링 수준은 어느 정도인지, 그리고 가짜 콘텐츠를 탐지하고 제거하는 데 있어 소셜 네트워킹 플랫폼의 책임은 무엇인지 등 몇 가지 사항을 명확히 할 필요가 있습니다. 엄격하면서도 유연한 라벨링 메커니즘을 설계하는 것은 매우 중요한 요소입니다.

대표는 또한 적합성 평가 제도가 이 법안 초안에서 가장 기술적인 내용 중 하나라고 지적했습니다. 그러나 사전 검사 제도를 지나치게 복잡하게 설계하면 의도치 않게 혁신을 저해할 수 있습니다.

따라서 탁 푸옥 빈(Thach Phuoc Binh) 의원은 고위험 시스템에 대해서만 인증을 요구하고, 저위험 및 중위험 시스템에 대한 자체 평가를 허용할 것을 제안했습니다. 요청-승인 메커니즘을 구축하지 않고 명확하고 투명한 평가 절차를 보장해야 합니다.

출처: https://daibieunhandan.vn/du-thao-luat-tri-tue-nhan-tao-ai-trong-y-te-phai-duoc-kiem-dinh-nhu-thiet-bi-y-te-10397661.html