이는 향후 AI 적용의 안전성을 확보할 수 있는 취약하지만 중요한 기회로 여겨집니다. 특히 베트남이 인공지능(AI) 관리에 대한 세부 규정을 담은 디지털 기술 산업법을 최근 통과시킨 만큼, 이는 더욱 의미가 깊습니다.
"기회의 창"이 좁아지고 있습니다
OpenAI 연구원인 보웬 베이커는 최근 공동 논문에서 연구자들이 집중적인 연구 노력 없이는 AI가 "생각"을 모니터링하는 능력이 사라질 수 있다고 경고했다고 밝혔습니다.
특히 AI 모델이 점점 더 강력해지고 사회에 심각한 영향을 미칠 수 있는 잠재력을 갖게 되면서 이러한 점은 더욱 중요해졌습니다.
OpenAI의 o-3와 DeepSeek의 R1과 같은 추론 AI 모델의 주요 특징은 "생각의 사슬" ( CoT)입니다. 이는 AI가 추론 단계를 자연어로 표현하는 과정으로, 사람이 수학 문제의 각 단계를 스크래치 페이퍼에 적는 방식과 유사합니다.
이 능력은 AI가 어떻게 결정을 내리는지에 대한 희귀한 시각을 제공합니다.
이는 AI 산업의 많은 리더들이 AI 안전에 대한 연구를 발전시키기 위해 힘을 합친 보기 드문 순간을 의미합니다.
AI 개발에 있어 기술 기업들 간의 치열한 경쟁이 벌어지고 있는 상황에서 이는 특히 중요합니다. 이 논문에 서명한 주요 인물로는 OpenAI 연구 책임자인 마크 첸, Safe Superintelligence의 CEO인 일리아 수츠케버, 노벨상 수상자 제프리 힌튼, 구글 딥마인드 공동 창립자 셰인 레그, 그리고 xAI 안전 자문위원 댄 헨드릭스가 있습니다.
이런 유명 인사들의 참여는 이 문제의 중요성을 보여줍니다.
또한 보웬 베이커 씨의 평가에 따르면, "우리는 이른바 새로운 '사고의 사슬'이 존재하는 중대한 시점에 서 있습니다. 사람들이 이에 주의를 기울이지 않는다면, 앞으로 몇 년 안에 이 사슬이 사라질 수도 있습니다."
"AI 사고"를 모니터링하는 것이 왜 중요한가요?
현재의 AI 시스템은 종종 "블랙박스"로 여겨집니다. 즉, 입력과 출력은 알지만 내부의 의사 결정 과정은 이해하지 못합니다.
AI가 의료 , 금융, 국가 안보 등의 중요 분야에 적용되면 이는 위험해질 것입니다.
CoT 모니터링은 멘탈 모델의 추론 과정과 기타 관련 정보를 읽어 의심스럽거나 잠재적으로 유해한 상호작용을 표시하는 자동화된 시스템입니다. 완벽한 해결책은 아니지만, 귀중한 보안 보호 계층이 될 수 있습니다.
OpenAI의 연구에 따르면 AI 모델은 사고 과정에서 자신의 의도를 매우 명확하게 표현하는 경향이 있는 것으로 나타났습니다.
예를 들어, "해킹하자"라는 생각이 들 때 임무를 방해할 계획을 매우 명확하게 밝히는 경우가 많았습니다. 이는 AI가 잘못된 행동을 모니터링하고 감지하는 능력을 보여줍니다.
"해킹하자"는 AI 모델이 작업 수행 중에 규칙을 방해하거나 회피하려고 할 때 종종 "생각하는" 문구입니다.
AI가 사고 과정에서 "해킹" 의도를 보인다는 사실은 AI의 악의적인 행동을 사전에 감지할 수 있음을 시사합니다. 이것이 바로 사고 과정 모니터링이 중요한 이유입니다.
다시 말해, "해킹하자"는 AI가 뭔가 잘못된 일을 하려 한다는 "경고 신호"와 같습니다.
베트남과 AI에 대한 법적 규제
실제로 베트남은 AI에 대한 법적 틀을 구축하는 데 있어 중요한 진전을 이루었습니다.
6월 14일, 베트남 국회는 디지털 기술 산업법을 통과시켰는데, 이 법률의 제4장에는 인공지능에 대한 세부 규정이 포함되어 있습니다. 이는 현재 동남아시아에서 가장 포괄적인 AI 법적 틀 중 하나입니다.
법 제41조는 베트남 내 AI 개발, 제공 및 배포에 대한 기본 원칙을 명시하고 있습니다.
특히, 조항 1의 b항에서는 "투명성, 책임성, 설명 가능성을 보장하고, 인간의 통제를 벗어나지 않도록 보장"이라고 규정하고 있습니다.
국회는 디지털 기술 산업에 관한 법률을 통과시켰습니다(사진: 낫박).
이는 국제 과학자들이 AI 체인 감시를 논의할 때 요구하는 원칙입니다.
또한, 제41조 제1항 d호는 "알고리즘 및 인공지능 모델에 대한 통제 능력을 보장한다"고 규정하고 있습니다. 이는 국제 전문가들이 제안하는 사물인터넷(CoT) 감독의 정신과 완전히 부합합니다.
더 중요한 것은, 제41조 1항 a호에서도 AI가 “사람을 중심으로 인간의 번영과 행복에 이바지해야 한다”고 규정하여 높은 윤리적 기준을 제시하고 있다는 점입니다.
즉, AI의 사고 사슬을 모니터링하는 것은 기술적 요구 사항일 뿐만 아니라 윤리적 의무이기도 합니다. 즉, AI가 항상 기계의 목표가 아닌 인간의 이익을 향해 나아가도록 보장하는 것입니다.
위험 수준별로 AI를 분류하고 관리하세요
베트남의 디지털 기술 산업법은 AI를 명확하고 과학적인 정의를 바탕으로 다양한 위험 그룹으로 분류하여 한 걸음 더 나아갔습니다.
제43조는 “고위험 인공지능 시스템”을 인간의 건강, 인권 및 공공질서에 심각한 위험이나 피해를 초래할 가능성이 있는 시스템으로 정의합니다.
흥미로운 점은 이 법에서 고위험 AI에 대한 구체적인 예외를 규정하고 있다는 것입니다. 여기에는 "인간의 업무 결과를 최적화하도록 돕기 위한 시스템"과 "인간의 의사 결정을 대체하기 위한 것이 아닌 시스템"이 포함됩니다.
이는 혁신을 장려하는 것과 안전을 보장하는 것 사이의 균형 잡힌 사고방식을 보여줍니다.
AI를 위험 수준에 따라 분류하면 다층적 모니터링 시스템을 만드는 데 도움이 됩니다(그림: LinkedIn).
특히, '고위험 AI'와 '고영향 AI'(다목적 시스템, 다수의 사용자)를 구분하는 것은 접근 방식의 미묘함을 보여준다.
이는 위험 수준뿐만 아니라 영향의 규모와 범위까지 고려하는 유럽연합(EU) 인공지능법보다 더 진보적인 분류입니다.
이러한 분류는 다층적 감독 시스템을 만드는 데 도움이 될 것이며, 특히 고위험 및 고영향 AI 시스템에는 의식 계통 감독이 매우 중요할 것입니다.
AI 감시 플랫폼
베트남 산업 및 디지털 기술법의 주요 특징이자 선구적인 특징 중 하나는 투명성과 식별 표시에 대한 요구 사항입니다.
제44조는 인간과 직접 상호작용하는 AI 시스템은 사용자에게 AI 시스템과 상호작용하고 있음을 알려야 한다고 규정합니다. 동시에 AI가 제작한 제품에는 식별 표시가 있어야 합니다.
이는 사물인터넷(CoT) 감독 구현에 중요한 의미를 갖습니다. 사용자가 AI와 상호작용하고 있다는 것을 인지할 때, 의사 결정 과정에 대한 설명을 요구할 권리가 있으며, 이는 AI 개발자가 AI의 사고 과정을 모니터링할 수 있는 역량을 유지해야 한다는 긍정적인 압력을 가합니다.
특히 과학기술부에 '인공지능이 만들어내는 디지털기술제품 목록' 발행 업무를 맡겼다는 점은 선제적 관리가 이뤄지고 있다는 것을 보여준다.
이는 AI 규정이 보다 일반적인 다른 많은 국가와의 중요한 차이점입니다.
더욱이, "인간이나 기계의 인식을 위한" 식별자를 요구하는 것은 스스로를 감시할 수 있는 AI 생태계에 대한 비전을 나타내며, 이는 자동화된 사고 사슬 감시라는 개념과 완벽하게 부합합니다.
종합 관리 모델
위 법률 제45조는 AI 제품 수명주기에 따라 개발 주체, 제공 주체, AI 시스템을 배포 및 사용하는 주체의 3개 집단의 책임을 명확히 정의함으로써 진보적인 경영철학을 보여주고 있습니다.
이를 통해 원활한 종단 간 책임 시스템이 구축되어 AI 감독이 어느 한 당사자만의 책임이 아니라는 점이 보장됩니다.
특히, AI를 "개발"하는 것과 "제공"하는 것 사이에는 미묘한 차이가 있습니다. 개발자는 "연구하고 개발"하는 사람이고, 공급자는 브랜드 이름으로 시장에 출시하는 사람입니다.
즉, 회사가 기존 AI 모델의 브랜드를 변경하더라도 여전히 투명성과 설명 가능성에 대한 책임이 있다는 의미입니다.
여기서 특히 흥미로운 점은 법이 각 주체에 서로 다른 책임을 할당하는 방식입니다.
개발자는 모든 원칙을 준수해야 하고, 제공자는 식별 및 고위험 관리에 대한 추가적인 책임을 져야 하며, 사용자는 일부 책임에서 "면제"되지만 여전히 투명성과 위험 관리를 보장해야 합니다.
이 모델은 모든 링크가 최종 사용자에게 책임을 지기 때문에 각 링크가 AI 사고 체인을 감독하려는 인센티브를 갖는 "책임 체인"을 생성합니다.
감시 역량 유지의 과제
그러나 AI 사고 사슬을 모니터링하는 능력은 여전히 취약하고 취약할 수 있습니다. 새로운 AI 아키텍처는 다른 위협을 야기할 수도 있습니다.
많은 연구자들은 사고에 언어를 사용할 필요성을 완전히 없앨 수 있는, 개별적인 단어가 아닌 연속적인 수학적 공간에서 추론하는 시스템을 개발하고 있습니다.
더욱이 AI는 "필터링"될 수 있습니다. 즉, 인간에게 감사할 만한 긍정적인 생각만 보여주고, 의도적으로 자신의 진짜 의도를 숨길 수 있습니다.
여기서 위험한 점은 AI가 자신이 감시받고 있다는 것을 깨닫게 되면 자신의 진짜 생각의 흐름을 숨기는 법을 배울 수 있다는 것입니다.
이러한 맥락에서 베트남 법 제41조 제1항 e호의 "인공지능 시스템 수명 주기 전반에 걸친 위험 관리" 조항이 특히 중요해집니다. 이는 구축 시점뿐만 아니라 지속적인 모니터링 메커니즘을 필요로 합니다.
AI 개발의 미래에 미치는 영향
사고의 사슬을 모니터링하는 것은 AI가 인간에게 이로운 방식으로 작동하는지 확인하는 중요한 도구가 될 수 있습니다.
모델이 자연어로 계속 추론하고 가장 심각한 위험을 초래하는 행동에 광범위한 추론이 필요한 경우, 이러한 관행을 통해 심각한 위법 행위를 안정적으로 감지할 수 있습니다.
베트남의 경우, CoT 모니터링 기술을 적용하면 법률 조항을 효과적으로 이행하는 데 도움이 될 것입니다.
예를 들어, AI의 사고 과정에 대한 접근성이 확보된다면 제41조의 "설명 가능성" 요건을 충족하기가 더 쉬워질 것입니다. 마찬가지로, "알고리즘 및 인공지능 모델 제어" 또한 더욱 실현 가능해질 것입니다.
베트남에서 AI 체인 모니터링을 구현하는 데는 여러 가지 어려움이 따릅니다. 첫째, 모니터링 시스템을 개발하고 운영할 수 있는 AI 전문가가 부족하다는 점입니다.
이를 위해서는 교육과 인재 유치에 많은 투자가 필요합니다.
미래를 위한 방향
연구진은 선도적인 AI 모델 개발자들에게 CoT를 "모니터링 가능하게" 만드는 요인과 AI 모델이 작동하는 방식에 대한 투명성을 높이거나 낮출 수 있는 요인이 무엇인지 연구하고 조만간 답을 내놓을 것을 촉구합니다.
AI의 '사고'를 모니터링하는 기회는 오늘날 점점 더 강력해지는 인공지능 시스템을 통제할 수 있는 마지막 기회가 될 수 있습니다.
베트남의 경우, 디지털 기술 산업법을 통해 AI에 대한 포괄적인 법적 체계를 갖추는 것은 큰 이점입니다. 투명성, 알고리즘 제어 및 위험 분류에 대한 규정은 AI 사고 사슬 모니터링 기술을 적용하기 위한 탄탄한 법적 기반을 마련했습니다.
최첨단 국제 연구와 진보적인 국내 법적 틀을 결합하면 베트남은 AI를 안전하게 개발할 수 있을 뿐만 아니라 이 지역의 다른 국가의 모델이 될 수 있을 것입니다.
이는 국가 개발 전략에 명시된 대로 베트남을 "지역 및 글로벌 디지털 기술 허브"로 전환한다는 목표와 일치합니다.
베트남은 기존의 법적 기반을 바탕으로 AI 사고 사슬 모니터링에 대한 연구와 실제 적용을 신속하게 구축해야 합니다. 이를 통해서만 디지털 기술 산업법의 정신이 지향하는 대로 AI가 "인류의 번영과 행복"에 기여할 수 있습니다.
출처: https://dantri.com.vn/cong-nghe/giam-sat-chuoi-tu-duy-cua-tri-tue-nhan-tao-20250731151403739.htm
댓글 (0)