마이크로소프트는 위험을 감수한다

마이크로소프트는 윈도우 11에 통합되는 AI가 제기하는 위험에 대해 투명하게 공개했음에도 불구하고, 경쟁사에 비해 AI 구현에 대한 신뢰를 구축해야 할 필요가 여전히 남아 있습니다.

윈도우 11 화면에서 AI 에이전트 사용 권한을 요청합니다. 이미지: 윈도우 최신 버전 .

지난 몇 주 동안 마이크로소프트는 AI 에이전트를 윈도우에 통합하려는 시도를 해왔습니다. 하지만 마이크로소프트는 자체 문서에서도 이 기술이 "환각"에 빠지거나 예측 불가능한 동작을 보일 수 있고, 1년 전에는 존재하지 않았던 유형의 공격에 속을 수 있다고 인정하고 있습니다.

10월 중순, 마이크로소프트는 "모든 윈도우 11 PC를 AI PC로 만들겠다"고 발표했습니다. 회사는 컴퓨터가 화면 내용을 인식하고 사용자를 대신하여 동작할 수 있도록 하는 "대화형" AI 통합 기능을 새롭게 선보였습니다.

위험에도 불구하고 통합을 추진합니다.

이번 업데이트는 윈도우 11 작업 표시줄을 AI 허브로 탈바꿈시키려는 목표를 가지고 있습니다. 윈도우 11 검색 상자는 "코파일럿에게 질문하기" 인터페이스로 대체되어 사용자가 한 번의 클릭이나 명령으로 코파일럿에 접근할 수 있게 됩니다. 이를 통해 사용자는 일반 응용 프로그램을 관리하는 것처럼 백그라운드에서 실행 중인 에이전트를 모니터링할 수 있습니다.

마이크로소프트 역시 이 기술이 안전하거나 오류가 없다고 주장하지 않습니다. 회사 공식 문서에서는 AI 에이전트가 "작동 방식에 기능적 한계가 있으며 때때로 환각을 일으켜 예상치 못한 결과를 초래할 수 있다"고 경고합니다.

AI 에이전트를 통합한 후의 작업 표시줄입니다.

가장 큰 위험 중 하나로 언급되는 것은 크로스 프롬프트 인젝션(XPIA)입니다. 이는 AI 에이전트가 사용자 인터페이스(UI) 구성 요소, 문서 또는 애플리케이션에 삽입된 악성 콘텐츠에 속는 것을 말합니다. 이러한 악성 콘텐츠는 원래의 명령을 덮어쓰고 챗봇이 민감한 파일을 복사하거나 데이터를 유출하는 등의 악의적인 작업을 수행하도록 강제할 수 있습니다.

보안 연구원들은 그래픽 인터페이스 기반 AI 에이전트가 매우 높은 권한을 부여받는 경우가 많아 이러한 유형의 간접 공격에 특히 취약하다고 경고했습니다. 마이크로소프트는 이러한 위험성에 대해 투명하게 공개해 왔지만, 코파일럿은 최근 개인정보 보호 문제로 강한 비판에 직면했으며, 즉각적인 수용을 기대하기는 어려울 것으로 보입니다.

마이크로소프트는 해당 에이전트가 제한된 권한과 편집 방지 로그를 가진 별도의 계정으로 실행될 것이라고 주장합니다. 하지만 에이전트는 문서, 다운로드, 바탕 화면, 비디오, 사진, 음악과 같이 PC에서 가장 개인적인 위치에 있는 일부 폴더에 대한 읽기 및 쓰기 권한을 여전히 갖게 됩니다.

궁극적인 목표는 인공지능이 모든 업무를 대체하는 것입니다.

에이전트 워크스페이스는 인공지능 에이전트 기반 운영 체제(Agentic OS)에 대한 마이크로소프트의 비전을 구현하는 핵심 요소입니다. 윈도우 11은 이제 이러한 에이전트를 위한 별도의 세션을 생성할 수 있으며, 이를 통해 사용자 개입 없이 파일 편집 및 문서 이동과 같은 기능을 수행할 수 있습니다.

각 에이전트는 PC에 자체 표준 계정을 가지며, 기본적으로 메인 세션에 직접적인 영향을 주지 않는 병렬 Windows 환경에서 존재합니다. 챗봇은 이 계정 안에서 사람처럼 애플리케이션과 상호 작용하며, 인터페이스 버튼을 클릭하고, 텍스트를 입력하고, 창을 스크롤하고, 파일을 드래그 앤 드롭하고, 여러 단계를 거치는 작업을 수행합니다.

윈도우 11에서 AI 관련 기능을 활성화하는 방법.

에이전트 워크스페이스는 상담원에게 표시될 내용을 결정하는 역할을 합니다. 마이크로소프트는 또한 계정이 권한을 초과하여 사용하는 것을 방지하기 위해 액세스 제어 목록(ACL)을 사용합니다. 이러한 기능을 사용하려면 기본적으로 비활성화되어 있는 실험적 에이전트 기능을 활성화해야 합니다.

마이크로소프트에게 있어 치열한 경쟁 속에서 AI를 PC에 통합하는 것은 되돌릴 수 없는 단계입니다. 애플 역시 애플 인텔리전스 개발에 박차를 가하고 있으며, 특히 제미니(Gemini)의 맞춤형 버전을 사용할 계획입니다. 구글 또한 알루미늄 OS(Aluminium OS)를 통해 PC 시장 진출을 계획하고 있습니다.

애플의 차세대 보급형 맥북이 애플 인텔리전스 제품군을 완벽하게 탑재하여 많은 관심을 받고 있는 가운데, 윈도우 11은 이미 투박한 사용성과 느린 처리 ​​속도로 비판을 받고 있습니다. 마이크로소프트의 이전 AI 기능인 리콜(Recall) 역시 보안 취약성으로 인해 비난에 직면했습니다.

에이전트 기반 운영 체제는 모든 제조사에게 어쩌면 불가피한 과제일지도 모릅니다. 하지만 윈도우 최신 소식 에 따르면 핵심은 구현 방식에 있으며, 마이크로소프트는 인공지능 기술에 대한 사용자 신뢰를 회복해야 할 것입니다.

출처: https://znews.vn/microsoft-bat-chap-rui-ro-post1607379.html