인공지능은 중요한 상황에서 의사결정을 최적화하는 데 점점 더 많이 활용되고 있습니다. 예를 들어, 자율 시스템은 전압 안정성을 유지하면서 가장 비용 효율적인 전력 배분 계획을 제안할 수 있습니다.
하지만 "기술적으로 최적의" 해결책이 과연 공정한 것일까요? 저비용 전략으로 인해 저소득 지역이 부유한 지역보다 정전에 더 취약해진다면 어떻게 될까요?
이해관계자들이 실행 전에 윤리적 위험을 조기에 감지할 수 있도록 돕기 위해 MIT 연구팀은 비용 및 신뢰성과 같은 양적 지표와 공정성 같은 질적 가치의 균형을 맞추는 자동화된 평가 방법을 개발했습니다.
이 시스템은 객관적인 평가와 사용자가 정의한 인간의 가치를 분리하고, 대규모 언어 모델(LLM)을 인간을 대표하는 도구로 사용하여 이해관계자의 우선순위를 기록하고 통합합니다.
적응형 평가 프레임워크는 추가 분석을 위해 가장 중요한 시나리오를 선택함으로써, 수동으로 처리할 경우 비용과 시간이 많이 소요되는 과정을 간소화합니다. 이러한 시나리오는 AI 시스템이 인간의 가치와 부합하는 경우와 윤리적 기준을 충족하지 못하는 경우를 보여줄 수 있습니다.
추추 판(MIT)에 따르면, 인공지능에 단순히 규칙이나 "안전장치"를 설정하는 것만으로는 충분하지 않습니다. 왜냐하면 이러한 것들은 인간이 예측할 수 있는 위험만을 예방하기 때문입니다. 따라서, 결과가 발생하기 전에 "알 수 없는 위험"을 감지하기 위한 체계적인 접근 방식이 필요합니다.
복잡계에서의 윤리적 평가
전력망과 같은 대규모 시스템에서 인공지능이 생성한 제안의 윤리적 적합성을 평가하는 것은 어려운 일이며, 특히 여러 목표를 동시에 고려해야 할 때는 더욱 그렇습니다.
현재 방법론은 흔히 쉽게 구할 수 있는 데이터에 의존하지만, 윤리적 기준에 따라 분류된 데이터는 드뭅니다. 더욱이 윤리적 가치와 AI 시스템은 끊임없이 변화하고 있어 정적인 평가 방법은 빠르게 시대에 뒤떨어지게 됩니다.
연구팀은 SEED-SET이라는 실험 설계 프레임워크를 개발했는데, 이는 두 부분으로 구성됩니다.
- 객관적 모델: 측정 가능한 지표(예: 비용)를 기반으로 성과를 평가합니다.
- 주관적 모델: 인간의 판단(예: 공정성에 대한 감정)을 반영합니다.
이러한 접근 방식을 통해 기술적 기준과 인간적 가치를 모두 충족하는 시나리오 또는 그 반대의 경우를 식별할 수 있습니다.
특히 SEED-SET은 기존 평가 데이터가 필요하지 않으며 광범위한 목표에 맞춰 적용할 수 있습니다. 예를 들어 전력 시스템에서 서로 다른 사용자 그룹(예: 농촌 지역 사회와 데이터 센터)은 저렴하고 안정적인 전기를 원하지만 윤리적 우선순위는 다를 수 있습니다.
주관적 요인 모델링
주관적 요소를 평가하기 위해 시스템은 LLM을 평가자의 대표로 사용합니다. 각 그룹의 선호도는 자연어 문장으로 인코딩됩니다.
LLM은 여러 시나리오를 비교하고 윤리적 기준에 따라 가장 적절한 옵션을 선택합니다. 이러한 접근 방식은 수백 또는 수천 개의 시나리오를 평가할 때 발생하는 인력 피로와 일관성 부족을 방지하는 데 도움이 됩니다.
SEED-SET은 선택된 시나리오를 사용하여 시스템(예: 전력 분배 전략)을 시뮬레이션하고, 더 높은 평가값을 가진 새로운 시나리오를 계속해서 탐색합니다.
최종 결과는 사용자가 AI 시스템의 성능을 분석하고 필요에 따라 전략을 조정할 수 있도록 하는 일련의 전형적인 시나리오입니다.
예를 들어, 이 시스템은 전력 배분이 피크 시간대에 고소득 지역에 우선적으로 이루어져 저소득 지역이 정전에 더 취약해지는 경우를 감지할 수 있습니다.
효과성과 향후 발전 방향
스마트 그리드나 도시 교통 관리와 같은 실제 시스템에서 테스트했을 때, SEED-SET은 기존 방식보다 두 배 더 많은 최적 시나리오를 생성할 뿐만 아니라 기존 방식이 놓치는 상황까지 더 많이 감지합니다.
특히, 사용자의 선호도가 바뀌면 시스템에서 생성되는 시나리오도 크게 달라지는데, 이는 인간의 가치관에 대한 높은 적응성을 보여줍니다.
향후 연구팀은 실제 사용자를 대상으로 시스템의 의사결정 과정에서의 유용성을 평가하는 연구를 진행할 계획입니다. 동시에, 더 큰 규모의 언어 모델의 의사결정 평가와 같은 더욱 복잡한 문제로 방법론을 확장하는 것을 목표로 하고 있습니다.
이 연구는 미국 국방고등연구계획국(DARPA)의 부분적인 지원을 받아 수행되었습니다.
(MIT 뉴스에 따르면)
출처: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
댓글 (0)