ChatGPT의 새로운 이미지 생성 기술을 이용한 영수증 위조의 위험성.

(CLO) ChatGPT는 최근 GPT-4o 모델에 통합된 새로운 이미지 생성 도구를 출시했으며, 이 도구는 이미지 내 텍스트 생성 기능이 더욱 향상되었습니다.

하지만 사용자들은 이 기능을 악용하여 식당 영수증을 위조할 수 있다는 사실을 곧 발견했습니다.

투자자 디디 다스는 X 포럼에 샌프란시스코의 한 스테이크 전문점에서 발행된 가짜 영수증 이미지를 게시하며, 해당 사진이 GPT-4o를 이용해 만들어졌다고 주장했습니다.

투자자 디디는 해당 이미지를 소셜 미디어 플랫폼 X에 공유했습니다.

다른 많은 사용자들도 이 효과를 성공적으로 재현했으며, 더욱 사실감을 높이기 위해 음식이나 음료 얼룩까지 추가했습니다.

다른 사용자는 음식 얼룩이 묻은 영수증 이미지를 공유했는데, 매우 사실적으로 보였지만 이 또한 ChatGPT로 만들어진 것이었습니다.

예를 들어, 프랑스의 한 사용자는 지역 레스토랑 체인의 가짜 구겨진 영수증을 게시했습니다.

이 사진은 프랑스에 거주하는 한 사용자가 공유했습니다.

많은 사람들이 새로운 기능을 테스트하고 매장용 가짜 영수증을 만들었지만, 이미지에는 여전히 다음과 같은 오류가 있습니다. 총액에 마침표 대신 쉼표가 사용되었거나, 계산이 잘못되었습니다(AI의 기본적인 계산 능력 부족).

하지만 악의적인 공격자는 소프트웨어를 사용하거나 명령(프롬프트)을 수정하는 간단한 편집을 통해 이를 쉽게 해결할 수 있습니다.

가짜 영수증을 손쉽게 만들 수 있다는 점은 존재하지 않는 비용에 대한 사기성 환불과 같은 심각한 위험을 초래합니다.

이 문제에 대해 OpenAI는 모든 AI 생성 이미지에 ChatGPT에서 가져온 것임을 명시하는 메타데이터가 포함되어 있다고 밝혔습니다. 또한, 사용자가 정책을 위반할 경우 "조치를 취"하고 실제 사용자 피드백을 통해 "지속적으로 학습"한다고 덧붙였습니다.

가짜 송장 생성을 허용하는 것에 대한 질문에 대해 오픈AI 대변인 타야 크리스티안슨은 "창의적 자유를 극대화하는 것"이 ​​목표라고 설명하며, 가짜 송장은 금융 교육 , 예술 또는 광고 목적으로 사용될 수 있다고 제안했습니다.

인공지능이 악용된 것은 이번이 처음이 아닙니다. 이전에도 MidJourney와 DALL-E는 문서, 신분증, 심지어 화폐의 위조 이미지를 만드는 데 사용되었습니다.

까오퐁 (TC, MSB에 따르면)

출처: https://www.congluan.vn/moi-nguy-trinh-tao-hinh-anh-moi-cua-chatgpt-trong-viec-lam-gia-bien-lai-post340969.html