ChatGPT의 새로운 이미지 생성기, 영수증 위조 위협

(CLO) ChatGPT는 최근 GPT-4o 모델에 통합된 새로운 이미지 생성 도구를 출시했는데, 이미지에서 뛰어난 텍스트 생성 기능을 제공합니다.

그러나 사용자들은 이 기능이 식당 계산서를 위조하는 데 악용될 수 있다는 사실을 곧 알아냈습니다.

투자자 디디 다스는 샌프란시스코의 스테이크하우스에서 찍은 가짜 영수증 이미지를 X에 게시하면서, 해당 이미지가 GPT-4o를 사용하여 만들어졌다고 주장했습니다.

투자자 디디는 소셜 네트워크 X에 해당 이미지를 공유했습니다.

다른 많은 사용자들도 성공적으로 이를 재현했으며, 사실감을 높이기 위해 음식과 음료 얼룩을 추가하기도 했습니다.

또 다른 사용자는 음식 얼룩이 있는 영수증 사진을 공유했는데, 매우 사실적으로 보였지만 이 사진 역시 ChatGPT가 만든 것입니다.

아니면 구겨진 것처럼 보이는 지역 레스토랑 체인의 가짜 영수증을 게시한 프랑스의 사용자처럼요.

프랑스의 한 사용자가 공유한 사진입니다.

많은 사람들이 새로운 기능을 테스트하고 매장에서 사용할 가짜 영수증을 만들었지만, 사진에는 여전히 다음과 같은 불합리한 점이 있습니다. 총액에 마침표 대신 쉼표가 사용됨, 잘못된 계산(AI의 기본 계산 약점).

그러나 공격자는 소프트웨어를 이용해 간단한 편집을 하거나 명령 프롬프트를 조정하는 것만으로도 문제를 해결할 수 있습니다.

가짜 송장을 쉽게 만들 수 있는 능력은 존재하지 않는 비용에 대한 사기적 환불과 같은 심각한 위험을 초래합니다.

이 문제에 대해 OpenAI는 모든 AI 생성 이미지에 ChatGPT에서 생성되었음을 식별하는 메타데이터가 포함되어 있다고 밝혔습니다. 또한 OpenAI는 사용자가 정책을 위반할 경우 "조치를 취하고" 실제 사용자 피드백을 통해 "지속적으로 학습"합니다.

가짜 송장 생성을 허용하는 것에 대한 질문에 OpenAI 대변인 타야 크리스티안슨은 "창의적 자유를 극대화하는 것"이 ​​목표라고 설명하며 가짜 송장이 금융 교육 , 예술 또는 광고 목적으로 사용될 수 있다고 제안했습니다.

AI가 악용된 것은 이번이 처음이 아닙니다. 이전에도 MidJourney와 DALL-E는 문서, 신분증, 심지어 화폐의 가짜 이미지를 만드는 데 사용된 적이 있습니다.

카오퐁 (TC, MSB에 따르면)

출처: https://www.congluan.vn/moi-nguy-trinh-tao-hinh-anh-moi-cua-chatgpt-trong-viec-lam-gia-bien-lai-post340969.html