ChatGPT의 새로운 이미지 생성기, 영수증 위조 위협

그러나 사용자들은 이 기능이 식당 계산서를 위조하는 데 악용될 수 있다는 사실을 곧 알아냈습니다.

투자자 디디 다스는 샌프란시스코의 스테이크하우스에서 찍은 가짜 영수증 이미지를 X에 게시하면서, 해당 이미지가 GPT-4o를 사용하여 만들어졌다고 주장했습니다.

투자자 디디는 소셜 네트워크 X에 해당 이미지를 공유했습니다.

다른 많은 사용자들도 성공적으로 이를 재현했으며, 사실감을 높이기 위해 음식과 음료 얼룩을 추가하기도 했습니다.

또 다른 사용자는 음식 얼룩이 있는 영수증 사진을 공유했는데, 매우 사실적으로 보였지만 이 사진 역시 ChatGPT가 만든 것입니다.

아니면 구겨진 것처럼 보이는 지역 레스토랑 체인의 가짜 영수증을 게시한 프랑스의 사용자처럼요.

프랑스의 한 사용자가 공유한 사진입니다.

많은 사람들이 새로운 기능을 테스트하고 매장에서 사용할 가짜 영수증을 만들었지만, 사진에는 여전히 일관성이 없습니다. 예를 들어, 합계에 마침표 대신 쉼표가 있는 경우입니다. 계산 오류(AI의 기본 계산에 대한 약점).

그러나 공격자는 소프트웨어를 이용해 간단한 편집을 하거나 명령 프롬프트를 조정하는 것만으로도 문제를 해결할 수 있습니다.

가짜 송장을 쉽게 만들 수 있는 능력은 존재하지 않는 비용에 대한 사기적 환불과 같은 심각한 위험을 초래합니다.

이 문제에 대한 대응으로 OpenAI는 모든 AI 생성 이미지에 ChatGPT의 이미지 출처를 기록한 메타데이터(속성)가 포함되어 있다고 밝혔습니다. 또한 이 회사는 사용자가 정책을 위반할 경우 "조치를 취하고" 실제 피드백을 통해 "지속적으로 학습"합니다.

가짜 송장 생성을 허용하는 것에 대한 질문에 OpenAI 대변인 타야 크리스티안슨은 "창의적 자유를 극대화하는 것"이 ​​목표라고 설명하며 가짜 송장이 금융 교육, 예술 또는 광고 목적으로 사용될 수 있다고 제안했습니다.

AI가 악용된 것은 이번이 처음이 아니다. 이전에는 MidJourney와 DALL-E를 이용해 문서, 신분증, 심지어 화폐의 가짜 이미지를 만드는 경우가 있었습니다.

카오퐁 (TC, MSB에 따르면)

출처: https://www.congluan.vn/moi-nguy-trinh-tao-hinh-anh-moi-cua-chatgpt-trong-viec-lam-gia-bien-lai-post340969.html