소라(OpenAI)
소라는 가장 최근에 발표된 이름이지만 가장 큰 화제를 불러일으켰습니다. 그 이유는 부분적으로는 ChatGPT의 유명 개발사인 OpenAI의 제품이기 때문이지만, 주로 이 프로그램이 텍스트 명령만으로 생성하는 비디오 의 품질 때문입니다.
ChatGPT의 성공은 회사의 AI가 언어에 대한 깊은 이해를 제공한다는 것을 보여줍니다. 소라의 능력을 보여주는 영상들은 캐릭터들이 마치 영화 속 인간처럼 생생하게 움직이고 자신을 표현하는 모습을 보여줍니다.
소라가 텍스트 명령으로 만든 "초현실주의" 영상
하지만 Sora는 안전상의 이유로 아직 대중에게 공개되지 않았습니다. OpenAI는 특히 악의적인 목적으로, 사용자를 사칭하거나 불법적인 목적으로 Sora를 사용하는 AI 사용자가 증가하고 있음을 고려하여, Sora를 대중에게 공개하기 전에 신중한 검토를 진행할 예정입니다.
루미에르(구글)
루미에르는 구글의 제품으로, STUNet(Space-Time-U-Net) 구조적 확산 모델을 기반으로 텍스트 입력으로부터 비디오를 생성할 수 있습니다. 루미에르는 정지 영상을 연결하는 데 어려움을 겪는 대신, AI가 영상의 세부 정보(공간적 부분)를 식별하고, 그 세부 정보들이 어떻게 움직이고 동시에 변화하는지(시간적 부분) 추적하여 프로세스가 원활하게 진행되도록 지원합니다.
소라처럼 루미에르도 아직 출시되지 않았습니다. 회사는 바드와 동기화된 주요 언어 모델인 제미니(Gemini)가 출시된 후인 2024년 1월 말에야 루미에르를 출시했습니다.
비디오포엣(구글)
이 대규모 언어 모델(LLM)은 Google 검색에서 2023년에 개발한 비디오, 이미지, 오디오, 텍스트의 거대한 저장소에서 학습되었습니다. VideoPoet은 텍스트, 이미지, 비디오 등과 같은 입력 소스에서 다양한 작업을 수행하여 비디오를 만들고, 콘텐츠를 강조 표시하고, 비디오를 오디오로 변환하고, 정지 이미지를 애니메이션으로 바꿀 수 있습니다.
VideoPoet의 원래 아이디어는 모든 자기회귀 언어 모델을 비디오 생성 시스템으로 변환해야 한다는 필요성에서 비롯되었습니다. 현재의 자기회귀 언어 모델은 사람처럼 텍스트와 프로그래밍 코드를 처리할 수 있지만, 비디오 처리에는 어려움을 겪습니다. VideoPoet은 토큰화를 사용하여 모든 형식의 입력을 이해할 수 있는 언어로 변환함으로써 이 문제를 해결합니다.
텍스트로 비디오를 만드는 도구는 대부분 한계를 시험하고 있습니다.
에뮤 비디오(메타)
Google과 OpenAI 외에도 Meta는 AI 개발에 적극적으로 참여하는 빅테크 기업 중 하나입니다. Facebook을 소유한 Meta는 Emu Video라는 비디오 제작 AI를 개발했는데, 이미지를 텍스트로 변환하여 데이터로 활용하여 클립을 제작할 수 있습니다.
Emu Video는 베타 테스터들로부터 긍정적인 평가를 받고 있으며, 81%가 Imagen Video(구글)보다 Emu Video를 선호합니다. 90% 이상이 PYOCO(엔비디아)보다 Meta 모델을 선택했으며, 심지어 96%가 Meta의 Make-A-Video를 선택한 것보다 성능이 더 좋습니다.
CogVideo(칭화대학교, 중국)
세계 유수의 기술 기업들이 개발한 위의 모델들과 달리, CogVideo는 중국과 아시아를 대표하는 명문 대학 인 칭화대학교 연구팀이 개발한 AI입니다. 이 프로그램은 사전 학습된 텍스트-이미지 변환 모델인 CogView2를 기반으로 합니다.
CogVideo를 테스트한 컴퓨터 아트 전문가 글렌 마셜은 "감독들이 일자리를 잃을 수도 있다"고 말했습니다. 그가 CogVideo의 도움을 받아 제작한 '크로우(The Crow )'라는 영상은 높은 평가를 받았으며 영국 아카데미 영화상(BAFTA) 후보에 올랐습니다.
[광고_2]
소스 링크
댓글 (0)