Alat AI baharu menghasilkan imej berkualiti tinggi 9 kali lebih pantas.

Imej angkasawan yang menunggang kuda telah dicipta dengan menggabungkan dua jenis model yang dijana AI. Foto: MIT News

Apabila kelajuan dan kualiti bukan lagi satu pertimbangan.

Dalam bidang penciptaan imej berkuasa AI, terdapat dua kaedah utama pada masa ini:

Model resapan membolehkan penciptaan imej yang terperinci dan tajam. Walau bagaimanapun, ia sangat perlahan dan menggunakan banyak sumber pengiraan kerana ia memerlukan berpuluh-puluh langkah pemprosesan untuk menghapuskan hingar daripada setiap piksel.

Sebaliknya, model autoregresif jauh lebih pantas kerana ia boleh meramalkan bahagian kecil imej secara berjujukan. Walau bagaimanapun, ia sering menghasilkan imej dengan kurang terperinci dan terdedah kepada ralat.

HART (transformer autoregresif hibrid) menggabungkan kedua-duanya, menawarkan "yang terbaik dari kedua-dua dunia." Pertama, ia menggunakan model autoregresif untuk membina imej keseluruhan dengan mengekodkannya kepada token diskret. Kemudian, model yang sedikit meresap memproses selanjutnya untuk menambah token baki—butiran yang hilang semasa proses pengekodan.

Hasilnya ialah imej yang berkualiti setanding (atau lebih baik) dengan model resapan yang paling canggih, tetapi pemprosesan adalah sembilan kali lebih pantas dan menggunakan 31% kurang sumber pengkomputeran.

Pendekatan baharu ini membantu menghasilkan imej berkualiti tinggi pada kelajuan tinggi.

Salah satu inovasi HART yang ketara ialah bagaimana ia menangani masalah kehilangan maklumat apabila menggunakan model autoregresif. Menukar imej kepada token diskret mempercepatkan proses, tetapi juga mengakibatkan kehilangan butiran penting seperti garis besar objek, ciri wajah, rambut, mata dan mulut.

Penyelesaian HART adalah untuk memastikan model resapan hanya tertumpu pada "menampal" butiran ini menggunakan token baki. Dan kerana model tersebut telah melakukan kebanyakan kerja melalui autoregresi, model resapan hanya memerlukan 8 langkah pemprosesan dan bukannya lebih 30 seperti sebelumnya.

"Model penyebaran lebih mudah dilaksanakan dan oleh itu lebih berkesan, " jelas penulis bersama Haotian Tang.

Secara khususnya, gabungan model transformer autoregresif dengan 700 juta parameter dan model resapan ringan dengan 37 juta parameter membolehkan HART mencapai prestasi yang setanding dengan model resapan dengan sehingga 2 bilion parameter, tetapi sembilan kali lebih pantas.

Pada mulanya, pasukan penyelidikan juga cuba mengintegrasikan model resapan ke peringkat awal proses penciptaan imej, tetapi ini menyebabkan pengumpulan ralat. Pendekatan yang paling berkesan adalah membiarkan model resapan mengendalikan langkah terakhir dan hanya memberi tumpuan pada bahagian "hilang" imej.

Membuka kunci masa depan multimedia AI.

Langkah seterusnya pasukan penyelidikan adalah untuk membina model visi AI – bahasa generasi akan datang berdasarkan seni bina HART. Oleh kerana HART boleh diskala dan boleh disesuaikan dengan pelbagai jenis data (multimodal), mereka menjangkakan dapat mengaplikasikannya pada penciptaan video , ramalan audio dan banyak bidang lain.

Kajian ini dibiayai oleh pelbagai organisasi, termasuk Makmal AI MIT-IBM Watson, Pusat Sains MIT-Amazon, Program Perkakasan AI MIT dan Yayasan Sains Kebangsaan A.S. NVIDIA juga menyediakan infrastruktur GPU untuk melatih model tersebut.

(Menurut Berita MIT)

Sumber: https://vietnamnet.vn/cong-cu-ai-moi-tao-anh-chat-luong-cao-nhanh-gap-9-lan-2384719.html