DeepSeek знову проривається

DeepSeek анонсує модель DeepSeek-OCR, яка використовує візуальне сприйняття як середовище стиснення для обробки великих документів з 20 разів меншою кількістю токенів, ніж традиційні методи.

DeepSeek випускає нову модель штучного інтелекту, яка може обробляти документи з використанням у 7-20 разів меншої кількості токенів, ніж традиційні методи. Фото: The Verge .

Згідно з даними SCMP , DeepSeek випустила нову мультимодальну модель штучного інтелекту (ШІ), яка здатна обробляти великі та складні документи зі значно меншою кількістю токенів, у 7-20 разів меншою, ніж традиційні методи обробки тексту.

Токени – це найменші одиниці тексту, які обробляє ШІ. Зменшення кількості токенів означає економію обчислювальних витрат і підвищення ефективності моделі ШІ.

Для досягнення цього модель DeepSeek-OCR (оптичне розпізнавання символів) використовувала візуальне сприйняття як засіб стиснення інформації. Такий підхід дозволяє великим мовним моделям обробляти величезні обсяги тексту без пропорційного збільшення обчислювальних витрат.

«Завдяки DeepSeek-OCR ми продемонстрували, що використання візуального сприйняття для стиснення інформації може досягти значного скорочення кількості токенів – від 7 до 20 разів для різних історичних періодів, що є перспективним напрямком», – сказали в DeepSeek.

Згідно з дописом у блозі компанії, DeepSeek-OCR складається з двох основних компонентів: DeepEncoder та DeepSeek3B-MoE-A570M, який виконує роль декодера.

Серед них DeepEncoder виступає основним двигуном моделі, допомагаючи підтримувати низькі рівні активації при високій роздільній здатності вхідних даних, одночасно досягаючи високого коефіцієнта стиснення для зменшення кількості токенів.

Декодером є модель суміші експертів (MoE) з 570 мільйонами параметрів, яка відповідає за відтворення оригінального тексту. Архітектура MoE поділяє модель на підмережі, що спеціалізуються на обробці підмножини вхідних даних, оптимізуючи продуктивність без необхідності активації всієї моделі.

У OmniDocBench, тесті читабельності документів, DeepSeek-OCR перевершує основні моделі OCR, такі як GOT-OCR 2.0 та MinerU 2.0, використовуючи при цьому значно менше токенів.

Джерело: https://znews.vn/deepseek-lai-co-dot-pha-post1595902.html