DeepSeek здійснив черговий прорив.

Компанія DeepSeek анонсувала модель DeepSeek-OCR, яка використовує візуальне сприйняття як середовище стиснення для обробки великих документів з використанням до 20 разів меншої кількості токенів, ніж традиційні методи.

DeepSeek випустила нову модель штучного інтелекту, здатну обробляти документи з використанням у 7-20 разів меншої кількості токенів, ніж традиційними методами. Фото: The Verge .

Згідно з даними SCMP , DeepSeek випустила нову мультимодальну модель штучного інтелекту (ШІ), здатну обробляти великі та складні документи зі значно меншою кількістю токенів — у 7-20 разів менше — ніж традиційні методи обробки тексту.

Токени – це найменші одиниці тексту, які обробляє ШІ. Зменшення кількості токенів означає економію обчислювальних витрат і підвищення ефективності моделі ШІ.

Для досягнення цього модель DeepSeek-OCR (оптичне розпізнавання символів) використовувала візуальне сприйняття як засіб стиснення інформації. Такий підхід дозволяє великим мовним моделям обробляти величезні обсяги тексту без пропорційного збільшення обчислювальних витрат.

«Завдяки DeepSeek-OCR ми продемонстрували, що використання візуального сприйняття для стиснення інформації може досягти значного скорочення кількості токенів — від 7 до 20 разів для різних історичних контекстуальних етапів — пропонуючи багатообіцяючий напрямок», — заявили у DeepSeek.

Згідно з дописом у блозі компанії, DeepSeek-OCR складається з двох основних компонентів: DeepEncoder та DeepSeek3B-MoE-A570M, який виконує роль декодера.

У цій моделі DeepEncoder виступає основним інструментом, допомагаючи підтримувати низькі рівні активації при високій роздільній здатності вхідних даних, одночасно досягаючи високих коефіцієнтів стиснення для зменшення кількості токенів.

Згодом декодер являє собою модель суміші експертів (MoE) з 570 мільйонами параметрів, завданням якої є реконструкція оригінального тексту. Архітектура MoE поділяє модель на підмережі, що спеціалізуються на обробці підмножини вхідних даних, оптимізуючи продуктивність без активації всієї моделі.

У OmniDocBench, еталоном читабельності документів, DeepSeek-OCR перевершує основні моделі OCR, такі як GOT-OCR 2.0 та MinerU 2.0, використовуючи при цьому значно менше токенів.

Джерело: https://znews.vn/deepseek-lai-co-dot-pha-post1595902.html