DeepSeek снова прорывается

Компания DeepSeek анонсирует модель DeepSeek-OCR, которая использует визуальное восприятие в качестве средства сжатия для обработки больших документов с использованием в 20 раз меньшего количества токенов, чем при использовании традиционных методов.

DeepSeek выпускает новую модель искусственного интеллекта, которая может обрабатывать документы, используя в 7–20 раз меньше токенов, чем традиционные методы. Фото: The Verge .

По данным SCMP , компания DeepSeek выпустила новую многомодальную модель искусственного интеллекта (ИИ), способную обрабатывать большие и сложные документы с использованием значительно меньшего количества токенов — в 7–20 раз меньше, чем традиционные методы обработки текста.

Токены — это наименьшие единицы текста, обрабатываемые ИИ. Уменьшение количества токенов означает экономию вычислительных затрат и повышение эффективности модели ИИ.

Для достижения этой цели модель DeepSeek-OCR (оптическое распознавание символов) использовала визуальное восприятие как средство сжатия информации. Такой подход позволяет крупным языковым моделям обрабатывать огромные объёмы текста без пропорционального увеличения вычислительных затрат.

«Благодаря DeepSeek-OCR мы продемонстрировали, что использование визуального восприятия для сжатия информации может обеспечить значительное сокращение количества токенов — от 7 до 20 раз для различных исторических периодов, что указывает на многообещающее направление», — заявили в DeepSeek.

Согласно сообщению в блоге компании, DeepSeek-OCR состоит из двух основных компонентов: DeepEncoder и DeepSeek3B-MoE-A570M, который выполняет функцию декодера.

Среди них DeepEncoder выступает в качестве основного движка модели, помогая поддерживать низкие уровни активации при входных данных высокого разрешения, одновременно достигая высокой степени сжатия для уменьшения количества токенов.

Декодер представляет собой модель «Смесь экспертов» (MoE) с 570 миллионами параметров, которая воспроизводит исходный текст. Архитектура MoE делит модель на подсети, специализирующиеся на обработке подмножества входных данных, что оптимизирует производительность без необходимости активации всей модели.

В тесте читаемости документов OmniDocBench DeepSeek-OCR превосходит основные модели OCR, такие как GOT-OCR 2.0 и MinerU 2.0, используя при этом гораздо меньше токенов.

Источник: https://znews.vn/deepseek-lai-co-dot-pha-post1595902.html