DeepSeek znów przebija się

Firma DeepSeek przedstawia model DeepSeek-OCR, który wykorzystuje percepcję wizualną jako medium kompresji, umożliwiając przetwarzanie dużych dokumentów przy użyciu 20 razy mniejszej liczby tokenów niż w przypadku tradycyjnych metod.

DeepSeek wprowadza nowy model sztucznej inteligencji, który może przetwarzać dokumenty przy użyciu od 7 do 20 razy mniejszej liczby tokenów niż tradycyjne metody. Zdjęcie: The Verge .

Według SCMP firma DeepSeek opracowała nowy, multimodalny model sztucznej inteligencji (AI), który jest w stanie przetwarzać duże i złożone dokumenty przy znacznie mniejszej liczbie tokenów, 7–20 razy mniejszej niż tradycyjne metody przetwarzania tekstu.

Tokeny to najmniejsze jednostki tekstu przetwarzane przez sztuczną inteligencję. Zmniejszenie liczby tokenów oznacza oszczędność kosztów obliczeniowych i zwiększenie wydajności modelu sztucznej inteligencji.

Aby to osiągnąć, model DeepSeek-OCR (optycznego rozpoznawania znaków) wykorzystał percepcję wizualną jako sposób kompresji informacji. To podejście pozwala dużym modelom językowym przetwarzać ogromne ilości tekstu bez proporcjonalnie zwiększonego kosztu obliczeniowego.

„Dzięki DeepSeek-OCR wykazaliśmy, że wykorzystanie percepcji wizualnej do kompresji informacji może doprowadzić do znaczącej redukcji liczby tokenów – od 7 do 20 razy w różnych okresach historycznych, co wskazuje na obiecujący kierunek rozwoju” – powiedział DeepSeek.

Jak wynika z wpisu na blogu firmy, DeepSeek-OCR składa się z dwóch głównych komponentów: DeepEncodera i DeepSeek3B-MoE-A570M, który pełni funkcję dekodera.

DeepEncoder działa jako główny silnik modelu, pomagając utrzymać niskie poziomy aktywacji przy danych wejściowych o wysokiej rozdzielczości, jednocześnie osiągając wysoki współczynnik kompresji w celu zmniejszenia liczby tokenów.

Dekoder to następnie model Mixture-of-Experts (MoE) o 570 milionach parametrów, którego zadaniem jest odtworzenie oryginalnego tekstu. Architektura MoE dzieli model na podsieci specjalizujące się w przetwarzaniu podzbioru danych wejściowych, optymalizując wydajność bez konieczności aktywacji całego modelu.

W teście czytelności dokumentów OmniDocBench DeepSeek-OCR przewyższa główne modele OCR, takie jak GOT-OCR 2.0 i MinerU 2.0, a jednocześnie wykorzystuje znacznie mniej tokenów.

Źródło: https://znews.vn/deepseek-lai-co-dot-pha-post1595902.html