Měli byste používat ChatGPT „zdarma“?

Protože model GPT-OSS běží přímo na běžném počítači, má pomalou rychlost odezvy a dochází k většímu počtu případů „ghostingu“.

Společnost OpenAI právě spustila GPT-OSS, první otevřený model umělé inteligence od roku 2018. Klíčovou vlastností je, že model je k dispozici zdarma; uživatelé si ho mohou stáhnout, přizpůsobit a nasadit na běžný počítač. (Obrázek: OpenAI )

GPT-OSS se dodává ve dvou verzích: verze s 20 miliardami parametrů (GPT-OSS-20b) může běžet na počítačích s minimálně 16 GB RAM, zatímco verze se 120 miliardami parametrů (GPT-OSS-120b) může běžet na grafické kartě Nvidia s 80 GB paměti. Podle OpenAI je verze se 120 miliardami parametrů ekvivalentní modelu o4-mini, zatímco verze s 20 miliardami parametrů funguje podobně jako model o3-mini.

Verze GPT-OSS jsou distribuovány prostřednictvím několika platforem, jako jsou Hugging Face, Azure nebo AWS, pod licencí Apache 2.0. Uživatelé si mohou model stáhnout a spustit na svých počítačích pomocí nástrojů, jako je LM Studio nebo Ollama. Tyto softwarové programy jsou k dispozici zdarma s jednoduchým a uživatelsky přívětivým rozhraním. Například LM Studio umožňuje uživatelům vybrat a načíst GPT-OSS při prvním spuštění.

Verze GPT-OSS s 20 miliardami parametrů má velikost přibližně 12 GB. Po stažení jsou uživatelé přesměrováni na interaktivní rozhraní podobné ChatGPT. V sekci výběru modelu klikněte na OpenAI gpt-oss 20B a počkejte asi minutu, než se model spustí.

Podobně jako jiné populární modely podporuje i GPT-OSS-20b interakci ve vietnamštině. Testováno na iMacu M1 (16 GB RAM) s příkazem „Ahoj“ trvalo modelu přibližně 0,2 sekundy na dedukci a 3 sekundy na odpověď. Uživatelé mohou kliknout na ikonu kreslicího tabletu v pravém horním rohu a upravit písmo, velikost písma a barvu pozadí pro snazší čtení.

Na otázku „Co umíš?“ GPT-OSS-20b téměř okamžitě pochopí a přeloží příkaz do angličtiny a poté postupně zapíše odpověď. Protože systém běží přímo na počítači, uživatelé mohou často zaznamenat zamrznutí systému, když model uvažuje a reaguje, zejména u složitých otázek.

GPT-OSS-20b se však trápil hned od dotazu týkajícího se 13. prezidenta Spojených států. Podle dokumentace OpenAI dosáhl GPT-OSS-20b v hodnocení SimpleQA 6,7 bodu, což souvisí s otázkou testu přesnosti. To je výrazně méně než GPT-OSS-120b (16,8 bodu) nebo o4-mini (23,4 bodu).

Podobně v příkazu k zápisu a analýze obsahu GPT-OSS-20b reagoval nesprávně a špatně interpretoval poslední část věty. Podle OpenAI je to „předvídatelné“, protože menší modely mají méně znalostí než větší modely, což znamená, že „iluze“ se vyskytuje častěji.

Na základní výpočetní a analytické otázky reaguje GPT-OSS-20b poměrně rychle a přesně. Doba odezvy modelu je samozřejmě pomalejší kvůli jeho závislosti na výpočetních zdrojích. Verze s 20 miliardami parametrů také nepodporuje vyhledávání informací na internetu.

Model GPT-OSS-20b trvá jednoduché porovnávání a analýzu čísel a písmen přibližně 10–20 sekund. Podle serveru The Verge byl model spuštěn společností OpenAI po explozi open-source modelů, včetně DeepSeek. V lednu generální ředitel společnosti OpenAI Sam Altman přiznal, že „zvolil špatný směr“, když nezveřejnil open-source model.

Příkazy vyžadující více kroků nebo složitá data budou „výzvou“ pro GPT-OSS-20b. Například modelu trvalo téměř 4 minuty, než extrahoval prvních 100 znaků za desetinnou čárkou v čísle pí. GPT-OSS-20b nejprve očísloval každou číslici jednotlivě, poté je přesměroval, aby je seskupil do skupin po 10 po sobě jdoucích znacích, a poté sečetl a porovnal výsledky. Pro srovnání, ChatGPT, Grok nebo DeepSeek potřebují na stejnou otázku odpovědět pouze asi 5 sekund.

Uživatelé mohou také požádat GPT-OSS-20b o napsání jednoduchého kódu, například v Pythonu, nebo o kreslení vektorové grafiky (SVG). S příkazem „Vytvořit SVG obrázek kočky skákající přes plot“ trvá modelu přibližně 40 sekund, než odvodí výsledek, a téměř 5 minut, než zapíše výstup.

Některé složité příkazy mohou spotřebovat velké množství tokenů. Ve výchozím nastavení každé vlákno konverzace podporuje 4 906 tokenů, ale uživatelé mohou kliknout na tlačítko Nastavení vedle panelu pro výběr modelu výše, upravit množství tokenů podle potřeby v části Délka kontextu a poté kliknout na Znovu načíst, aby se změny projevily . LM Studio však upozorňuje, že nastavení nadměrně velkého limitu tokenů může spotřebovat velké množství paměti RAM nebo VRAM.

Protože běží přímo na zařízení, může se doba odezvy modelu lišit v závislosti na hardwaru. Na iMacu M1 s 16 GB RAM trvalo provedení složitého výpočetního příkazu, jako je ten výše, GPT-OSS-20b asi 5 minut, zatímco ChatGPT trvalo jen asi 10 sekund.

Pokud jde o bezpečnost, OpenAI tvrdí, že se jedná o dosud nejdůkladněji testovaný otevřený model společnosti. Společnost spolupracuje s nezávislými kontrolními organizacemi, aby zajistila, že model nepředstavuje rizika v citlivých oblastech, jako je kybernetická bezpečnost nebo biologie. Proces odvozování GPT-OSS je veřejně viditelný, což pomáhá odhalovat pochybení, spoofing nebo zneužívání.

Kromě LM Studia si uživatelé mohou stáhnout několik dalších aplikací pro spuštění GPT-OSS, například Ollama. Tato aplikace však vyžaduje okno příkazového řádku (Terminál) pro načtení a spuštění modelu před přepnutím do běžného interaktivního rozhraní. Na počítačích Mac je doba odezvy při spuštění s Ollamou také delší než s LM Studiem.

Zdroj: https://znews.vn/chatgpt-ban-mien-phi-lam-duoc-gi-post1574987.html