Чи варто використовувати ChatGPT «безкоштовно»?

Оскільки модель GPT-OSS працює безпосередньо на звичайному комп'ютері, вона має повільну швидкість відгуку та частіше трапляється «фантомне відображення».

OpenAI щойно запустила GPT-OSS, першу з 2018 року модель штучного інтелекту з відкритою зваженою структурою. Ключовою особливістю є те, що модель доступна безкоштовно; користувачі можуть завантажувати, налаштовувати та розгортати її на звичайному комп'ютері. (Зображення: OpenAI )

GPT-OSS випускається у двох версіях: версія з 20 мільярдами параметрів (GPT-OSS-20b) може працювати на комп'ютерах з мінімум 16 ГБ оперативної пам'яті, тоді як версія з 120 мільярдами параметрів (GPT-OSS-120b) може працювати на графічному процесорі Nvidia з 80 ГБ пам'яті. За даними OpenAI, версія з 120 мільярдами параметрів еквівалентна o4-mini, тоді як версія з 20 мільярдами параметрів працює аналогічно моделі o3-mini.

Версії GPT-OSS розповсюджуються через кілька платформ, таких як Hugging Face, Azure або AWS, за ліцензією Apache 2.0. Користувачі можуть завантажити та запустити модель на своїх комп'ютерах за допомогою таких інструментів, як LM Studio або Ollama. Ці програмні програми випускаються безкоштовно з простими та зручними інтерфейсами. Наприклад, LM Studio дозволяє користувачам вибрати та завантажити GPT-OSS під час першого запуску.

Версія GPT-OSS з 20 мільярдами параметрів має розмір приблизно 12 ГБ. Після завантаження користувачів перенаправляє на інтерактивний інтерфейс, подібний до ChatGPT. У розділі вибору моделі натисніть на OpenAI gpt-oss 20B і зачекайте приблизно хвилину, поки модель запуститься.

Подібно до інших популярних моделей, GPT-OSS-20b підтримує взаємодію в'єтнамською мовою. Тестування на iMac M1 (16 ГБ оперативної пам'яті) показало, що модель розпізнає команду приблизно за 0,2 секунди, а відповідь – за 3 секунди. Користувачі можуть натиснути значок планшета для малювання у верхньому правому куті, щоб налаштувати шрифт, розмір шрифту та колір фону для зручнішого читання.

Коли GPT-OSS-20b запитують «Що ти вмієш?», він майже миттєво розуміє та перекладає команду англійською мовою, а потім поступово записує відповідь. Оскільки він працює безпосередньо на комп’ютері, користувачі можуть часто стикатися із зависанням системи під час міркування та відповіді моделі, особливо зі складними питаннями.

Однак, GPT-OSS-20b мав труднощі одразу із запитом про 13-го президента Сполучених Штатів. Згідно з документацією OpenAI, GPT-OSS-20b набрав 6,7 бала в оцінці SimpleQA, пов'язаній з питанням тесту на точність. Це значно нижче, ніж GPT-OSS-120b (16,8 бала) або o4-mini (23,4 бала).

Аналогічно, в команді для написання та аналізу контенту GPT-OSS-20b відповів неправильно та неправильно інтерпретував останню частину речення. За даними OpenAI, це «передбачувано», оскільки менші моделі мають менше знань, ніж більші, а це означає, що «ілюзія» виникає частіше.

На базові обчислювальні та аналітичні питання GPT-OSS-20b відповідає досить швидко та точно. Звичайно, час відгуку моделі повільніший через її залежність від обчислювальних ресурсів. Версія з 20 мільярдами параметрів також не підтримує пошук інформації в Інтернеті.

GPT-OSS-20b займає близько 10-20 секунд для простих завдань порівняння та аналізу чисел і літер. За даними The Verge , модель була запущена OpenAI після вибуху популярності моделей з відкритим кодом, включаючи DeepSeek. У січні генеральний директор OpenAI Сем Альтман визнав, що «обрав неправильний напрямок», не випустивши модель з відкритим кодом.

Команди, що потребують кількох кроків або складних даних, «кинуть виклик» GPT-OSS-20b. Наприклад, моделі знадобилося майже 4 хвилини, щоб витягти перші 100 символів після коми в числі пі. Спочатку GPT-OSS-20b пронумерувала кожну цифру окремо, потім перенаправила їх, щоб згрупувати в групи по 10 послідовних символів, перш ніж підсумувати та порівняти результати. Для порівняння, ChatGPT, Grok або DeepSeek витрачають лише близько 5 секунд, щоб відповісти на те саме запитання.

Користувачі також можуть попросити GPT-OSS-20b написати простий код, такий як Python, або намалювати векторну графіку (SVG). За допомогою команди «Створити SVG-зображення кота, який стрибає через паркан» моделі потрібно близько 40 секунд, щоб вивести результат, і майже 5 хвилин, щоб записати вивід.

Деякі складні команди можуть споживати багато токенів. За замовчуванням кожен потік розмови підтримує 4906 токенів, але користувачі можуть натиснути кнопку «Налаштування» поруч із панеллю вибору моделі вище, налаштувати кількість токенів за потреби в розділі «Довжина контексту» , а потім натиснути « Перезавантажити», щоб застосувати зміни . Однак LM Studio зазначає, що встановлення надмірно великого ліміту токенів може споживати багато оперативної або відеопам’яті.

Оскільки програма працює безпосередньо на пристрої, час відгуку моделі може відрізнятися залежно від апаратного забезпечення. На iMac M1 з 16 ГБ оперативної пам'яті складна команда обчислення, як-от наведена вище, зайняла у GPT-OSS-20b близько 5 хвилин на обдумування та виконання, тоді як ChatGPT зайняв лише близько 10 секунд.

Що стосується безпеки, OpenAI стверджує, що це найретельніше протестована відкрита модель компанії на сьогодні. Компанія співпрацювала з незалежними експертними організаціями, щоб переконатися, що модель не становить ризиків у чутливих сферах, таких як кібербезпека чи біологія. Процес виведення GPT-OSS є публічно видимим, що допомагає виявляти неправомірні дії, спуфінг або зловживання.

Окрім LM Studio, користувачі можуть завантажити кілька інших програм для запуску GPT-OSS, таких як Ollama. Однак ця програма вимагає вікна командного рядка (терміналу) для завантаження та запуску моделі перед перемиканням до звичайного інтерактивного інтерфейсу. На комп'ютерах Mac час відгуку під час роботи з Ollama також довший, ніж з LM Studio.

Джерело: https://znews.vn/chatgpt-ban-mien-phi-lam-duoc-gi-post1574987.html