Компанія Alibaba розробила нову мовну модель під назвою Qwen2.5-Max, яка, за словами компанії, використовує рекордну кількість навчальних даних – понад 20 трильйонів токенів.
Компанія Alibaba представила Qwen2.5-Max – нову мовну AI-модель, навчену на рекордних, за заявою компанії, 20 трильйонах токенів даних. Ця модель входить до наявного сімейства Qwen2.5 від Alibaba, до якого входять Qwen2.5-VL і Qwen2.5-1M.
Qwen2.5-Max, створений із використанням архітектури «суміш експертів» (MoE), у тестах на продуктивність не поступається та перевершує деякі провідні AI-моделі, такі як Deepseek-V3, GPT-4o, Claude 3.5 Sonnet і Llama-3.1-405B. Хоча точний розмір навчальних даних деяких комерційних конкурентів залишається конфіденційним, Deepseek-V3 і Llama-3.1-405B використовували приблизно по 15 трильйонів токенів.
Модель показує особливо високі результати в тестах Arena-Hard і LiveBench, а в інших тестах не поступається конкурентам. Команда Alibaba використовувала для розробки моделі усталені методи навчання, зокрема контрольоване тонке налаштування і навчання з підкріпленням на основі зворотного зв’язку від людини.
Тепер користувачі можуть отримати доступ до Qwen2.5-Max через API Alibaba Cloud або протестувати його в Qwen Chat, чат-боті компанії, який пропонує такі функції, як пошук в інтернеті та створення контенту. Хоча Alibaba не розкриває джерела своїх даних, експерти припускають, що синтетичні дані, ймовірно, відіграють важливу роль.
Незважаючи на значні інвестиції в навчальні дані, перевага моделі в продуктивності порівняно з конкурентами залишається незначною. Це відповідає нещодавнім обговоренням у співтоваристві AI, під час яких висловлюється припущення, що поліпшення обчислювальної потужності під час тестування, а не тільки розмір навчальних даних, може бути ключем до розширення можливостей мовних моделей.
На відміну від інших моделей у сімействі Qwen2.5, версія Max буде доступна тільки через API та не буде випущена з відкритим вихідним кодом. Alibaba пропонує розробникам конкурентоспроможні ціни та інтерфейс, сумісний з OpenAI, щоб стимулювати перехід на їхню хмарну платформу. Однак, як і інші моделі китайської мови, Qwen2.5-Max працює відповідно до китайських державних обмежень на контент.
