Найменший у світі міні ПК здатний запускати LLM зі 120 млрд параметрів: його довжина лише 142 мм

Tiiny AI Pocket Lab потрапив до Книги рекордів Гіннеса як найменший персональний комп’ютер, здатний локально запускати великі мовні моделі. 

Американська компанія Tiiny AI Inc створила перший кишеньковий пристрій для ШІ, здатний запускати LLM обсягом до 120 млрд параметрів, не потребуючи підключення до хмари, серверів чи потужних графічних процесорів. 

Розміри Tiiny AI Pocket Lab становлять 142 мм у довжину, 80 мм у ширину та 25,3 мм у висоту.

Пристрій спроєктовано для енергоефективних обчислень персонального ШІ. ПК працює з потужністю 65 Вт, що дозволяє досягати високої продуктивності при роботі з великими моделями за мінімальних енерговитрат і викидів вуглецю порівняно зі стандартними GPU-системами.

«У той час, як хмарний ШІ все частіше стикається з проблемами екологічної стійкості, зростанням вартості електроенергії, глобальними збоями, надмірною ціною обробки довгих контекстів та ризиками для приватності, Tiiny AI пропонує альтернативну модель, зосереджену на персональному, портативному та повністю приватному інтелекті. На думку Tiiny AI, справжнім «вузьким місцем» сучасної екосистеми ШІ «є не обчислювальна потужність, а залежність від хмари», — зазначається у статті «Книги рекордів Гіннеса».

Tiiny AI Pocket Lab розроблений для підтримки майже всіх основних сценаріїв використання персонального ШІ, орієнтуючись на розробників, дослідників, креаторів, професіоналів та студентів.

Пристрій забезпечує багатокрокове логічне мислення, глибоке розуміння контексту, роботу автономних агентів, генерацію контенту та безпечну обробку конфіденційної інформації навіть без доступу до інтернету. Також девайс реалізує справжню довготривалу персональну пам’ять, зберігаючи дані користувача, його вподобання та документи локально з використанням шифрування банківського рівня, що забезпечує рівень приватності та стабільності, недоступний для хмарних систем ШІ