24 червня Google Deepmind представила модель революційної робототехніки Gemini Robotics на пристрої, відзначаючи перший раз, коли модель може працювати повністю локально, не покладаючись на підключення до хмари. Ця модель візуальної мови (VLA), заснована на Gemini 2. 0 архітектурі, інтегрує візуальне розпізнавання, розуміння природною мовою та можливості генерації дій, що дозволяє роботам точно виконувати складні завдання, такі як складання одягу.
Технологічний прорив: стрибок у бік самостійності від хмари до краю
Робототехніка Gemini на пристрої досягає продуктивності, порівнянної з хмарними моделями на локальному обладнанні за допомогою легкої конструкції та оптимізації алгоритму, при цьому значно перевершуючи інші локальні рішення. Оснащений тактильними датчиками високої щільності та водонепроникною конструкцією IP67, він може працювати у воді глибиною до 1 метра протягом 30 хвилин, пристосовуючись до складних середовищ, таких як кухні та ванні кімнати. Що стосується мобільності, швидкість ходьби покращилася на 60% порівняно з попереднім поколінням, з точністю балансу, що конкурує з професійними гімнастами, та підтримкою співпраці з подвійною зброєю для виконання точних операцій, таких як промислові збори.
Екосистема розробників: Налаштування всього 50 демонстрацій
Як перша модель VLA з відкритою настройкою, робототехніка Gemini On-Device може швидко адаптуватися до нових сценаріїв із простою демонстрацією завдань 50-100, такими як завершення інструкції "Покладіть куб Rubik в подарунковий пакет" на робот Apollo Apollo Apptronik. Супровідна робототехніка SDK інтегрує симулятор фізики Mujoco, що дозволяє розробникам перевірити модель у віртуальному середовищі та отримати доступ через "надійну програму тестера". Ця ініціатива розглядається галуззю як "Android робототехніки", з можливістю сприяти об'єднанню обладнання та нижчих бар'єрів з розвитку галузі.
Сценарії застосування: узагальнення від фабрик до будинків
У промисловому секторі модель була адаптована для робота з подвійною рукою Franka FR3, що дозволяє використовувати такі завдання, як збірка конвеєра та перевірка якості. У домашніх умовах він може виконувати щоденні послуги, такі як приготування їжі та ходіння собаки за допомогою взаємодії з природною мовою, і навіть заздалегідь готувати сніданок на основі графіків користувачів. Зокрема, Google реалізував семантичні огляди безпеки через API Gemini Live та встановлювали сили дії та обмеження швидкості на апаратному рівні для створення багатошарової системи захисту безпеки.
Хоча в даний час розроблений на основі Gemini 2. 0, його основна команда вже почала інтегрувати підвищення продуктивності останніх Gemini 2.5, що потенційно прокладає шлях для подальших проривів у багатоетапних можливостях логічного планування. У міру того, як локалізовані моделі AI стають більш поширеними, індустрія робототехніки переходить від "хмарної залежності" до "краю інтелекту". Запуск робототехніки Gemini на пристрої позначає нову еру втіленого інтелекту, який надходить у масштабну заявку.