Новая модель ИИ под названием Robostral Navigate бросает вызов давнему предположению в робототехнике: что надежная автономная навигация требует дорогого оборудования с большим количеством датчиков. Модель на 8 млрд параметров, разработанная командой из AI Science Robotics, достигает передового уровня навигации роботов с одной камерой, используя не более чем обычную RGB‑камеру и инструкцию на естественном языке — без LiDAR, без датчиков глубины, без многокамерных установок.
Summary
Ключевые выводы
- Robostral Navigate — это модель ИИ на 8 млрд параметров, которая управляет навигацией роботов, используя только одну RGB‑камеру и инструкции на естественном языке.
- Она достигает 76,6% успешных выполнений на бенчмарке R2R-CE validation unseen, превосходя лучшие однокамерные методы на 9,7 пункта и системы с глубиной/несколькими камерами на 4,5 пункта.
- Модель использует основанный на указании подход для предсказания целевых местоположений по координатам изображения, с резервным переходом к смещениям в локальной системе координат, когда цель находится вне поля зрения.
- Техника обучения с кешированием префиксов сокращает количество обучающих токенов в 22 раза, сжимая многомесячные запуски обучения до нескольких дней.
- Обучение с подкреплением после основного обучения с помощью алгоритма CISPO улучшило показатель успешности модели еще на 3,2%.
Robostral Navigate продвигает навигацию роботов с одной камерой
Robostral Navigate переосмысливает, что на самом деле нужно модели навигации, чтобы работать. В то время как конкурирующие системы опираются на датчики глубины или массивы камер для построения карты окружения, эта модель обрабатывает поток стандартных RGB‑изображений вместе с текстовой инструкцией — и соответственно перемещается в пространстве. Команда, стоящая за ней, включая исследователей Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh и Olivier Duchenne из AI Science Robotics, создала всю модель целиком внутри компании, не полагаясь на существующие открытые модели «зрение + язык».
Этот конструкторский выбор имеет реальные последствия для внедрения. Более простые требования к датчикам означают более низкую стоимость оборудования, более легкую интеграцию на разных типах роботов и меньше точек отказа в сенсорном стеке.
Подход к навигации через указание и резервные смещения
Ключевое новшество — то, что команда называет навигацией на основе указания. Вместо того чтобы выдавать метрические команды смещения вроде «двигайся на 0,5 метра вперед», Robostral Navigate выводит координаты изображения целевого местоположения в текущем поле зрения камеры робота — по сути «указывает», куда нужно попасть, — вместе с желаемой ориентацией по прибытии.
Такой подход делает политику естественно устойчивой к изменениям внутренних параметров камеры и различиям в масштабе мира, поскольку она рассуждает о пунктах назначения в визуальных терминах, а не в фиксированных метрических единицах. Пример инструкции, которую модель может выполнить: «Выйди из вестибюля, пройди по коридору, войди в кладовую и остановись, повернувшись к второй полке».
Когда цель находится вне текущего поля зрения камеры, указание просто неприменимо. В таких случаях модель переходит к смещениям в локальной системе координат — командам вроде «двигайся на 2 метра вперед, на 1,5 метра влево и повернись на 25 градусов влево». Двухрежимный дизайн позволяет модели обрабатывать широкий спектр реальных сценариев навигации без наращивания сенсоров.
Лидирующая на бенчмарке производительность на R2R-CE validation
Цифры — то место, где Robostral Navigate демонстрирует свои самые сильные стороны. На бенчмарке R2R-CE (Room-to-Room in Continuous Environments) — стандартном тесте на следование навигационным инструкциям в средах, не использовавшихся при обучении, — модель достигает 76,6% успешных выполнений на validation unseen и 79,4% на validation seen.
Превосходство над однокамерными и многосенсорными системами
Эти результаты ставят ее выше любой сопоставимой системы, представленной на бенчмарке. Robostral Navigate обходит лучший однокамерный подход на 9,7 пункта и превосходит лучшую систему, использующую датчики глубины или несколько камер, на 4,5 пункта — несмотря на то, что сама не использует ни то, ни другое.
Отрыв от многосенсорных систем заслуживает особого внимания. Камеры глубины и LiDAR‑установки представляют собой значительные капитальные вложения; модель, которая превосходит их, используя один RGB‑поток, не просто выигрывает бенчмарк — она меняет представление о том, каков минимально жизнеспособный набор оборудования для коммерческого развертывания роботов.
Инновационные методы обучения и обучения с подкреплением
Достижение таких показателей потребовало решения проблемы эффективности обучения. Модели навигации учатся на последовательных историях наблюдений — длинных эпизодах изображений, действий и результатов, — которые обычно требуют огромных вычислительных ресурсов для обработки. Команда Robostral Navigate решила это с помощью алгоритма обучения с кешированием префиксов, основанного на древовидной стратегии маскирования внимания.
Эффективное контролируемое обучение с кешированием префиксов
Метод сжимает весь эпизод навигации в одну последовательность, позволяя обучаться по всем временным шагам за один прямой проход, при этом предотвращая утечку информации между шагами. По сравнению с обучением по одному примеру на временной шаг такой подход сокращает количество обучающих токенов в 22 раза, сохраняя все обучающие сигналы. На практике это превращает запуски обучения, которые заняли бы месяцы, в запуски, завершающиеся за дни — существенное операционное преимущество для масштабной итерации над ИИ для робототехники.
Сами обучающие данные были полностью сгенерированы в симуляции, примерно по 400 000 траекторий, собранных из 6 000 сцен, что позволило быстро проводить итерации без затрат и сложности, связанных с физическим сбором данных.
Прирост производительности с помощью онлайн‑обучения с подкреплением CISPO
После контролируемого обучения команда применила CISPO, онлайн‑алгоритм обучения с подкреплением, чтобы еще больше повысить производительность. В то время как стандартное клонирование поведения может страдать от сдвига распределения — модель при развертывании сталкивается со сценариями, отличающимися от обучающих данных, — CISPO позволяет модели учиться на пробах и ошибках, восстанавливаться после неудач и развивать исследовательское поведение.
Этот второй этап обучения добавил 3,2% к показателю успешности. Команда отмечает, что не наблюдает плато в производительности, что говорит о том, что дальнейшие запуски обучения, вероятно, еще больше повысят показатели. Применение постобучающих методов RL, знакомых по разработке больших языковых моделей, к воплощенному ИИ для навигации — стратегически значимый шаг: он сигнализирует, что отточенный для LLM инженерный подход теперь переносится на управление физическими роботами.
Обобщение на разные типы роботов и дальнейшее развитие
Robostral Navigate работает на колесных, шагающих и летающих роботах и обобщается на разные размеры роботов и конфигурации камер. Модель также устойчива к различиям во внутренних параметрах камеры, что означает, что ее не нужно перекалибровывать под каждую новую аппаратную конфигурацию — практическое требование для любой системы, нацеленной на широкое коммерческое внедрение.
Целевые области применения охватывают производство, доставку, логистику и сферу гостеприимства. Команда рассматривает навигацию как базовую способность для роботов общего назначения и позиционирует Robostral Navigate как первый шаг к единому воплощенному агенту, а не как завершенный продукт.
AI Science Robotics активно расширяет свою команду по робототехнике и нанимает научных сотрудников и инженеров, специализирующихся на воплощенном ИИ для навигации, что свидетельствует о том, что дорожная карта развития выходит далеко за рамки этого первоначального релиза.
FAQ
Какие датчики использует Robostral Navigate для навигации робота?
Robostral Navigate использует только одну RGB‑камеру и не полагается на LiDAR или датчики глубины.
Насколько хорошо Robostral Navigate работает по сравнению с другими моделями навигации?
Она достигает 76,6% успешных выполнений на бенчмарке R2R-CE validation unseen, превосходя лучшие однокамерные методы на 9,7 пункта и системы с глубиной/несколькими камерами на 4,5 пункта.
Как Robostral Navigate справляется с задачами навигации, когда цель не видна в поле зрения камеры?
Когда цель находится вне текущего поля зрения камеры, модель использует команды смещения в локальной системе координат робота как резервный метод навигации.
Какие методы обучения улучшают навигационную производительность Robostral Navigate?
Модель использует эффективный метод контролируемого обучения с кешированием префиксов, который сокращает количество обучающих токенов в 22 раза, а затем дополнительно улучшает результаты с помощью онлайн‑обучения с подкреплением по алгоритму CISPO, что добавило 3,2% к показателю успешности.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Какие датчики использует Robostral Navigate для навигации робота?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Robostral Navigate использует только одну RGB‑камеру и не полагается на LiDAR или датчики глубины.»}},{«@type»:»Question»,»name»:»Насколько хорошо Robostral Navigate работает по сравнению с другими моделями навигации?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Она достигает 76,6% успешных выполнений на бенчмарке R2R-CE validation unseen, превосходя лучшие однокамерные методы на 9,7 пункта и системы с глубиной/несколькими камерами на 4,5 пункта.»}},{«@type»:»Question»,»name»:»Как Robostral Navigate справляется с задачами навигации, когда цель не видна в поле зрения камеры?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Когда цель находится вне текущего поля зрения камеры, модель использует команды смещения в локальной системе координат робота как резервный метод навигации.»}},{«@type»:»Question»,»name»:»Какие методы обучения улучшают навигационную производительность Robostral Navigate?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Модель использует эффективный метод контролируемого обучения с кешированием префиксов, который сокращает количество обучающих токенов в 22 раза, а затем дополнительно улучшает результаты с помощью онлайн‑обучения с подкреплением по алгоритму CISPO, что добавило 3,2% к показателю успешности.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
