NVIDIA выпустила Cosmos 3 Edge — открытый мировой модель с 4 миллиардами параметров, созданную для того, чтобы обеспечить уровень ИИ-рассуждений, сопоставимый с дата-центрами, непосредственно на роботах и пограничных устройствах, работающих на заводах, в складах, больницах и за их пределами. Модель, теперь доступная на Hugging Face, предназначена для того, чтобы помогать роботам и агентам компьютерного зрения понимать окружение, рассуждать в реальном времени и генерировать физические действия — без необходимости отправлять вычисления обратно в облако.
Summary
Ключевые выводы
- Cosmos 3 Edge — это открытый мировой модель с 4 миллиардами параметров для робототехники и систем компьютерного зрения на пограничных устройствах, выпущенная NVIDIA на Hugging Face.
- Она обеспечивает управление роботами в реальном времени на частоте 15 Гц, генерируя 32 действия за один вывод на NVIDIA Jetson Thor.
- Модель сочетает две трансформерные башни — авторегрессионную и диффузионную — которые разделяют мультимодальные слои внимания для унифицированного рассуждения и генерации действий.
- Она занимает 1-е место в VANTAGE-Bench по аналитике изображений среди моделей с 4 млрд параметров и лидирует в обучении политик для роботов.
- Специализированная модель политик, Cosmos 3 Edge Policy (DROID), доступна для задач захвата и перемещения объектов роботами, при этом тонкая настройка поддерживается на H100 или кластерах NVIDIA DGX.
NVIDIA запускает Cosmos 3 Edge для робототехники и компьютерного зрения на периферии
Ключевая проблема для машин, развернутых на периферии, всегда была одной и той же: ограниченная память, ограниченные вычислительные ресурсы, но реальные требования, которые не замедляются. Cosmos 3 Edge — ответ NVIDIA на этот разрыв. По словам адвоката разработчиков NVIDIA Пранджали Джоши, модель оптимизирована для энергоэффективного по памяти, высокопроизводительного вывода на широком спектре периферийного оборудования NVIDIA — включая недавно анонсированные модули NVIDIA Jetson T2000 и T3000, NVIDIA Jetson Thor, NVIDIA RTX PRO GPU, NVIDIA DGX и NVIDIA GeForce RTX GPU.
Такая широкая совместимость по оборудованию имеет значение. Большинство внедрений периферийного ИИ ограничены не амбициями, а тем, что локальное оборудование действительно способно запустить. Модель, которая масштабируется от компактных модулей Jetson до полноценных систем DGX, дает разработчикам единый фреймворк для работы по широкому спектру вариантов развертывания.
Показатели производительности в реальном времени, которые имеют значение
Приводимые NVIDIA показатели производительности примечательны. На NVIDIA Jetson Thor Cosmos 3 Edge генерирует 32 действия за один вывод, поддерживая при этом управление роботом в реальном времени на частоте 15 Гц. Для робототехнических приложений, где разница между плавным движением и дерганым сбоем часто сводится к задержке вывода, достижение 15 Гц на периферийном модуле является значимым порогом. Среди моделей с 4 млрд параметров она занимает первое место в VANTAGE-Bench по аналитике изображений и демонстрирует передовую производительность в обучении политик для роботов.
Инновационная архитектура модели: две трансформерные башни, одно общее представление
Отличительной особенностью Cosmos 3 Edge от стандартной модели «зрение-язык» является ее двухбашенная трансформерная архитектура. Модель сочетает авторегрессионную башню и диффузионную башню, каждая из которых обрабатывает разные модальности, но при этом они разделяют мультимодальные слои внимания, выравнивающие информацию по языковым, видео-, аудио- и данным действий.
Авторегрессионная башня обрабатывает визуальные и текстовые токены для понимания и рассуждения. Диффузионная башня обрабатывает визуальные, аудио- и токены действий для предсказания, генерации и того, что NVIDIA называет нейронной симуляцией. Две башни поддерживают отдельные слои нормализации и многослойные перцептроны, но именно в общих слоях внимания происходит интеграция — модель вынуждена построить единое целостное представление сцены, прежде чем решить, что делать дальше.
Общее геометрическое векторное представление для физических действий
Одна из наиболее технически отличительных особенностей — то, как модель обрабатывает физические действия для различных воплощений роботов. Роботизированная рука движется иначе, чем колесное транспортное средство или камера, и большинство моделей рассматривают это как отдельные задачи. Cosmos 3 Edge отображает все их в общее компактное геометрическое векторное представление — кодируя действия таким образом, чтобы последовательно отражать пространственные отношения и управляющие воздействия для разных типов воплощений.
Такой дизайн создает прямую связь между пиксельными визуальными изменениями и физическим движением. Сгенерированное видео перестает быть просто визуальным предсказанием и становится представлением того, как ожидается изменение мира в ответ на конкретное действие. Для разработчиков, создающих конвейеры обучения, это означает синтетические данные, основанные на движении, причине и управлении, а не только на визуальном облике.
Применения и расширения: модели политик и инструменты для разработчиков
Помимо базовой модели, NVIDIA выпускает Cosmos 3 Edge Policy (DROID) — политику манипуляции роботом, дообученную на датасете DROID и нацеленную на задачи захвата и перемещения объектов. Она поставляется с скриптами постобучения, предоставляя разработчикам конкретную отправную точку для адаптации модели к собственным рабочим процессам манипуляции.
Постобучение, кастомизация и ресурсы для разработчиков
Разработчики, которые хотят зайти дальше, могут выполнить тонкую настройку Cosmos 3 Edge на небольшом кластере GPU H100 или на NVIDIA DGX Station. NVIDIA также выпускает эталонные постобученные контрольные точки и рецепты обучения вместе с весами базовой модели, включая контрольную точку Cosmos 3 Super 4-Step Distillation, которая сокращает диффузионный вывод с 35–50 шагов денойзинга до всего лишь 4, обеспечивая до 25-кратного ускорения вывода для задач генерации изображений и видео без потери качества результата.
Стоит отметить и более широкий экосистемный подход. Выпуская открытые веса, скрипты обучения и эталонные контрольные точки вместе, NVIDIA позиционирует Cosmos 3 Edge не просто как отдельную модель, а как основу для адаптированных к домену мировых моделей. Разработчики могут дообучать ее на специализированных данных, дистиллировать для ускорения или развертывать как есть — все в рамках одного открытого фреймворка, доступного на Hugging Face.
Лидерство в бенчмарках и что будет дальше
Рейтинг NVIDIA VANTAGE-Bench помещает Cosmos 3 Edge на вершину своего весового класса по аналитике изображений, а заявленная производительность в обучении политик для роботов добавляет конкурентный вес в области, где большинство периферийных моделей либо отдают приоритет пониманию визуальной информации, либо управлению — но не обоим одновременно.
Смотрясь вперед, NVIDIA обозначила планы по развитию Cosmos 3 для того, что она называет Physical AI, с предстоящими улучшениями, охватывающими интерактивную генерацию миров, симуляцию сценариев вождения и более широкие политики для робототехники. Дорожная карта также включает оптимизацию контрольных точек Cosmos 3 с использованием открытых фреймворков вывода, включая vLLM, ускоренное постобучение на более широком спектре оборудования и дополнительные инструменты для разработчиков.
Это направление сигнализирует о чем-то большем, чем просто выпуск одной модели. По мере того как периферийное оборудование становится более мощным, а внедрение робототехники масштабируется в промышленных средах, спрос на компактные, развертываемые мировые модели будет только расти. Модель, которая рассуждает о причине и следствии, симулирует физические последствия и генерирует управляющие действия — все на периферии, на частоте 15 Гц — начинает выглядеть не как исследовательский рубеж, а как производственная инфраструктура.
FAQ
Что такое NVIDIA Cosmos 3 Edge?
Cosmos 3 Edge — это открытый мировой модель с 4 миллиардами параметров, выпущенная NVIDIA, которая позволяет роботам и агентам компьютерного зрения понимать свое окружение, рассуждать и генерировать физические действия в реальном времени на пограничных устройствах.
Какое оборудование поддерживает Cosmos 3 Edge для вывода?
Модель поддерживает энергоэффективный по памяти, высокопроизводительный вывод на широком спектре периферийного оборудования NVIDIA, включая модули NVIDIA Jetson T2000, T3000 и Thor, NVIDIA RTX PRO GPU, NVIDIA DGX и NVIDIA GeForce RTX GPU.
Как Cosmos 3 Edge обеспечивает управление роботами в реальном времени?
На NVIDIA Jetson Thor модель генерирует 32 действия за один вывод и поддерживает управление роботом на частоте 15 Гц, обеспечивая рассуждение и физический контроль в реальном времени без зависимости от облачных вычислений.
Могут ли разработчики настраивать Cosmos 3 Edge под свои задачи?
Да. Разработчики могут выполнять тонкую настройку модели, используя небольшой кластер GPU H100 или NVIDIA DGX Station, а NVIDIA предоставляет эталонные постобученные контрольные точки и рецепты обучения, чтобы помочь адаптировать модель к пользовательским нагрузкам и специализированным приложениям.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Что такое NVIDIA Cosmos 3 Edge?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Cosmos 3 Edge — это открытый мировой модель с 4 миллиардами параметров, выпущенная NVIDIA, которая позволяет роботам и агентам компьютерного зрения понимать свое окружение, рассуждать и генерировать физические действия в реальном времени на пограничных устройствах.»}},{«@type»:»Question»,»name»:»Какое оборудование поддерживает Cosmos 3 Edge для вывода?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Модель поддерживает энергоэффективный по памяти, высокопроизводительный вывод на широком спектре периферийного оборудования NVIDIA, включая модули NVIDIA Jetson T2000, T3000 и Thor, NVIDIA RTX PRO GPU, NVIDIA DGX и NVIDIA GeForce RTX GPU.»}},{«@type»:»Question»,»name»:»Как Cosmos 3 Edge обеспечивает управление роботами в реальном времени?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»На NVIDIA Jetson Thor модель генерирует 32 действия за один вывод и поддерживает управление роботом на частоте 15 Гц, обеспечивая рассуждение и физический контроль в реальном времени без зависимости от облачных вычислений.»}},{«@type»:»Question»,»name»:»Могут ли разработчики настраивать Cosmos 3 Edge под свои задачи?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Да. Разработчики могут выполнять тонкую настройку модели, используя небольшой кластер GPU H100 или NVIDIA DGX Station, а NVIDIA предоставляет эталонные постобученные контрольные точки и рецепты обучения, чтобы помочь адаптировать модель к пользовательским нагрузкам и специализированным приложениям.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
