NVIDIA придает реальный вес своему призыву к открытым стандартам в сфере искусственного интеллекта, и ее последний шаг показывает, насколько далеко это стремление теперь распространяется на робототехнику, беспилотные автомобили и машинное зрение. В июле производитель чипов присоединился к более чем 200 компаниям и организациям, подписавшим открытое письмо под названием «Open Weights and American AI Leadership», в котором утверждается, что лидерство в ИИ следует оценивать по тому, насколько широко открытые системы распространяются во всех отраслях, а не по одному флагманскому модулю. Развивая это обязательство, NVIDIA представила Cosmos 3 — новое семейство открытых моделей физического ИИ, предназначенных для того, чтобы помочь машинам понимать и предсказывать, что происходит в реальном мире, а не просто описывать то, что видит камера.
Summary
Ключевые выводы
- NVIDIA присоединилась к более чем 200 компаниям и организациям, поддержавшим открытое письмо, продвигающее открытые экосистемы ИИ.
- NVIDIA Cosmos 3 — это новая открытая базовая модель физического ИИ, построенная на архитектуре mixture-of-transformers.
- Семейство Cosmos 3 включает три размера: Super (64B), Nano (16B) и Edge (4B), каждый из которых ориентирован на разные потребности в развертывании.
- Cosmos 3 занимает 1-е место в нескольких независимых бенчмарках, включая Artificial Analysis, PAIBench, Physics-IQ, RoboLab и VANTAGE-Bench.
- Компании в области робототехники, автономных транспортных средств и vision AI, а также расширяющаяся NVIDIA Cosmos Coalition уже создают решения на основе этого семейства моделей.
NVIDIA присоединяется к продвижению открытых экосистем физического ИИ
Открытый доступ к весам моделей — это то, что позволяет разработчикам действительно строить решения поверх базовых моделей, а не просто арендовать к ним доступ. Решение NVIDIA подписать письмо «Open Weights and American AI Leadership» отражает более широкий аргумент, набирающий силу в отрасли: что ciò che consente a chiunque di scaricare, esaminare, personalizzare ed eseguire modelli aperti sulla propria infrastruttura è то, что изначально делает возможным широкое внедрение ИИ.
Этот принцип особенно важен в областях, где одна универсальная модель не может справиться с задачей. Физический ИИ, область искусственного интеллекта, работающая с роботами, автономными транспортными средствами и системами зрения, функционирующими в реальных условиях, как раз относится к таким областям. Каждое развертывание по сути является задачей специализации, поскольку складскому роботу, машине доставки и заводской камере нужно рассуждать о совершенно разных физических условиях. Открытые мировые модели дают инженерным командам гибкость адаптировать общую базу к каждому из этих очень разных сценариев, а не начинать с нуля каждый раз.
Чем физический ИИ отличается от других систем ИИ
Физический ИИ должен понимать и предсказывать последствия, а не просто распознавать внешние признаки. Это различие — основная причина существования мировых моделей: они обучаются тому, как ведут себя физические среды, предсказывают, что может произойти дальше, и определяют, какие действия имеют смысл с учетом этого прогноза.
На практике это означает, что мировая модель может генерировать физически обоснованные данные о том, как объекты движутся и взаимодействуют, моделировать будущие состояния среды и предоставлять разработчикам базу, которую затем можно дообучить для конкретного робота, беспилотного автомобиля или системы машинного зрения. Вместо того чтобы собирать огромные объемы реальных видеоданных для каждого нового сценария использования, команды могут опираться на симуляцию с помощью мировых моделей, чтобы генерировать синтетические обучающие данные и тестировать политики до того, как что-либо коснется реального мира. Библиотеки NVIDIA Omniverse, являющиеся частью Agent Toolkit, развивают это дальше, предоставляя готовые инструменты для создания сред, готовых к симуляции, в которых системы физического ИИ можно обучать, тестировать и верифицировать до развертывания в реальном мире.
Внутреннее устройство NVIDIA Cosmos 3, новой открытой базовой модели физического ИИ
Cosmos 3 является ответом NVIDIA на проблему фрагментации, которая долгое время замедляла развитие физического ИИ. Вместо того чтобы поддерживать отдельные модели для понимания сцен, генерации данных и предсказания действий, разработчики теперь могут полагаться на одно открытое семейство моделей, которое охватывает все три задачи. NVIDIA описывает Cosmos 3 как передовую открытую базовую omni-модель физического ИИ, построенную на архитектуре mixture-of-transformers, объединяющей визуальное рассуждение, генерацию миров и предсказание действий в одной системе.
Именно в этом и заключается гибкость. Разработчики могут использовать Cosmos 3 как визуально-языковую модель для интерпретации сцены, как основанный на физике симулятор мира, который предсказывает будущие состояния и генерирует крупномасштабные синтетические обучающие данные, или как основу для специализированных мировых моделей действий, созданных для конкретного робота или транспортного средства.
Варианты модели для любых потребностей в развертывании
Семейство Cosmos 3 представлено в трех размерах, каждый из которых нацелен на разный баланс между возможностями и аппаратными требованиями:
- Cosmos 3 Super (64B) предназначена для высокоточного моделирования мира.
- Cosmos 3 Nano (16B) оптимизирована для эффективного рассуждения и пост-обучения.
- Cosmos 3 Edge (4B) разработана для он-устройственного визуального рассуждения и развертывания политик роботов.
Cosmos 3 Edge достаточно легкая, чтобы работать на граничных GPU, и, по словам NVIDIA, может быть развернута на GPU NVIDIA RTX, системах NVIDIA DGX и оборудовании NVIDIA Jetson, включая платформу Jetson Thor. Этот диапазон важен для компаний, которым нужно выполнять инференс непосредственно на роботе или транспортном средстве, а не направлять все в дата-центр.
Лидерство в бенчмарках по различным задачам
По результатам независимых бенчмарк-оценок Cosmos 3 в настоящее время занимает 1-е место в Artificial Analysis среди открытых моделей весов для generazione da testo a immagine e da immagine a video, в PAIBench по генерации миров и в категории da immagine a video бенчмарка Physics-IQ. Per la politica dei robot tasks specifically, она возглавляет бенчмарк RoboLab. Cosmos 3 Super также является самой высоко оцененной открытой моделью в VANTAGE-Bench по пониманию визуальной информации, согласно NVIDIA.
Эти результаты позиционируют Cosmos 3 как настоящий ориентир для всех, кто создает открытые модели физического ИИ, а не как нишевый исследовательский релиз. Более широкая стек-экосистема физического ИИ NVIDIA дополняется Isaac GR00T для робототехники, Alpamayo для автономных транспортных средств и Metropolis для vision AI, что означает, что Cosmos 3 не работает в изоляции, а интегрируется с более широким набором инструментов, уже адаптированных к конкретным отраслям.
Отраслевое внедрение и NVIDIA Cosmos Coalition
Компании в области робототехники, автономных транспортных средств и vision AI уже создают решения на базе NVIDIA Cosmos, что говорит о том, что семейство моделей выходит за рамки демонстрационного этапа и входит в активные конвейеры разработки. В робототехнике среди перечисленных NVIDIA внедряющих компаний — Doosan Robotics, LG Electronics, Samsung Electronics и Skild AI. В области автономных транспортных средств с платформой работают Li Auto, Xiaomi и Afari. Для приложений vision AI, обеспечивающих промышленный мониторинг и системы «умных» пространств, в числе разработчиков, создающих решения на базе Cosmos, названы Centific, Fogsphere, Linker Vision, Milestone Systems и Yuan.
Почему это распространение сразу на три очень разные отрасли важно? Это признак того, что одна открытая базовая модель действительно может служить общей инфраструктурой, а не чем-то, что работает только для одного узкого сценария использования — и именно такой аргумент NVIDIA и ее соавторы выдвинули в открытом письме ранее в этом году.
NVIDIA Cosmos Coalition — это механизм, призванный поддерживать этот импульс. Он приносит riunendo costruttori di modelli mondiali, sviluppatori di IA e leader dell’IA fisica affinché forniscano modelli, ricerche e metodologie di valutazione обратно в открытую экосистему. Недавно NVIDIA расширила коалицию на Японию, где лидеры в области робототехники и производства намерены присоединиться и разрабатывать открытые мировые модели, адаптированные к фабрикам, логистике, сельскому хозяйству, строительству, здравоохранению и транспорту. В сочетании с уже идущим отраслевым внедрением это расширение свидетельствует о том, что открытое семейство моделей становится общей основой для физического ИИ, а не ставкой одной компании на проприетарное решение.
FAQ
Что такое открытые мировые модели и почему они важны?
Открытые мировые модели можно скачивать, изучать, изменять и запускать на любой инфраструктуре, что дает разработчикам необходимую степень кастомизации для специализации приложений физического ИИ под конкретного робота, транспортное средство или систему машинного зрения.
Чем физический ИИ отличается от других типов ИИ?
Физический ИИ требует понимания и предсказания последствий в реальных физических средах, а не просто интерпретации внешнего вида, как это делает типичная модель компьютерного зрения.
Какие существуют варианты NVIDIA Cosmos 3 и для чего они используются?
Cosmos 3 Super (64B) предназначена для высокоточного моделирования мира, Cosmos 3 Nano (16B) разработана для эффективного рассуждения и пост-обучения, а Cosmos 3 Edge (4B) рассчитана на легковесное развертывание на граничных GPU, включая роботов на аппаратной платформе Jetson Thor.
Как NVIDIA Cosmos Coalition поддерживает развитие физического ИИ?
Она способствует сотрудничеству между создателями мировых моделей и разработчиками ИИ по всему миру и недавно расширилась, включив лидеров в области робототехники и производства в Японии, которые планируют разрабатывать открытые мировые модели для секторов от логистики до здравоохранения.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Что такое открытые мировые модели и почему они важны?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Открытые мировые модели можно скачивать, изучать, изменять и запускать на любой инфраструктуре, что дает разработчикам необходимую степень кастомизации для специализации приложений физического ИИ под конкретного робота, транспортное средство или систему машинного зрения.»}},{«@type»:»Question»,»name»:»Чем физический ИИ отличается от других типов ИИ?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Физический ИИ требует понимания и предсказания последствий в реальных физических средах, а не просто интерпретации внешнего вида, как это делает типичная модель компьютерного зрения.»}},{«@type»:»Question»,»name»:»Какие существуют варианты NVIDIA Cosmos 3 и для чего они используются?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Cosmos 3 Super (64B) предназначена для высокоточного моделирования мира, Cosmos 3 Nano (16B) разработана для эффективного рассуждения и пост-обучения, а Cosmos 3 Edge (4B) рассчитана на легковесное развертывание на граничных GPU, включая роботов на аппаратной платформе Jetson Thor.»}},{«@type»:»Question»,»name»:»Как NVIDIA Cosmos Coalition поддерживает развитие физического ИИ?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Она способствует сотрудничеству между создателями мировых моделей и разработчиками ИИ по всему миру и недавно расширилась, включив лидеров в области робототехники и производства в Японии, которые планируют разрабатывать открытые мировые модели для секторов от логистики до здравоохранения.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
