Недавнее рецензируемое исследование, проведенное io.net, пролило свет на тихую революцию в мире искусственного интеллекта: использование потребительских GPU для резкого снижения затрат на AI.
Опубликованное и принятое на престижной 6th International Artificial Intelligence and Blockchain Conference (AIBC 2025) исследование «Idle Consumer GPUs as a Complement to Enterprise Hardware for LLM Inference» представляет собой первый открытый бенчмарк гетерогенных кластеров GPU, протестированных непосредственно на децентрализованном облаке io.net.
Содержание
Суть исследования: RTX 4090 против H100
В центре анализа находится сравнение между потребительскими GPU, такими как популярная Nvidia RTX 4090, и мощными корпоративными GPU, в частности H100.
Результаты впечатляют: конфигурации из четырех RTX 4090 достигают от 62% до 78% вычислительной мощности H100, но примерно за половину эксплуатационных затрат. С точки зрения экономической эффективности, стоимость за миллион токенов составляет от $0.111 до $0.149, с уменьшением до 75% для пакетных рабочих нагрузок или с допуском к задержке.
Эффективность и устойчивость: возможный баланс
Хотя H100 остаются более энергоэффективными — примерно в 3,1 раза на каждый обработанный токен — исследование подчеркивает часто упускаемый из виду аспект: использование неактивных потребительских GPU позволяет продлить срок службы оборудования и сократить выбросы углерода, особенно если использовать электрические сети, богатые возобновляемыми источниками энергии. Таким образом, устойчивость перестает быть далекой мечтой и становится реальной возможностью для тех, кто разрабатывает и управляет инфраструктурами AI.
Hybrid Routing: ключ к оптимизации затрат и производительности
По словам Aline Almeida, руководителя исследовательского отдела в IOG Foundation и главного автора исследования, идеальное решение заключается не в выборе между корпоративными или потребительскими GPU, а в использовании гетерогенной инфраструктуры:
«Гибридная маршрутизация между корпоративными и потребительскими GPU предлагает прагматичный баланс между производительностью, затратами и устойчивостью».
Эта стратегия позволяет организациям адаптироваться к своим требованиям по задержке и бюджету, одновременно снижая воздействие на окружающую среду.
Практическое применение: где потребительские GPU имеют значение
Исследование подчеркивает, что потребительские GPU особенно подходят для:
- Разработка и тестирование моделей AI
- Batch processing и задачи с допуском к задержке
- Избыточная мощность для управления пиковыми нагрузками
- Исследования и среды разработки
- Чат-стриминг и встраивание, где допустимы задержки от 200 до 500 мс
Напротив, корпоративные GPU, такие как H100, остаются непревзойденными для приложений в реальном времени, поддерживая задержку менее 55 миллисекунд даже при высокой нагрузке.
Будущее вычислений AI — распределенное и доступное
Для Гаурава Шармы, генерального директора io.net, это исследование подтверждает видение компании:
“Рецензируемый анализ подтверждает нашу основную тезу: будущее вычислений будет распределенным, разнородным и доступным. Используя как оборудование дата-центров, так и потребительское оборудование, мы можем демократизировать доступ к передовой инфраструктуре ИИ, делая её также более устойчивой”.
io.net: глобальная платформа для децентрализованного ИИ
С самой большой в мире сетью распределенных GPU и высокопроизводительными вычислениями по запросу, io.net позиционируется как платформа выбора для разработчиков и организаций, которые хотят обучать модели, управлять агентами и масштабировать инфраструктуры LLM. Интеграция программируемости io.cloud и API-инструментария io.intelligence предлагает полный экосистему для AI-стартапов любого размера.
Ключевые моменты исследования
- Конфигурации RTX 4090: 4 GPU достигают 62-78% мощности H100 при половинной стоимости, с лучшим соотношением цена/производительность на миллион токенов.
- Задержка: H100 гарантирует время менее 55 мс даже при высоких нагрузках; потребительские GPU идеальны для нагрузок, которые допускают задержки от 200 до 500 мс.
- Устойчивость: Использование неактивных потребительских GPU снижает выбросы углерода и продлевает срок службы оборудования.
- Гибкость: Гетерогенная инфраструктура позволяет оптимизировать затраты и производительность в зависимости от конкретных потребностей.
Новая эра в развитии ИИ
Исследование io.net знаменует собой поворотный момент для тех, кто работает в сфере искусственного интеллекта. Благодаря интеграции потребительских и корпоративных GPU, теперь возможно создавать мощные, экономичные и устойчивые инфраструктуры без значительных компромиссов в производительности. Это возможность, которая обещает демократизировать ИИ, делая его доступным для все большего числа разработчиков и организаций по всему миру.




