Запуск крупных моделей ИИ обычно означает аренду чужого оборудования, принятие чужих цен и надежду на то, что модель, от которой вы зависите, не изменится тихо за одну ночь. Mesh LLM построен на другой предпосылке: распределённые вычисления ИИ на машинах, которые вы уже используете, могут заменить всю эту схему — и предоставить к ней доступ через единый, знакомый API.
Summary
Ключевые выводы
- Mesh LLM объединяет GPU и память нескольких машин в единую распределённую вычислительную сеть ИИ, доступную через один совместимый с OpenAI API по адресу localhost:9337/v1.
- Модели могут запускаться локально, перенаправляться на одноранговый узел или разбиваться между машинами с помощью конвейерного режима под названием «Skippy» — при этом клиент никогда не узнает разницы.
- Сеть опирается на конечные точки iroh, которые устанавливают аутентифицированные по открытым ключам, обходящие NAT соединения QUIC без необходимости в центральном сервере.
- Каталог моделей поставляется с более чем 40 моделями, от моделей с числом параметров менее миллиарда до архитектур mixture-of-experts с 235 миллиардами параметров.
- Поддерживаются как участие в публичной сети, так и частные развёртывания; в разработке находится мобильное приложение на базе Swift SDK iroh.
Mesh LLM обеспечивает распределённые вычисления ИИ с объединёнными GPU
Основная идея обманчиво проста. Mesh LLM объединяет GPU и память, находящиеся на стольких машинах, сколько вы захотите добавить — рабочая станция в одной комнате, сервер в другой, машина через офис — и представляет всё это как единую вычислительную поверхность. Клиентским приложениям, подключающимся к ней, не требуется никакой перенастройки.
Это важно, потому что оборудование уже существует. Команды, запускающие рабочие нагрузки ИИ, часто имеют GPU, распределённые по офисам, под столами и в небольших серверных. То, чего не хватало, — это слоя, который заставил бы эти машины вести себя как одна.
Абстракция API, совместимого с OpenAI
Интерфейс, который предоставляет Mesh LLM, намеренно знаком. Любой клиент, совместимый с OpenAI, может указать http://localhost:9337/v1 и отправлять запросы точно так же, как к облачному сервису. С точки зрения клиента ничего не меняется. То, где фактически выполняется работа — локально, на одноранговой машине или распределённо по нескольким, — полностью скрыто.
Это осознанный выбор в дизайне. Он означает, что существующие инструменты, рабочие процессы и интеграции не нужно переписывать. Распределённая природа сети остаётся деталью реализации, о которой клиенту не приходится задумываться.
Гибкие режимы выполнения, включая конвейер «Skippy»
Когда поступает запрос, Mesh LLM может обработать его тремя способами. Он может запустить модель локально на GPU принимающей машины, перенаправить запрос на одноранговый узел, на котором целевая модель уже загружена, или — для моделей, слишком больших для одной машины, — разбить нагрузку по нескольким узлам последовательно. Этот третий путь называется режимом «Skippy».
Как Skippy разбивает крупные модели между машинами
Skippy делит модель по диапазонам слоёв на конвейерные стадии: слои с 0 по 15 могут выполняться на одном узле, с 16 по 31 — на следующем и так далее по цепочке. Активации передаются от стадии к стадии по сети. Практический результат в том, что кластер скромных машин может совместно запускать модель, которую ни одна из них не смогла бы удержать в памяти в одиночку.
Здесь становится очевиден архитектурный замысел Mesh LLM. Модель mixture-of-experts с 235 миллиардами параметров — это не то, что большинство команд может запустить на одном потребительском или полупрофессиональном GPU. Skippy делает возможной именно такую попытку — используя уже оплачиваемое и простаивающее оборудование. Характеристики задержки и пропускной способности такой конфигурации здесь не приводятся, но сама возможность представляет собой значимое расширение пределов, которых может достичь саморазвёртываемый ИИ.
Безопасная одноранговая сетевая архитектура с использованием конечных точек iroh
Не существует центрального сервера, координирующего сеть. Каждый узел запускает конечную точку iroh — открытый ключ, который служит и идентификатором узла, и его единственной сетевой поверхностью. На этой основе iroh обрабатывает hole-punching, обход NAT и резервный режим через ретранслятор, чтобы устанавливать прямые аутентифицированные соединения QUIC между любыми двумя узлами, где бы они ни находились.
Протоколы QUIC ALPN для разделения трафика
Стек протоколов намеренно сегментирован. Три отдельных идентификатора QUIC ALPN разделяют разные типы трафика:
- mesh-llm/1 — основной канал сети, передающий gossip, маршрутизацию, HTTP-туннели и события плагинов
- mesh-llm-control/1 — управляющая плоскость владельца, обрабатывающая синхронизацию конфигурации и подтверждение владения
- skippy-stage/2 — выделенный, чувствительный к задержкам транспорт для данных активаций, передаваемых между стадиями конвейера
Внутри основного соединения каждый поток помечается ведущим байтом, который определяет его тип — gossip, проксирование инференса, запросы маршрутов, события жизненного цикла одноранговых узлов, каналы RPC плагинов и многое другое — всё мультиплексируется поверх одного соединения. Эффектом является чистое разделение трафика без накладных расходов на отдельные соединения для каждой задачи.
Идентичность узлов и обход NAT
Чтобы поддерживать узлы, которые не могут напрямую связаться друг с другом через открытый интернет, Mesh LLM запускает два ретрансляционных сервера iroh в разных географических регионах. Узлы, которые могут установить прямые пути, делают это; те, которые не могут, всегда имеют поблизости резервный вариант. Иными словами, сетевая подсистема спроектирована так, чтобы «просто работать» — без необходимости в тщательной настройке брандмауэров или статической адресации.
То, что фактически даёт такая архитектура, — это своего рода сетевое единообразие. Независимо от того, направляется ли запрос на localhost или передаёт активации по конвейеру Skippy на машину на другом континенте, базовый примитив один и тот же: аутентифицированное соединение QUIC, адресуемое по открытому ключу. Сложность физической топологии скрывается за единообразной абстракцией.
Каталог моделей от масштабов ноутбука до гигантов с 235 млрд параметров
Mesh LLM поставляется с более чем 40 моделями «из коробки». Диапазон простирается от моделей с половиной миллиарда параметров, достаточно маленьких, чтобы запускаться на ноутбуке, до архитектур mixture-of-experts с 235 миллиардами параметров на верхнем уровне. Архитектура плагинопригодна: плагины объявляют свои возможности в манифесте, а среда выполнения маршрутизирует вызовы и предоставляет возможности через MCP, HTTP, инференс и события сети.
Практическое следствие в том, что пользователям не нужно отдельно искать и настраивать модели, чтобы начать работу. Каталог охватывает весь спектр сценариев — от лёгкого, быстрого инференса на скромном оборудовании до крупномасштабных нагрузок, распределённых по сети.
Распределённые вычисления как контрдвижение
Дизайн Mesh LLM существует на фоне заметной тенденции: централизованная инфраструктура ИИ сталкивается с реальным трением. Майский опрос показал, что более 70 процентов американцев выступают против строительства новых дата-центров рядом с их сообществами, ссылаясь на загрязнение, шум и энергопотребление и расход воды. Компания Sunrun, занимающаяся солнечной энергетикой и домашними энергосистемами, недавно запустила пилотную программу по размещению небольших вычислительных узлов в домах клиентов, стремясь продавать эту распределённую вычислительную мощность корпоративным покупателям ИИ — признак того, что сама отрасль ищет альтернативы крупным, консолидированным дата-центрам.
Mesh LLM подходит к тому же давлению с другой стороны. Вместо того чтобы строить новую распределённую инфраструктуру с нуля, он активирует уже существующие вычислительные ресурсы — GPU, которыми команды владеют, но не могут полноценно воспользоваться, потому что их не связывал единый слой. Акцент на устранении привязки к центральным провайдерам, снижении затрат и сохранении контроля пользователя над тем, где запускаются модели и куда идут данные, отражает реальный пробел в возможностях существующих облачных API.
Мобильное приложение на базе Swift SDK iroh находится в разработке, с планами поддерживать зарождающийся стандарт агентов ACP. Это позволит другим клиентам напрямую присоединяться к сети, усиливая сетевые эффекты каждого нового узла. Долгосрочное направление ясно: больше однорангового выполнения, меньше посредников и открытый стандарт для взаимодействия агентов, который не проходит через чей-либо центральный сервер.
FAQ
Как Mesh LLM обеспечивает распределённые вычисления ИИ?
Mesh LLM объединяет GPU и память нескольких машин в сетевую структуру (mesh), а затем предоставляет весь этот распределённый контур как единый API, совместимый с OpenAI. Клиенты подключаются к localhost:9337/v1 и взаимодействуют в обычном режиме, в то время как сеть решает, выполнять ли запросы локально, перенаправлять их на одноранговый узел или разбивать между машинами.
Какие режимы выполнения моделей ИИ поддерживает Mesh LLM?
Модели могут запускаться локально на GPU машины, перенаправляться на одноранговый узел, на котором модель уже загружена, или разбиваться между несколькими машинами с использованием конвейерного режима «Skippy», при котором модель делится по диапазонам слоёв, а активации передаются от стадии к стадии по сети.
Как в Mesh LLM обеспечивается безопасная сетевая работа?
Каждый узел запускает конечную точку iroh, которая устанавливает аутентифицированные по открытым ключам соединения QUIC с обходом NAT и резервным ретранслятором, без опоры на центральный сервер. Два региональных ретранслятора iroh обеспечивают резервные пути для узлов, которые не могут подключиться напрямую.
Какие модели доступны через Mesh LLM?
Mesh LLM поставляется с более чем 40 моделями, от небольших моделей с половиной миллиарда параметров, подходящих для ноутбуков, до очень крупных моделей mixture-of-experts с 235 миллиардами параметров, предназначенных для многомашинных развёртываний в режиме Skippy.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Как Mesh LLM обеспечивает распределённые вычисления ИИ?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Mesh LLM объединяет GPU и память нескольких машин в сетевую структуру (mesh), а затем предоставляет весь этот распределённый контур как единый API, совместимый с OpenAI. Клиенты подключаются к localhost:9337/v1 и взаимодействуют в обычном режиме, в то время как сеть решает, выполнять ли запросы локально, перенаправлять их на одноранговый узел или разбивать между машинами.»}},{«@type»:»Question»,»name»:»Какие режимы выполнения моделей ИИ поддерживает Mesh LLM?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Модели могут запускаться локально на GPU машины, перенаправляться на одноранговый узел, на котором модель уже загружена, или разбиваться между несколькими машинами с использованием конвейерного режима «Skippy», при котором модель делится по диапазонам слоёв, а активации передаются от стадии к стадии по сети.»}},{«@type»:»Question»,»name»:»Как в Mesh LLM обеспечивается безопасная сетевая работа?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Каждый узел запускает конечную точку iroh, которая устанавливает аутентифицированные по открытым ключам соединения QUIC с обходом NAT и резервным ретранслятором, без опоры на центральный сервер. Два региональных ретранслятора iroh обеспечивают резервные пути для узлов, которые не могут подключиться напрямую.»}},{«@type»:»Question»,»name»:»Какие модели доступны через Mesh LLM?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Mesh LLM поставляется с более чем 40 моделями, от небольших моделей с половиной миллиарда параметров, подходящих для ноутбуков, до очень крупных моделей mixture-of-experts с 235 миллиардами параметров, предназначенных для многомашинных развёртываний в режиме Skippy.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
