Создание надежного морского ИИ-агента оказывается гораздо больше связано с проектированием системы, чем с выбором модели. Это главный вывод, который Skylight сделал при разработке Shippy — ИИ-агента, специально созданного для работы в режиме реального времени в области морской ситуационной осведомлённости, где неверный ответ не просто раздражает пользователя, а может увести патрульное судно на мили от курса, истощить ограниченные ресурсы и потенциально подвергнуть опасности персонал.
Summary
Ключевые выводы
- Shippy — это ИИ-агент, созданный Skylight для морской ситуационной осведомлённости в реальном времени, который обеспечивает запросы по поведению судов, границам ИЭЗ и МПА, а также по трекам судов.
- Его архитектура построена вокруг трёх компонентов: душа (системный промпт), навыки (обработка задач) и конфиг (настройки времени выполнения, включая использование Claude Opus 4.6).
- Shippy взаимодействует с API Skylight через специально созданный детерминированный CLI, устраняя шаблоны ошибок, которые возникали, когда модель формировала сырые вызовы API напрямую.
- Каждая пользовательская сессия запускается в выделенной песочнице Kubernetes, предоставляемой Mothership, что обеспечивает полную изоляцию данных между сотнями государственных и НПО-клиентов Skylight.
- Оценка основана на фреймворке задач и рубрик с LLM-судьёй, оценивающим ответы по сравнению с живыми данными — это сознательный отход от статических бенчмарков.
Почему морская ситуационная осведомлённость повышает планку надёжности
Большинство ИИ-инструментов работают в средах, где посредственный ответ лишь бесполезен. Морские операции — другое дело. Skylight обслуживает сотни государственных агентств и НПО в более чем 70 странах, от контроля рыболовства до мониторинга природоохранных территорий. Когда аналитик в таком контексте спрашивает, не работают ли суда незаконно внутри морской охраняемой акватории, цена галлюцинирующего или неточного ответа становится немедленной и операционной.
Этот контекст определял каждое архитектурное решение в Shippy. Вопрос, к которому команда Skylight постоянно возвращалась, был не «что может модель?», а «как построить систему, которой мы можем доверять быть правильной, оставаться в своих пределах и выдерживать широкий спектр задач?» Всё это должно было проверяться на живых данных Skylight, которые непрерывно обновляются по мере поступления новых спутниковых и судовых сигналов.
Архитектура Shippy: душа, навыки и конфиг
Skylight описывает морского ИИ-агента Shippy через три чётких слоя: душа, навыки и конфиг. Это различие важнее, чем может показаться на первый взгляд.
Душа — это системный промпт, который определяет личность Shippy и задаёт жёсткие поведенческие ограничения. Что Shippy будет делать и, что особенно важно, чего он делать не будет. Душа явная и поддаётся аудиту: Shippy не выносит юридических суждений о том, нарушает ли судно закон, и не будет строить предположения, выходящие за рамки поддерживаемых данными. Это не мягкие ограничители, «запечённые» в дообучение; они прописаны напрямую в системном промпте, что делает их простыми для проверки и пересмотра.
Навыки описывают, как Shippy обрабатывает конкретные типы запросов. Они следуют той же спецификации «агент–навыки», что и инструменты для кодирования, такие как Claude Code и Codex, — это обычные markdown-файлы со структурированным frontmatter, благодаря чему каждый навык версионируется и остаётся понятным. Текущий набор навыков Shippy включает:
- Запросы к API Skylight по поведению судов и событиям (рыболовство, перегрузка между судами)
- Поиск границ исключительной экономической зоны (ИЭЗ) и морских охраняемых акваторий (МПА)
- Интерпретацию данных о треках судов и позиционных сигналах, опираясь на классификации активности, уже полученные моделями Skylight
- Генерацию интерактивных ссылок на карту, чтобы аналитики могли перейти из ответа в чате к точному месту на карте Skylight
Один пользовательский вопрос может одновременно активировать несколько навыков. Спросите, работают ли суда рядом с МПА Кордильера-де-Койба, и Shippy задействует навык запросов к данным Skylight, базу границ ProtectedSeas и навык интерпретации треков судов — всё в рамках одного хода диалога.
Конфиг и вопрос о модели
Слой конфига отвечает за всё, что связано с временем выполнения: какой «harness» агента запускать, какую LLM использовать и какие секреты (например, ключи API) внедрять. В настоящее время Shippy работает на Claude Opus 4.6 как на своей большой языковой модели. Важно, что замена базовой модели — это изменение конфига, а не полная перестройка: душа и навыки упакованы в Docker-образ независимо, что даёт команде гибкость направлять разные типы запросов к разным моделям по мере развития системы.
Детерминированные инструменты для недетерминированного агента
Одним из наиболее поучительных ранних уроков стало предоставление Shippy возможности формировать сырые вызовы API напрямую. Результатом стал устойчивый поток тонких сбоев: некорректная пагинация, из-за которой незаметно терялись результаты, ошибки кодирования геометрии и запросы, которые выглядели правильно, но возвращали неверные данные из-за неправильного понимания типов фильтров. В API Skylight есть десятки типов входных данных, вложенные объекты фильтров, курсоры пагинации и сложные геометрические входы — такой интерфейс буквально провоцирует ошибки, генерируемые моделью.
Решением стал специально созданный детерминированный CLI. Вместо формирования сырых вызовов API Shippy отправляет одну команду — например, skylight events search с типизированными флагами фильтров, — а CLI берёт на себя аутентификацию, пагинацию и структурированный вывод. CLI самодокументируемый, с подробным текстом справки и сообщениями об ошибках, которые позволяют агенту восстанавливаться после ошибок, не прибегая к догадкам. Результаты всегда записываются в локальный JSON-файл, а не передаются через конвейер shell, что позволяет обойти ограничения буфера конвейера, вызвавшие проблемы с большими наборами результатов в ранних прототипах.
Слоистый дизайн — типизированный API, детерминированный CLI, навыки агента, ссылающиеся на команды CLI — означает, что каждый компонент можно тестировать независимо. Каждый слой сужает диапазон того, в чём может ошибиться следующий слой. Это тот уровень архитектурной дисциплины, который отличает исследовательский прототип от производственной системы в высокорисковой области.
Песочницы Kubernetes и задача изоляции данных
Пользовательская база Skylight включает государственные агентства с конфиденциальными, привязанными к юрисдикции данными. У инспектора по рыболовству на Филиппинах есть списки наблюдения, зоны интереса и конфигурации оповещений, ограниченные его собственной учётной записью. Обеспечение того, чтобы их данные никогда не «просачивались» в сессию другого пользователя и чтобы история их разговоров оставалась полностью приватной, стало одной из самых значимых инженерных задач проекта.
Решением стала Mothership, платформа размещения агентов Skylight. Mothership предоставляет выделённый деплоймент Kubernetes для каждой пользовательской сессии. Когда открывается разговор, система поднимает набор pod-ов, включающих среду выполнения агента, его навыки и CLI Skylight. JWT-токен пользователя внедряется на этапе предоставления, ограничивая все вызовы API данными этого пользователя. Файлы, которые агент записывает в ходе многошагового анализа, существуют только в рамках этой сессии и никогда не доступны другим пользователям.
Внутри песочницы агент сохраняет значительные операционные возможности — он может писать и запускать код, устанавливать зависимости, подключать наборы данных и выполнять многошаговые анализы. На сетевом уровне песочница ограничена только теми сервисами, которые ей необходимы. Изоляция привязана к сессии, носит временный характер и обеспечивается на уровне инфраструктуры, а не только за счёт логики приложения.
Оценка агента в реальных операционных контекстах
Стандартные ИИ-бенчмарки оценивают модели по статическим наборам вопросов. Они не отражают того, что происходит, когда агент встроен в реальный рабочий процесс — как он выбирает инструменты, запрашивает живые данные, действует на основе результатов и понимает, когда нужно остановиться. Именно поэтому Skylight создал пользовательскую систему оценки.
Фреймворк на основе рубрик с LLM-судьёй
В оценочном фреймворке Skylight эксперты по предметной области пишут сценарии и рубрики, определяя, какие критерии применимы к каждой задаче и задавая их веса. Например, для запроса по рыболовным событиям наибольший вес имеет точность данных, затем идут разрешение границ и временной интервал, а указание источников имеет меньший вес. Эксперты также помечают отдельные ответы как правильные или неправильные, предоставляя судье эталон для оценки.
Конвейер прогоняет запрос на естественном языке через живую песочницу, и LLM-судья оценивает каждый критерий по шкале от 0 до 1 с письменным обоснованием, объясняющим, почему ответ удовлетворил или не удовлетворил этому критерию. Взвешенный агрегат затем сравнивается с фиксированным порогом прохождения. Задачи запускаются через Harbor, открытый фреймворк для оценки, с помощью плагина, созданного Skylight, который поднимает реальную сессию Shippy с теми же живыми данными, с которыми столкнулся бы пользователь.
Результаты недавних прогонов оценки указывают на конкретные, практически устранимые режимы отказа. В задачах по планированию патрулей Shippy выходил за рамки поддержки принятия решений и переходил к тактическим рекомендациям. Запросы, чувствительные к геометрии, выявили пропущенные события из-за упрощения границ. И в одном случае агент сгенерировал команду CLI, которой не существовало. Каждый такой шаблон напрямую соответствует цели по улучшению навыка — именно это и должна давать хорошо спроектированная система оценки.
Что дальше для Shippy — и не только
Skylight поэтапно открывает Shippy для ранних пользователей, прямо приглашая к стресс-тестированию, чтобы выявить слабые ограничители и плохо обработанные запросы. Следующий цикл разработки нацелен на три области: управление интерфейсом пользователем самим агентом (переход от возврата ссылок на карту к прямому управлению картой Skylight, применению фильтров и настройке временных диапазонов); маршрутизацию моделей (направление простых запросов к меньшим, более быстрым моделям при сохранении полноразмерной модели для сложных расследований); и межпотоковую память (сохранение постоянных фактов, таких как юрисдикция аналитика или предпочитаемые источники, между отдельными ветками разговора).
Более широкие последствия выходят далеко за рамки морских приложений. Mothership была спроектирована как доменно-агностичная платформа, и материнская организация Skylight, Ai2, уже применяет уроки Shippy к EarthRanger, своей платформе для охраны дикой природы, и OlmoEarth, открытому набору инструментов для наблюдения за Землёй. Архитектура — душа, навыки, конфиг, детерминированные инструменты, изолированные по сессиям песочницы и оценка на живых данных — представляет собой чертёж для развёртывания ИИ-агентов в любой области, где цена ошибки измеряется чем-то большим, чем просто неудовлетворённость пользователя.
FAQ
Для чего предназначен Shippy?
Shippy — это ИИ-агент, разработанный Skylight для морской ситуационной осведомлённости в реальном времени. Он помогает аналитикам запрашивать поведение судов, искать границы исключительной экономической зоны и морских охраняемых акваторий, интерпретировать данные о треках судов и генерировать интерактивные ссылки на карту, напрямую связанные с платформой живых данных Skylight.
Как Shippy обеспечивает надёжность ответов на запросы?
Shippy использует детерминированный CLI для обработки всех вызовов к API Skylight, избегая шаблонов ошибок, которые возникали, когда модель формировала сырые вызовы API напрямую. В сочетании с модульной архитектурой — душа, навыки и конфиг — и строгими поведенческими ограничениями в системном промпте дизайн отдаёт приоритет предсказуемому, поддающемуся аудиту поведению, а не гибкости.
Как оценивается точность и надёжность Shippy?
Skylight создал пользовательский фреймворк оценки, в котором эксперты по предметной области пишут сценарии задач и взвешенные рубрики. LLM-судья оценивает каждый ответ агента по живым данным по шкале от 0 до 1 по каждому критерию с письменным обоснованием. Взвешенный агрегат сравнивается с фиксированным порогом прохождения, и любая версия Shippy, которая даёт регресс по оценочным критериям, не попадает к конечным пользователям.
Обрабатывает ли Shippy юридические суждения о деятельности судов?
Нет. Shippy прямо избегает вынесения юридических суждений о том, нарушает ли судно какой-либо закон, и не будет строить предположения, выходящие за рамки поддерживаемых данными. Эти решения остаются за человеческими аналитиками. Эти ограничения прописаны напрямую в системном промпте — что делает их поддающимися аудиту и настройке — а не являются неявным результатом дообучения модели.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Для чего предназначен Shippy?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Shippy — это ИИ-агент, разработанный Skylight для морской ситуационной осведомлённости в реальном времени. Он помогает аналитикам запрашивать поведение судов, искать границы исключительной экономической зоны и морских охраняемых акваторий, интерпретировать данные о треках судов и генерировать интерактивные ссылки на карту, напрямую связанные с платформой живых данных Skylight.»}},{«@type»:»Question»,»name»:»Как Shippy обеспечивает надёжность ответов на запросы?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Shippy использует детерминированный CLI для обработки всех вызовов к API Skylight, избегая шаблонов ошибок, которые возникали, когда модель формировала сырые вызовы API напрямую. В сочетании с модульной архитектурой — душа, навыки и конфиг — и строгими поведенческими ограничениями в системном промпте дизайн отдаёт приоритет предсказуемому, поддающемуся аудиту поведению, а не гибкости.»}},{«@type»:»Question»,»name»:»Как оценивается точность и надёжность Shippy?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Skylight создал пользовательский фреймворк оценки, в котором эксперты по предметной области пишут сценарии задач и взвешенные рубрики. LLM-судья оценивает каждый ответ агента по живым данным по шкале от 0 до 1 по каждому критерию с письменным обоснованием. Взвешенный агрегат сравнивается с фиксированным порогом прохождения, и любая версия Shippy, которая даёт регресс по оценочным критериям, не попадает к конечным пользователям.»}},{«@type»:»Question»,»name»:»Обрабатывает ли Shippy юридические суждения о деятельности судов?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Нет. Shippy прямо избегает вынесения юридических суждений о том, нарушает ли судно какой-либо закон, и не будет строить предположения, выходящие за рамки поддерживаемых данными. Эти решения остаются за человеческими аналитиками. Эти ограничения прописаны напрямую в системном промпте — что делает их поддающимися аудиту и настройке — а не являются неявным результатом дообучения модели.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
