Разработчики на Sui теперь могут использовать sui grpc streaming для создания более быстрых и надежных индексирующих конвейеров для данных блокчейна в реальном времени.
Summary
Гибридная модель стриминга трансформирует доступ к данным Sui
Блокчейн Sui внедрил gRPC стриминг в качестве основного источника данных для своей индексирующей инфраструктуры, что позволяет получать контрольные точки в реальном времени с минимальной задержкой. Более того, этот дизайн ориентирован на приложения, которые должны реагировать сразу после завершения данных.
Платформа сочетает возможности стриминга с традиционными методами опроса для поддержания точности данных и устойчивости системы. Эта гибридная модель позволяет немедленно получать доступ к завершенным контрольным точкам, сохраняя при этом обратную совместимость с существующими пользовательскими индексаторами, уже развернутыми на Sui.
Пользовательская индексирующая структура поддерживает эту архитектуру, ориентированную на стриминг, без необходимости изменения логики обработки контрольных точек. Однако команды могут по-прежнему полагаться на свои существующие конвейеры, добавляя стриминг там, где это приносит ощутимые преимущества.
Стриминг устраняет задержки опроса для получения контрольных точек
Новая возможность gRPC стриминга кардинально меняет способ получения индексаторами данных блокчейна на Sui. Полные узлы теперь отправляют данные контрольных точек непосредственно индексаторам сразу после их завершения, вместо ожидания запланированных выборок.
Эта модель на основе push устраняет повторяющиеся циклы опроса, которые ранее вводили задержки между созданием контрольных точек и последующей обработкой. В результате инструменты, чувствительные к задержкам, могут реагировать ближе к реальному времени без настройки сложных интервалов опроса.
Согласно документации, система предоставляет «контрольные точки в реальном времени, как только они завершены» с «более быстрыми данными, устойчивыми конвейерами, меньшими затратами на инфраструктуру на Sui». Тем не менее, операторы все еще могут настроить защитные механизмы для защиты от проблем с подключением и сбоев в обслуживании.
Механизм стриминга работает через простой шаг конфигурации, где разработчики добавляют аргумент streaming-url, указывающий на конечную точку полного узла. Индексатор затем получает контрольные точки в виде потоков событий вместо их выборки через заданные интервалы.
Эта модель, основанная на событиях, особенно ценна для систем мониторинга, платформ аналитики в реальном времени и других приложений, чувствительных к задержкам. Более того, она упрощает инфраструктуру, снижая необходимость в агрессивных стратегиях опроса и связанных с ними операционных настройках.
Обязательные резервные опросы защищают исторические данные
Sui сочетает стриминг с обязательными резервными источниками на основе опроса для устранения присущих ограничений долгосрочных подключений. Стриминговая ссылка доставляет данные только с момента ее установления, поэтому исторические контрольные точки все еще требуют дополнительных механизмов.
Универсальный индексатор демонстрирует этот гибридный дизайн в производстве. Он использует стриминг в качестве основного пути получения данных, сохраняя источники опроса в качестве защитных механизмов для исторических данных и сценариев восстановления.
Эта конфигурация поддерживает актуальность индексированных данных, обеспечивая чистые перезапуски и бесшовное восстановление после сбоев. Однако, если соединение прерывается, система может возобновить работу с последней известной контрольной точки, используя опрос, а затем вернуться к стримингу, как только соединение стабилизируется.
На практике этот гибридный шаблон функционирует аналогично стратегии резервного стриминга контрольных точек sui. Разработчики получают преимущества низкой задержки от обновлений без ущерба для полноты или надежности.
Дизайн структуры позволяет поэтапное внедрение стриминга
Пользовательская индексирующая структура отделяет обработку контрольных точек от получения данных. Индексаторы потребляют и преобразуют контрольные точки через унифицированный интерфейс, не связывая логику с конкретными источниками, такими как gRPC потоки или HTTP опрос.
Эта абстракция позволяет командам развивать стратегии получения данных по мере изменения требований, не переписывая основные компоненты обработки. Более того, она упрощает кодовые базы, концентрируя логику обработки данных в одном слое.
Документация отмечает, что с gRPC стримингом «нет необходимости в опросе, нет догадок о времени и нет искусственной задержки, вызванной интервалами выборки». Тем не менее, операторы все еще могут выбирать опрос, если рабочие нагрузки не требуют ультранизкой задержки.
Разработчики могут постепенно включать sui grpc стриминг, основываясь на характеристиках индивидуальных рабочих нагрузок. Приложения, которые придают приоритет свежести данных и отзывчивости в реальном времени, получают наибольшую выгоду от немедленного внедрения стриминга.
Напротив, системы, ориентированные на пакетную аналитику, оффлайн-обработку или более простые рабочие процессы, могут продолжать использовать только конфигурации опроса. Структура поддерживает оба подхода в рамках одной модели обработки, упрощая многоприложечные среды.
Конфигурация сохраняет стабильность логики при изменении источников
Существующие пользовательские индексаторы, построенные на официальной структуре, требуют минимальных изменений для использования стриминга. Добавление возможности gRPC включает добавление параметра streaming-url наряду с существующим значением конфигурации remote-store-url.
Логика обработки контрольных точек остается неизменной на протяжении всего этого перехода. Более того, структура автоматически управляет переключением источников во время работы, чтобы индексаторы сохраняли согласованное представление о состоянии сети.
Этот дизайн помогает предотвратить распространенные режимы сбоев, когда системы либо теряют данные, либо значительно отстают от цепочки. Структура координирует взаимодействие между стримингом и опросом, поддерживая непрерывность при перезапусках и сбоях сети.
В целом, гибридная архитектура стриминга и опроса Sui предлагает контрольные точки в реальном времени, устойчивые конвейеры и четкий путь миграции для индексаторов, стремящихся к получению данных с низкой задержкой без ущерба для надежности.
