Могут ли самые мощные на сегодняшний день инструменты ИИ для программирования действительно справиться с глубокой физикой, заложенной в рабочие процессы научной визуализации? Новый бенчмарк под названием Imaging-101 был создан, чтобы это выяснить — и ответ, по крайней мере сейчас, однозначно отрицательный. Представлен в июле 2026 года командой из двенадцати исследователей, включая Сии Чен, Цзяхэ Ина и Хэ Суна, этот труд ставит бенчмаркинг кодирующих агентов LLM в центр области, где ошибка в математике приводит не просто к багам в софте — она делает научные результаты бессмысленными.
Summary
Ключевые выводы
- Imaging-101 — это бенчмарк из 57 экспертно проверенных задач по вычислительной визуализации, охватывающих шесть научных доменов, каждая из которых основана на рецензируемой статье.
- Каждая задача следует стандартизированному конвейеру из четырёх этапов: предобработка, моделирование прямой физики, обратный решатель и визуализация.
- Оценка включает три трека — планирование, модульные тесты на уровне функций и сквозную реконструкцию — исследуя различные способности агентов.
- Семь передовых больших языковых моделей были протестированы, что выявило систематические проблемы, выходящие за рамки того, что показывают общие бенчмарки по программированию.
- Исследование выявляет конкретные пробелы в выборе алгоритмов, обращении с физическими соглашениями и интеграции конвейера и указывает на специализированных по доменам агентов как на путь вперёд.
Что на самом деле тестирует Imaging-101
Вычислительная визуализация находится на пересечении физики, математики и программной инженерии. Ключевая задача — восстановление скрытых сигналов из косвенных зашумлённых измерений — например, реконструкция медицинского изображения по показаниям датчиков или восстановление структуры по рассеянному свету. Она лежит в основе количественных открытий в разных научных дисциплинах, однако построение корректного конвейера реконструкции требует глубоких предметных знаний. Даже опытным специалистам в области это даётся с трудом.
Imaging-101 был разработан, чтобы проверить, могут ли LLM по‑настоящему помогать в этой работе. Бенчмарк собирает 57 экспертно проверенных задач из шести научных доменов, при этом каждая задача опирается на рецензируемую статью. Это принципиально важно: бенчмарк измеряет не абстрактную компетентность в кодинге, а то, способен ли ИИ‑агент перевести реальные опубликованные научные методы в рабочий код.
Стандартизированный конвейер из четырёх этапов
Чтобы сделать задачи сопоставимыми между доменами, каждая из 57 проблем приводится к одной и той же структуре. Четырёхэтапный конвейер проходит через предобработку, моделирование прямой физики, обратный решатель и визуализацию. Каждый этап несёт свою сложность. Моделирование прямой физики, например, требует от агента кодирования физических законов, определяющих, как измеряется сигнал, — нужно не просто написать синтаксически корректный код, а заложить правильные уравнения. Этап обратного решателя затем требует от агента математически обратить этот процесс.
Такая структура конвейера — один из наиболее продуманных элементов дизайна Imaging-101. Стандартизируя рабочий процесс, бенчмарк позволяет точно локализовать, где именно LLM даёт сбой — не понимает ли он физическую постановку, испытывает ли трудности с численными методами или просто не может собрать этапы в связанное сквозное решение.
Как была устроена оценка
Исследовательская команда оценила семь передовых больших языковых моделей, оптимизированных под задачи программирования. Вместо того чтобы измерять результат одним показателем, оценка разделена на три отдельных трека, спроектированных для проверки разных способностей агентов.
Первый трек тестирует планирование — может ли агент правильно продумать общий подход до написания кода. Второй использует модульные тесты на уровне функций, изолируя отдельные компоненты конвейера для оценки точности кода на детальном уровне. Третий и самый сложный трек измеряет сквозную реконструкцию, требуя от агента создать полный рабочий конвейер, который действительно восстанавливает осмысленный сигнал из сырых измерений.
Такой трёхтрековый дизайн аналитически оправдан. Модель может хорошо справляться с планированием — формулировать правильную стратегию — и при этом полностью проваливаться при её реализации в коде. Разделение треков делает такие провалы видимыми, вместо того чтобы усреднять их.
Где LLM не справляются с задачами научной визуализации
Результаты выявляют набор систематических проблем, которые общие бенчмарки по программированию просто не показывают. В отчёте чётко выделяются три проблемные области.
- Выбор алгоритма: LLM с трудом подбирают подходящий алгоритм реконструкции для заданной физической постановки, часто по умолчанию выбирая общие или неверные подходы.
- Обращение с физическими соглашениями: научная визуализация опирается на точные соглашения — системы координат, определения единиц, знаки в уравнениях — и модели часто ошибаются в них так, что это незаметно искажает результаты.
- Интеграция конвейера: даже когда отдельные этапы реализованы правильно, их соединение в работающую сквозную систему выявляет дополнительные режимы отказа.
Значимость этих выводов в том, что они отражают качественно иной класс сложности по сравнению с обычными задачами разработки ПО. Написание веб‑скрейпера или функции сортировки не требует понимания физики распространения волн или математики преобразования Фурье. Вычислительная визуализация — требует. Разрыв между общей компетентностью в программировании и предметно‑специфичным научным кодингом оказывается шире, чем показывали существующие бенчмарки.
Почему этот разрыв важен за пределами академии
Последствия выходят далеко за рамки одной научной статьи. Кодирующие агенты на базе LLM всё чаще позиционируются как универсальные научные ассистенты — инструменты, которыми исследователи могут пользоваться для ускорения внедрения новых методов. Если такие агенты систематически не справляются с физическими соглашениями или выбирают неподходящие обратные решатели, их использование без тщательного человеческого контроля может вносить труднообнаружимые ошибки в научные конвейеры. Ошибки, которые не вызывают исключений, а тихо приводят к неверным ответам.
Для областей, где вычислительная визуализация движет открытиями — от медицинской диагностики до материаловедения, — это реальная проблема надёжности, а не теоретический риск.
Путь вперёд: специализированные по доменам агенты
Исследование не ограничивается констатацией проблем. Команда указывает на агентов с расширенными навыками и доменной специализацией как на практический путь улучшения. В формулировке авторов, универсальный LLM, каким бы сильным он ни был в обычных задачах программирования, имеет структурные ограничения при применении к научным рабочим процессам, основанным на физике. Агенты, специально оснащённые предметными знаниями — через дообучение, инструменты с дополнением извлечением или структурированные модули навыков, — выглядят более перспективным направлением.
Сам Imaging-101 позиционируется как инфраструктура для измерения прогресса на этом пути. Предоставляя стандартизированный бенчмарк с экспертно проверенными задачами и воспроизводимой методикой оценки, он даёт исследователям конкретную цель для улучшения работы агентов над задачами реконструкции в вычислительной визуализации. Привязка бенчмарка к рецензируемым статьям также означает, что он отражает реальную научную практику, а не синтетические игрушечные задачи.
Независимо от того, пойдёт ли область быстрым путём к специализированным агентам или продолжит опираться на универсальные модели с человеческой коррекцией, Imaging-101 теперь даёт самое ясное на сегодня представление о том, где именно находятся разрывы — и насколько они глубоки.
FAQ
Какова цель бенчмарка Imaging-101?
Imaging-101 оценивает производительность кодирующих агентов на базе больших языковых моделей на 57 экспертно проверенных задачах вычислительной визуализации в шести научных доменах. Каждая задача стандартизирована в конвейер из четырёх этапов, что позволяет систематически оценивать, где ИИ‑агенты преуспевают, а где терпят неудачу в рабочих процессах научной визуализации.
Какие этапы составляют конвейер вычислительной визуализации в Imaging-101?
Конвейер состоит из четырёх этапов: предобработка, моделирование прямой физики, обратный решатель и визуализация. Каждый этап представляет собой отдельную техническую задачу — от кодирования законов физических измерений до восстановления скрытых сигналов из зашумлённых данных.
С какими трудностями столкнулись кодирующие агенты LLM в ходе оценки?
Оценённые модели испытывали трудности в трёх основных областях: выборе подходящего алгоритма для заданной физической постановки, корректном обращении с физическими соглашениями, такими как системы координат и определения знаков, а также интеграции отдельных компонентов конвейера в работающую сквозную систему реконструкции.
Какие будущие улучшения предлагаются для кодирующих агентов LLM в вычислительной визуализации?
В исследовании предлагаются агенты с расширенными навыками и доменной специализацией как практический путь вперёд. Вместо опоры на универсальные модели исследователи считают, что агенты, оснащённые предметно‑специфическими знаниями и структурированными возможностями, лучше подходят к требованиям конвейеров научной визуализации.
{«@context»:»https://schema.org»,»@type»:»FAQPage»,»mainEntity»:[{«@type»:»Question»,»name»:»Какова цель бенчмарка Imaging-101?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Imaging-101 оценивает производительность кодирующих агентов на базе больших языковых моделей на 57 экспертно проверенных задачах вычислительной визуализации в шести научных доменах. Каждая задача стандартизирована в конвейер из четырёх этапов, что позволяет систематически оценивать, где ИИ‑агенты преуспевают, а где терпят неудачу в рабочих процессах научной визуализации.»}},{«@type»:»Question»,»name»:»Какие этапы составляют конвейер вычислительной визуализации в Imaging-101?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Конвейер состоит из четырёх этапов: предобработка, моделирование прямой физики, обратный решатель и визуализация. Каждый этап представляет собой отдельную техническую задачу — от кодирования законов физических измерений до восстановления скрытых сигналов из зашумлённых данных.»}},{«@type»:»Question»,»name»:»С какими трудностями столкнулись кодирующие агенты LLM в ходе оценки?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»Оценённые модели испытывали трудности в трёх основных областях: выборе подходящего алгоритма для заданной физической постановки, корректном обращении с физическими соглашениями, такими как системы координат и определения знаков, а также интеграции отдельных компонентов конвейера в работающую сквозную систему реконструкции.»}},{«@type»:»Question»,»name»:»Какие будущие улучшения предлагаются для кодирующих агентов LLM в вычислительной визуализации?»,»acceptedAnswer»:{«@type»:»Answer»,»text»:»В исследовании предлагаются агенты с расширенными навыками и доменной специализацией как практический путь вперёд. Вместо опоры на универсальные модели исследователи считают, что агенты, оснащённые предметно‑специфическими знаниями и структурированными возможностями, лучше подходят к требованиям конвейеров научной визуализации.»}}]}
Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.
