Фонд Ethereum запустил ИИ-агентов для анализа своего кода: вот что они на самом деле обнаружили

Множество ошибочных диагнозов

Подробности эксперимента были изложены в блоге, опубликованном 9 июля Никосом Баксеванисом из команды по безопасности протокола фонда под заголовком, который одновременно отражал основную идею компании: «Сортировка — это продукт». Эти результаты привлекли широкое внимание, поскольку большинство отмеченных проблем оказались ложными срабатываниями (хотя среди них были и реальные ошибки).

Главное открытие вполне реально: агенты помогли выявить панику, запускаемую удаленно в gossipsub — части пирингового сетевого уровня libp2p, на котором работают клиенты консенсуса Ethereum. Уязвимость была исправлена и зарегистрирована как CVE-2026-34219 (это тот тип ошибки, который, если бы его первым обнаружил злоумышленник, мог бы быть использован для вывода из строя узлов по всей сети).

Нахождение ошибок было самой простой частью

Как написал фонд, неожиданностью стало не то, что агенты ИИ смогли найти ошибки, а «то, как мало усилий ушло на их поиск, и как много — на то, чтобы отличить настоящие ошибки от тех, которые просто выглядели как настоящие».

Команда каталогизировала типичные формы таких «самозванцев»: например, сбои, возникающие только в отладочных сборках, но никогда — в производственной среде; условия воспроизведения, зависящие от недоступных внутренних значений, которые ни один злоумышленник не смог бы фактически предоставить; а также доказательства формальной верификации, которые технически верны, но настолько неограниченны, что ничего не демонстрируют.

Ответом фонда стал жесткий стандарт доказательности, который он сформулировал как «воспроизводимо — значит, это произошло». Точнее говоря, отныне каждое потенциальное обнаружение должно сопровождаться автономным артефактом, позволяющим воспроизвести сбой на реальном коде, независимо от того, насколько уверенным в своём обнаружении заявляет себя агент, подавший отчёт.

В этом контексте агенты можно рассматривать как генераторы гипотез (инструменты поиска, а не органы, принимающие решения), организованные по этапам разведки, поиска уязвимостей, заполнения пробелов и валидации, при этом окончательное решение принимают люди.

Цифры за шумихой

В публикации также был приведён редкий сравнительный анализ эффективности инструментов текущего поколения. Агент тестирования на основе свойств сгенерировал примерно 1 000 потенциальных находок, и после экспертной проверки около 86 % его рекомендаций высшего уровня выдержали тщательную проверку (это высокий показатель для машины, но такой уровень всё же требует фильтрации человеком, прежде чем что-либо коснется производственного кода).

Эти инструменты явно находят реальные уязвимости в критически важной инфраструктуре, тем самым опровергая утверждение о том, что отчеты об ошибках, сгенерированные ИИ, — это чистый шум. Однако рабочая нагрузка никуда не исчезла, а просто переместилась на более поздний этап — сортировку, где опытные инженеры отделяют реальные сигналы от ложных срабатываний. Для сети, обеспечивающей безопасность активов на сотни миллиардов долларов, этот фильтр имеет огромное значение.

В настоящее время фонд продвигает эту работу вперёд, а не рассматривает её как разовую инициативу. Например, в рамках своей Программы поддержки экосистемы он финансирует специальный раунд грантов, посвящённый безопасности протоколов на основе ИИ, который охватывает исследования, аудит и обнаружение уязвимостей.