Компания OpenZeppelin, специализирующаяся на безопасности блокчейна, заявила, что обнаружила методологические недостатки и ошибки в данных при проверке нового бенчмарка OpenAI для оценки безопасности блокчейна — EVMbench.
EVMbench был запущен в середине февраля в партнерстве с криптовалютной инвестиционной компанией Paradigm. Он был создан для оценки того, насколько хорошо различные модели искусственного интеллекта могут выявлять, устранять и использовать уязвимости смарт-контрактов.
В понедельник в соцсети X компания OpenZeppelin заявила, что приветствует эту инициативу, но недавно решила подвергнуть EVMbench «такой же тщательной проверке», как и все протоколы, которые она помогает защищать, в том числе такие гиганты децентрализованных финансов, как Aave, Lido и Uniswap.
В ходе аудита OpenZeppelin выявила две ключевые проблемы: загрязнение обучающих данных и проблемы с классификацией, связанные с несколькими уязвимостями высокой степени опасности.
«Мы изучили набор данных и выявили методологические недостатки и неверную классификацию уязвимостей, в том числе как минимум четыре проблемы, которые были отнесены к категории высокой степени опасности, но на практике не могут быть использованы», — заявили в OpenZeppelin.
Источник:OpenZeppelin
В рамках проекта EVMbench была проведена оценка того, насколько хорошо агенты с искусственным интеллектом могут теоретически использовать уязвимости смарт-контрактов. Первое место в рейтинге занял Claude Open 4.6 от Anthropic, за ним следуют OC-GPT-5.2 от OpenAI и Gemini 3 Pro от Google.
Возможно, тестирование EVMbench нуждается в доработке
Что касается первой проблемы, связанной с искажением данных, в OpenZeppelin заявили, что самая важная функция «ИИ-безопасности» — это поиск новых уязвимостей в коде, с которыми модель ранее не сталкивалась.
Однако во время тестирования агентов искусственного интеллекта в EVMbench компания OpenZeppelin заявила, что все агенты, набравшие наибольшее количество баллов, «вероятно, ознакомились с отчетами о уязвимостях в ходе предварительного обучения».
Во время тестирования EVMbench доступ к интернету для агентов с искусственным интеллектом был отключён, то есть они не могли просто искать решения проблем. Однако бенчмарк был основан на тщательно отобранных уязвимостях, выявленных в ходе 120 аудитов, проведённых в период с 2024 по середину 2025 года. При этом обучение агентов проводилось до середины 2025 года.
Таким образом, существовал риск того, что у агентов с искусственным интеллектом уже были ответы на все вопросы, хранящиеся в их памяти.
«Хотя это не гарантирует, что модель сразу выявит проблему, это снижает качество тестирования. Ограниченный размер набора данных еще больше сужает область оценки, что делает проблему загрязнения еще более актуальной», — заявили в OpenZeppelin.
Наконец, в OpenZeppelin заявили, что в наборе данных EVMbench были допущены существенные фактические ошибки, и назвали несколько «уязвимостей высокой степени опасности» недействительными.
Компания OpenZeppelin заявила, что выявила по меньшей мере четыре уязвимости, которые EVMbench классифицировал как уязвимости с высоким уровнем риска, но на самом деле они не работают. Однако EVMbench правильно оценивал работу агентов искусственного интеллекта при обнаружении этих якобы ложных уязвимостей.
«Это не субъективные разногласия по поводу серьезности проблемы, а выводы о том, что описанный эксплойт не работает».
В заключение представители OpenZeppelin повторили, что искусственный интеллект окажет значительное влияние на повышение безопасности блокчейна, но подчеркнули важность применения этой технологии и ее тщательного тестирования для максимального раскрытия ее потенциала.
«Вопрос не в том, изменит ли искусственный интеллект безопасность смарт-контрактов — изменит. Вопрос в том, соответствуют ли данные и эталонные показатели, которые мы используем для создания и оценки этих инструментов, тем же стандартам, что и контракты, которые они призваны защищать».
block-chain24.com
