Пара исследователей из Salus Security, блокчейн-компании по обеспечению безопасности с офисами в Северной Америке, Европе и Азии, недавно опубликовали исследование, демонстрирующее таланты GPT-4, когда дело доходит до анализа и аудита смарт-контрактов.
Как оказалось, искусственный интеллект (ИИ) довольно хорош в генерации и синтаксическом анализе кода, но вы бы не захотели использовать его в качестве аудитора безопасности.
Согласно статье:
“GPT-4 может быть полезным инструментом для проведения аудита смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях. Однако, учитывая его ограничения в обнаружении уязвимостей, в настоящее время он не может полностью заменить профессиональные инструменты аудита и опытных аудиторов.”
Исследователи Salus использовали набор данных из 35 смарт-контрактов (называемый SolidiFI-benchmark vulnerability library), который содержал в общей сложности 732 уязвимости, чтобы оценить способность ИИ обнаруживать потенциальные слабые места в системе безопасности по семи распространенным типам уязвимостей.
Согласно их выводам, ChatGPT хорош в обнаружении истинных положительных результатов — реальных уязвимостей, которые вне тестовой среды стоило бы исследовать. Точность тестирования превысила 80%.
Однако у него есть очевидная проблема с генерацией ложноотрицательных результатов. Это выражается в статистике, называемой “частота отзыва”, и в экспериментах команды Salus частота отзыва GPT-4 была всего лишь 11% (чем выше, тем лучше).
Это указывает, как пришли к выводу исследователи, “на отсутствие возможностей обнаружения уязвимостей GPT-4, при этом максимальная точность составляет всего 33%”. Таким образом, исследователи рекомендуют использовать специальные инструменты аудита и старые добрые человеческие ноу-хау для аудита смарт-контрактов, пока системы искусственного интеллекта, такие как GPT-4, не будут запущены в эксплуатацию.
“Подводя итог, GPT-4 может быть полезным инструментом для проведения аудита смарт-контрактов, особенно при анализе кода и предоставлении подсказок об уязвимостях. ... При использовании GPT-4 его следует комбинировать с другими методами и инструментами аудита для повышения общей точности и эффективности аудита ”.
block-chain24.com