incrypted.com
Еще в 2017 году команда NEAR ставила перед собой задачу создать общий искусственный интеллект (artificial general intelligence; AGI), но впоследствии — из-за существующих тогда технических ограничений и отсутствия ресурсов — сместила фокус в сторону проектирования блокчейн-платформы.
Однако разработчики окончательно так и не отказались от этой идеи. В 2024 году команда вновь совершила разворот и запустила исследовательскую лабораторию NEAR AI, которая ставит перед собой аналогичные цели.
Редакция Incrypted пообщалась с идейным вдохновителем этой инициативы — соучредителем NEAR Александром Скидановым. Мы поговорили о роли блокчейна в развитии децентрализованного ИИ, трудностях, с которыми сталкиваются разработчики, и рисках, связанных с появлением сильного искусственного интеллекта.
Насколько я понимаю, вы именно тот человек, который «топит» в NEAR за ИИ-составляющую.
Да. Я начал говорить об этом еще в 2021 году. Тогда меня особо никто не слушал. С 2021 года я уже делал какие-то проекты. В прошлом году я запустил компанию, которая была полностью сфокусирована на ИИ-исследованиях. Сейчас наконец-то NEAR нашел ресурсы, чтобы работать над искусственным интеллектом. Эта компания сейчас вошла в NEAR и сейчас называется NEAR AI.
С чем связан разворот, который сделал NEAR? Вы развивали блокчейн-платформу и сейчас решили работать над искусственным интеллектом. Насколько я понимаю, цель NEAR AI — создать общий ИИ.
Это была наша с Ильей [Полосухиным] мечта и, я думаю, многих других людей этого поколения. Потому что чувствуется, что AGI уже недалеко.
Когда мы начинали NEAR AI в 2017 году, задача была написать AGI. Но потом мы сделали разворот в сторону блокчейна.
Потому что пока мы работали над AGI в 2017 году, основная проблема была все-таки с аннотацией данных. Еще мы заметили, что просто даже платить людям через PayPal в разных странах было очень сложно. И мы начали строить блокчейн.
Тогда, фактически, из блокчейнов был Ethereum, биткоин и IOTA, и не было возможности легко осуществлять оплату через подобные сети. Мы с Ильей, оба будучи достаточно техническими людьми, подумали, что эта проблема явно решаемая, если достаточно много умных, системных людей займется ею. Так появился NEAR.
Тем не менее, как я сказал, я еще с 2021 года топил и строил какие-то интересные ИИ-проекты внутри NEAR. У нас уже есть огромная платформа для аннотации данных. Сейчас у NEAR в целом такое видение — мы хотим, чтобы люди владели собственными деньгами и собственными данными и контролировали их.
ИИ сейчас будет развиваться очень быстро. Но фактически на данный момент у нас опять та же траектория: когда маленькое количество компаний — OpenAI, Anthropic, может быть, Google — будут полностью контролировать все. Как это было, например, с поисковиками.
Чем больше данных получают такие компании, тем больше они могут улучшать свои продукты, и тем сложнее каким-то внешним участникам их догнать.
Опять получается «огороженный сад».
Да. И одним из больших направлений работы NEAR всегда было, что мы называем Open Web. Но построить его не получится, если сейчас ИИ-сегмент «захватят» Google и Anthropic, потому что утверждается, что ИИ будет достаточно большой частью интернета. Все к этому идет, потому что даже просто взаимодействовать с приложениями мы будем по-новому.
Я сегодня показывал демо — его будет сложно описать в тексте, но идея в том, что мы постепенно двигаемся в мир, в котором фронтенд приложения может в моменте подстроиться прямо под потребности пользователя. То есть ИИ очень сильно может изменить наше взаимодействие с интернетом, приложениями и инфраструктурой.
И если ИИ полностью контролируется компаниями, то Open Web просто не произойдет. Поэтому нам нужно уже сейчас думать, что мы можем сделать.
Как мы можем убедиться, что базовые модели в будущем продолжат существовать в формате открытого кода и при этом соревноваться с моделями больших компаний. Как мы можем убедиться, что у нас в принципе есть инфраструктура для развертывания приложений, в которой данные никуда не утекают.
Сейчас мы находимся в таком уникальном моменте, когда все последние прорывы в области ИИ более менее известны. То есть самое последнее, что OpenAI делала — это их Q-sharp или Strawberry — мы не знаем, что это, да. Но вот то, как именно была натренирована GPT-4, более или менее известно. Информация о большинстве ноу-хау утекла, либо они вообще создавались в открытую.
Но я думаю, очень вероятно, что в следующий год или два будут какие-то прорывы, которые произойдут внутри OpenAI или внутри Google. И они не будут доступны за их пределами.
И как мы можем сделать так у людей, которые хотят заниматься исследованиями в области ИИ, но не хотят идти в OpenAI, есть доступ к необходимым ресурсам? Что мы можем поставить в противовес всем этим исследованиям, которые происходят за закрытыми дверями? Эти направления очень важны для того, чтобы прорыв произошел. Поэтому мы запустили лабораторию NEAR AI.
И какое место блокчейн NEAR занимает в этом видении? Это будет уровень доступности данных или уровень инсентивизации ИИ-агентов — какие функции он должен выполнять?
Для разных аспектов разные. Например, аннотация данных — она сегодня полностью происходит в контексте блокчейна NEAR. То есть все платежи участникам, которые занимается разметкой, происходят в блокчейне, как и верификация.
Для тех, кто не разбирается — что такое аннотация данных?
Допустим, вы хотите применить ИИ в каком-то контексте. Сегодня отдельные модели очень хорошо справляются с задачами, которые часто встречаются в интернете. Например, почему модели так хорошо пишут код? Потому что есть GitHub и там огромное количество этого самого кода. Но если у вас есть какая-то задача, которая редко встречается в интернете, модель может галлюцинировать, хуже справляться.
Потому что сам датасет меньше.
Да. Потому что в том огромном датасете, на котором она тренировалась, это конкретное подмножество, которое вам релевантно, существенно меньше. И вы приходите к людям, которые разбираются в этой теме, и говорите: «Ребята, создайте набор данных, который будет близок к тому приложению, которые мы хотим сделать».
Обычно этим занимаются специальные компании. Вы объясняете, что вы хотите, они находят людей, которые могут создать для вас данные. И все работает достаточно хорошо ровно до того момента, как вы хотите создать большой объем данных — подход перестает работать.
Почему? Потому что в конечном итоге все равно люди в первую очередь хотят заработать денег и только потом уже — создать для вас хороший набор данных. И они всегда будут находить способы сделать минимальное количество работы, чтобы получить свои деньги.
При незначительном объеме данных вы можете держать определенный штат людей, которые будут эту работу проверять. Но с ростом масштаба это становится все сложнее и сложнее.
И вот то, чем я занимался три года назад, это разрабатывал такую платформу, где люди будут верифицировать работу друг у друга таким образом, чтобы качество данных не падало.
Блокчейн абсолютно естественным образом применим здесь. И в принципе я считаю эту задачу сейчас полностью решенной. Мы еще не открыл и платформу для внешних пользователей, но уже разметили сами огромное количество данных, которые мы спонсировали для наших исследований. И мы, скорее всего, откроем ее либо в этом году, либо в начале следующего. Она полностью построена поверх NEAR.
Что вы думаете о том, что происходит в области децентрализованного ИИ?
Мне кажется, где вообще в целом блокчейн увидит наибольшее применение, помимо, разумеется, DeFi и финансовых операций, это, во-первых, [цифровая] идентичность. Сейчас все происходит централизовано. В моем браузере фактически есть хардкод — кому я должен доверять. Эта система не рабочая в долгосрочной перспективе.
Блокчейн полностью решает проблему доверия. Если ты знаешь имя моего аккаунта, это знание гарантирует тебе возможность проверять мои подписи. Потому что блокчейн всегда будет хранить самый свежий ключ.
Во-вторых, контроль каких-то вещей, которые происходят вне сети. Например, Sia — отличный пример того, как все происходит полностью офчейн, но определенные метки записываются в блокчейн. То же самое будет происходить в сетях монетизации данных — все происходит офчейн, а в основной сети проверяется, что данные были верно переданы и так далее.
В конечном итоге почти все проекты, которые сейчас существуют на стыке Web3 и искусственного интеллекта именно так блокчейн и используют. Что-то происходит вне сети, а в децентрализованный реестр записывают информацию, чтобы люди знали, что данные используют таким-то образом, что инсентивизация доходит до тех пользователей, до которых она должна дойти.
Вы говорили, что не верите в компании, которые строят продукты категории AI-first. Что означает последнее? Допустим, OpenAI относится к таким компаниям?
Да. Конечно, OpenAI и Anthropic уже далеко позади оставили тот путь, который проекту нужно пройти, чтобы люди вокруг были уверены, что он добьется успеха. Но вот другой пример: если посмотреть на последнюю группу участников Y Combinator и убрать там фильтр AI — останутся буквально единицы компаний. Потому что каждый стартап сейчас говорит: «Мы ИИ для чего-то».
Проблема в том, что ИИ — это лишь инструмент. Компании пытаются поставить его во главе своего продукта — это приводит к тому, что появляется масса проектов, которые ничем не отличаются друг от друга. Они используют одинаковые модели, никакой разницы между ними нет. Поэтому большинство из них не имеет никакого шанса выжить. Выиграет не тот, кто лучше всех построит, а тот, у кого есть уникальный юзкейс для продукта.
В основном компании используют уже существующие модели, а не разрабатывают собственные. Верно?
Разрабатывать собственные модели очень опасно, потому что это очень дорого. И, конечно, той экспертизы, которая есть внутри OpenAI или Anthropiс, у них тоже нет. То есть разработать свою модель с нуля, я думаю, абсолютно гиблое дело сегодня для большинства компаний. Просто потому, что у них нет ресурсов.
Может ли это изменить блокчейн? Возможно, децентрализованное обучение моделей?
Это очень интересный вопрос. Я не думаю, что блокчейн в изоляции мог бы помочь. Но если не найдем способ объединить ресурсы для обучения моделей, если не найдем способ делать исследования в области искусственного интеллекта, используя какую-то распределенную систему грантов, у нас не получится построить будущее, в котором OpenAI и Anthropic не контролируют самые лучшие модели.
Создание и обучение моделей уровня GPT-4 требует огромных вычислительных мощностей — кластеры с тысячами процессоров, таких как H100. И если одна компания контролирует такой кластер, исчезновение этой компании приводит к тому, что мы теряем доступ к ресурсам. Мы вынуждены строить новый кластер — а это стоит огромных денег.
Есть шанс, что Meta продолжит публиковать модели. Если бы не они, мы были бы в гораздо более худшем положении. Но мы не можем строить ориентированное на open source будущее вокруг вполне себе закрытой компании.
В краткосрочной перспективе — какой наиболее вероятный сценарий, как может развиваться попытка блокчейн-сообщества построить модель уровня GPT-5 или даже GPT-4? Это чтобы какая-то сущность построила большой кластер, который комьюнити совместно оплачивает. Получается модель, контролируемая этим сообществом и оно же делит доход от ее использования.
Но в долгосрочной перспективе, я думаю, что такой подход также является опасным. Если упомянутая сущность исчезает, кластер тоже исчезает. Чтобы продолжить обучать модель, нам нужно время для построения нового кластера. И последний должен быть все больше и больше.
То есть сегодня 30 000 процессоров уже трудно объединить. Но если мы хотим двигаться дальше, нам нужно больше ресурсов. Необходимо, чтобы люди нашли способ тренировать модель в системах с большой задержкой.
Ну а потом достаточно просто впустить ресурсу от людей. У кого дешевое электричество, у кого простаивают GPU. Если мы найдем способ тренировать модели подобным образом, это полностью решит проблему.
И уже появляются интересные статьи от DeepMind и других лабораторий, которые описывают, как тренировать модели с высокой задержкой.
Что означает высокая задержка в контексте обучения ИИ?
Сегодня нам требуется быстрый обмен данными между процессорами. Например, все кластеры OpenAI используют InfiniBand, а Amazon используют EFA [elastic fabric adapter].
То есть речь идет о быстром обмене информации между GPU?
Да. Потому что как вообще тренируются модели сегодня? Вы берете модель и шардируете ее между устройствами. Есть три направления шардирования — параллелизация [model parallelism], пайплайнинг и репликация.
Параллелизация и пайплайнинг сводятся к тому, что модель тренируется совместно несколькими GPU. То есть одну модель распределяют на несколько устройств. И обычно внутри машины — а там, допустим, 8 GPU — вы используете параллелизацию, а между машинами — используете пайплайнинг. Но в конечном итоге оба этих метода позволяют модель «разрезать» — как шардинг в базах данных.
Но обычно чем больше вы режете, тем хуже это работает. Обычно для модели делают до восьми шардов внутри GPU и, допустим, максимум может быть 40 таких машин. Получается 320 GPU. А вам нужно 30 000.
Вот этот оставшийся фактор, оставшийся множитель — это будет репликация. Когда вы одну и ту же модель много, много раз реплицируете. Создаете условно 100 копий этой модели.
Но репликация негативно влияет на обучение. Поэтому вы не используете большие коэффициенты.
В рамках параллелизации вам нужно очень быстрое соединение. Поэтому его делают только между GPU в одной машине. Пайплайнинг — желательно иметь очень быстрое соединение.
Репликация менее требовательна, поскольку каждая копия независима. Но потом вы хотите все градиенты совместить — это все еще должно работать сравнительно быстро. Потому что прямой или обратный переходы занимают секунды, а вот градиенты — вся модель — это гигабайты данных.
Даже если у вас 200 млрд параметров — это вам нужно гигабайт передать. Если задержка высокая, и у вас даже гигабитное соединение — это восемь секунд получается.
То есть мы делаем прямой или обратный переходы за две секунды, а потом тратим восемь, чтобы градиенты соединить. Это не работает.
И все идеи крутятся вокруг одного и того же — давайте использовать более старый градиент. То есть мы реально будем тратить восемь секунда на соединение, но в этом время продолжим делать переходы.
Будет ли такой подход работать? Постепенно — да. Есть надежда на то, что уже через год это все будет полностью решенной проблемой. А может быть и нет.
Но в мире, где эта проблема решена, мы должны быть готовы собрать ресурсы вместе, построить систему, где люди могут совместно предоставлять GPU, начать тренировку большой модели. Нам нужно понимать, как будет происходить регистрация, как эта модель может быть монетизирована.
В основу такого децентрализованного ИИ ляжет не какой-то отдельный проект, а группа протоколов? То есть, условный Akash будет предоставлять мощности для обучения, а какой-то другой проект — уровень инсентивизации и так далее.
Я вполне себе могу представить ситуацию, когда какой-то проект в одиночку может построить что-то большое. Сложно так говорить, но мы точно будем пытаться.
В конечном итоге, мне кажется, для нас как для сообщество важно, чтобы существовал путь к децентрализованной тренировке конкурентных моделей, которые будут всегда на передовой.
Ходят слухи, что скоро выйдет GPT-5. А наша передовая модель [с открытым исходным кодом] – 405B абсолютно не способна соревноваться с GPT-4. Получается, выходит GPT-5 и мы отстаем уже на два поколения.
Можно ли говорить о том, что централизованные модели обладают определенным сетевым эффектом? Чем больше пользователей, тем больше данных, тем быстрее они развиваются и тем сложнее их догнать.
Да, однозначно.
Если в целом говорить об ИИ, как вы относитесь к опасениям людей касательно самого факта появления сильного или даже общего искусственного интеллекта?
Я в целом очень пессимистичен. Я думаю, что сценариев, в которых все это заканчивается хорошо, меньше, чем противоположных.
Но сценарий, где все заканчивается хорошо, — они очень приятные. Конечно, когда мы смотрим вокруг, понятно, что глобально средний человек — он скорее несчастлив. Он не может достичь своего потенциала, потому что вынужден каждый день водить Uber, чтобы свести концы с концами. Он не может стремиться к своим мечтам.
Искусственный интеллект, потенциально, позволит создать мир, в котором гораздо больше людей смогут достигнуть своей мечты, как утверждается. Я не могу с уверенностью говорить так ли это или нет, но утверждается, что количество рутины будет уменьшаться, а количество ресурсов в мире — нет. Соответственно, у среднего человека будет гораздо больше возможностей.
Вам не кажется, что в любом случае, при любом сценарии это все ведет к миру, где человек уже ничего не решает, где все решает ИИ?
Высокий шанс.
Есть лично моя надежда — я не очень верю, что так произойдет, но шанс не нулевой, что в ближайшей перспективе, в ближайшие несколько десятилетий ИИ опять достигнет какого-то потолка, который мы не сможем пробить.
Думаю, что в конечном итоге, в очень долгосрочной перспективе, если человечество не вымрет по какой-то причине и продолжит развивать ИИ, рано или поздно искусственный интеллект станет недостижим для нас. Мы станем не релевантными.
Но я надеюсь, что есть шансы на достижения какого-то потолка, при котором ИИ уберет большую часть рутины, значительно улучшит наши жизни. Но при этом либо еще не осознает себя, либо, даже если осознает, не сделает нас полностью бесполезными.
Это было бы просто превосходным развитием событий. Но для этого нам нужно попасть в такую узкую зону, что все выглядит маловероятным. Скорее может начаться сингулярность.
Я могу сказать, что с точки зрения рядового пользователя, который применяет ChatGPT для решения каких-то рядовых задач, то, что происходит сейчас, выглядит даже немного страшно. То, насколько хорошо ИИ справляется с отдельными задачами, вызывает одновременно и восторг и ужас.
Да. Но в защиту того, что нам, возможно, еще не конец, хочу привести следующий пример. В 2017 году, когда мы начали работать над NEAR, мы были примерно в таком же моменте — в период с 2015 по 2017 год невероятные прорывы происходили постоянно, каждый месяц. И казалось, что это уже невозможно остановить.
Но с 2017 года — вплоть до выхода ChatGPT — наблюдалось очень сильное замедление. Даже если говорить о GPT-3, модель вышла в 2019 году, но она была очень неудобной, порог входа был очень высоким. Большинство людей даже не знало, что она существует. А потом появился удобный интерфейс и люди осознали, что у них с 2019 года был доступ к технологии.
Существующие модели забрали терабайты данных, которые мы как человечество создали за все время своего существования. Все эти прорывы, которые происходили за последние пару лет, происходили благодаря тому, что мы все лучше «выжимали» полезную информацию из этих данных. И они могут нас до определенного момента довести, безусловно. А дальше нам потребуются новые датасеты. А сгенерировать новый терабайт данных не так легко.
То есть есть высокий шанс, что мы дойдем до потолка того, что модель может получить из существующего интернета. И дальше уже встает вопрос — кто может строить модели, которые более эффективно извлекают данные? Кто может генерировать данные для обучения? Возможно, мы способны генерировать чистые данные — а их нужно значительно меньше — в необходимых объемах?
Есть шанс, что мы упремся в потолок данных. А есть вероятность, что на самом деле интернет уже содержит в себе все необходимое — просто сейчас мы не умеем эту информацию достаточно эффективно извлекать. И постепенно мы просто придем к тому, что какая-то модель обработает всю эту информацию и познает себя.