Foresight Ventures: Что, черт возьми, такое zkML?

ZkML — это мост между ИИ и блокчейном, который позволяет блокчейну воспринимать физический мир, позволяет смарт-контрактам принимать решения и запускать модели ИИ с защитой конфиденциальности.

Краткое содержание

• ZKML (машинное обучение с нулевым разглашением) — это технология, использующая доказательства с нулевым разглашением для машинного обучения, ZKML — это мост между ИИ и блокчейном. ZKML может решить проблему защиты конфиденциальности модели/ввода ИИ и поддающегося проверке процесса рассуждения, так что ZKP малой модели или рассуждения можно загрузить в цепочку. Значение цепочки доказательств модели/рассуждения заключается в следующем:
• Пусть блокчейн воспринимает физический мир. Например: модель распознавания лиц, работающая на блокчейне, может воспринимать лицо для блокчейна, а модель ИИ на блокчейне может понимать, что лицо может быть женщиной, сколько ей лет и т. д.
• Включение смарт-контрактов для принятия решений. Например: модель прогнозирования цен WETH в цепочке может помочь смарт-контрактам принимать решения о транзакциях.
• Запуск моделей ИИ в частном порядке. Например, предприятие тратит много вычислительной мощности на обучение модели, надеясь предоставить услуги логического вывода с защитой конфиденциальности, или пользователь хочет обеспечить конфиденциальность. Использование ZKML может не только гарантировать конфиденциальность модели/ввода, но и доказать пользователю, что рассуждения выполняются правильно, реализуя ненадежные рассуждения.
• Применение ZKML
• ИИ в цепочке: поместите модель ИИ/обоснование ИИ в цепочку, чтобы смарт-контракты могли использовать ИИ для принятия решений. Например, внутрисетевая торговая система используется для принятия внутрисетевых инвестиционных решений.
• **Самоулучшающийся блокчейн: **Позвольте блокчейну использовать способность ИИ для постоянного улучшения и пересмотра стратегий на основе исторических данных. Например, система репутации в сети на основе ИИ.
• AIGC в цепочке: Контент/графика, созданная AIGC, преобразование Mint в сеть в NFT, ZK может подтвердить правильность процесса, в наборе данных не используются изображения, защищенные авторским правом, и т. д.
• Биометрическая аутентификация (KYC) кошелька: подтверждение распознавания лиц загружается в цепочку, и кошелек завершает KYC.
• Безопасность ИИ: используйте ИИ для обнаружения мошенничества, предотвращения атак Сивиллы и т. д.
• Игры ZKML в цепочке: шахматисты с искусственным интеллектом в цепочке, персонажи NFT, управляемые нейронными сетями, и т. д.
• ZKML технически
• Цель: Преобразование нейронной сети в схему ZK Трудности: 1. Схема ZK не поддерживает числа с плавающей запятой, 2. Слишком большую нейронную сеть сложно преобразовать.
• Текущий прогресс:
• Самая ранняя библиотека ZKML была 2 года назад, а история развития всей технологии очень коротка. В настоящее время последняя библиотека ZKML поддерживает некоторую простую нейронную сеть ZK и применяется к блокчейну. Говорят, что базовую модель линейной регрессии можно загрузить в цепочку, а другие типы более мелких моделей нейронных сетей могут поддерживать цепочку доказательств. Но я видел очень мало демок, только рукописное распознавание цифр.
• **Некоторые инструменты утверждают, что поддерживают 100 млн параметров, а некоторые заявляют, что преобразуют GPT2 в схему ZK для создания доказательства ZK. **
• Направление развития:
• Network Quantization (сетевое квантование), преобразуйте числа с плавающей запятой в нейронной сети в числа с фиксированной запятой и облегчите нейронную сеть (ZK-дружественный).
• Попытка преобразовать нейронную сеть с ** крупномасштабными параметрами в схему ZK ** и повысить эффективность доказательства (расширить возможности ZK).
• Подведем итог:
• ZKML — это мост между ИИ и блокчейном, его значение состоит в том, чтобы позволить блокчейну воспринимать физический мир, позволять смарт-контрактам принимать решения и запускать модели ИИ с защитой конфиденциальности**, **это очень многообещающая технология. .
• История этой технологии очень коротка, но она развивается очень быстро.В настоящее время некоторые простые модели нейронных сетей могут быть преобразованы в схемы ZK, которые можно использовать для цепочки моделей или цепочки доказательств рассуждений. Но язык относительно сложен. В настоящее время Ddkang/zkml утверждает, что он может генерировать ZK-версию модели обработки естественного языка GPT2, Bert и Diffusion, но неясно, каков фактический эффект. Он может работать, но не может для загрузки в цепочку. Я считаю, что с развитием технологии сетевых томов, технологии ZK и технологии расширения блокчейна языковая модель ZKML скоро станет доступной.

1. История

(Если вы что-то знаете о ZK, ML, можете пропустить эту главу).

• **Доказательство с нулевым разглашением (ZK): **Доказательство с нулевым разглашением означает, что доказывающий может убедить проверяющего в правильности определенного утверждения, не предоставляя проверяющему никакой полезной информации. ZK в основном используется для подтверждения правильности процесса расчета и защиты конфиденциальности.
• Докажите правильность процесса расчета: возьмем в качестве примера ZK-свертку, операция ZK-свертки заключается в простом объединении нескольких транзакций, публикации их на L1 и одновременной выдаче доказательства (используя технология доказательства с нулевым разглашением), чтобы заявить, что эти транзакции действительны, как только на L1 будет проверено, что они действительны, состояние zk-rollup будет обновлено.
• Защита конфиденциальности: взяв в качестве примера протокол Aztec, активы на zk.money Aztec существуют в форме счетов, аналогично UTXO Биткойна, сумма счета зашифрована, когда пользователю необходимо перевести деньги , вексель необходимо уничтожить и создать новые заметки как получателю, так и себе (изменить). Доказательство с нулевым разглашением используется для защиты конфиденциальности, чтобы доказать, что сумма уничтоженной заметки такая же, как и у вновь созданной заметки, и пользователь имеет право контролировать заметку.
• Машинное обучение: Машинное обучение — это ветвь искусственного интеллекта. Теория машинного обучения в основном предназначена для разработки и анализа некоторых алгоритмов, которые позволяют компьютерам «обучаться» автоматически. Алгоритмы машинного обучения автоматически анализируют и получают законы из данных, а также используют законы для прогнозирования неизвестных данных. Машинное обучение широко используется в компьютерном зрении, обработке естественного языка, биометрическом распознавании, поисковых системах, медицинской диагностике, обнаружении мошенничества с кредитными картами, анализе рынка ценных бумаг, секвенировании ДНК, распознавании речи и рукописного ввода, играх и робототехнике.

**2. Какую проблему решает ZKML? **

ZKML — это область исследований и разработок, вызвавшая ажиотаж в криптографическом сообществе за последние два года. Используя доказательство с нулевым разглашением для машинного обучения**, основная цель этой технологии — использовать доказательство с нулевым разглашением для решения проблем защиты конфиденциальности и поддающихся проверке проблем машинного обучения. Таким образом, маленькую модель или ZKP рассуждений можно загрузить в цепочку и стать мостом между ИИ и блокчейном:

• Связывание моделей: модели машинного обучения могут быть преобразованы в схемы ZK, а небольшие модели ZKML могут храниться в смарт-контракте блокчейна. Пользователи могут использовать модель, вызывая методы смарт-контракта. Например, RockyBot из Modulus Labs создал модель ИИ в цепочке для прогнозирования цены WETH для принятия торговых решений.
• Доказательство рассуждений модели и т. д. в цепочке: преобразуйте модель ML в схему ZK, выполните рассуждения вне цепочки и сгенерируйте доказательство ZK. Доказательства ZK могут доказать, что процесс рассуждения выполняется правильно. Результаты рассуждений и доказательство ZK передаются в цепочку для справки вызывающей стороной и подтверждения проверки смарт-контракта.

** Каково значение доказательства модели/рассуждения в цепочке? **

• Пусть блокчейн воспринимает физический мир. Например: модель распознавания лиц, работающая на блокчейне, может воспринимать лицо для блокчейна, а модель ИИ на блокчейне может понимать, что лицо может быть женщиной, сколько ей лет и т. д.
• Включение смарт-контрактов для принятия решений. Например: модель прогнозирования цен WETH в цепочке может помочь смарт-контрактам принимать решения о транзакциях.
• Запуск моделей ИИ в частном порядке. Например, предприятие тратит много вычислительной мощности на обучение модели, надеясь предоставить услуги логического вывода с сохранением конфиденциальности, или пользователь хочет обеспечить конфиденциальность. Использование ZKML может не только гарантировать конфиденциальность модели/ввода, но и доказать пользователю, что рассуждения выполняются правильно, реализуя ненадежные рассуждения.

Доказательство с нулевым разглашением подтверждает роль ZKML:

** 1. Защита конфиденциальности: защита конфиденциальности входных данных в модели машинного обучения или в процессе прогнозирования. **

• ** Конфиденциальность данных (общедоступная модель + личные данные): ** У меня есть некоторые конфиденциальные данные, такие как медицинские данные, изображения лиц и т. д. Я могу использовать ZKML для защиты конфиденциальности входных данных, запустить общедоступную модель нейронной сети для этих данных и получить результат. Например, модели распознавания лиц,
• Конфиденциальность модели (частная модель + общедоступные данные): например, я трачу много денег на обучение модели. Я не хочу раскрывать свою модель, поэтому мне нужно защитить конфиденциальность модели. Я могу использовать ZKML для запуска модели частной нейронной сети, которая сохраняет конфиденциальность, и эта модель может делать выводы из общедоступных входных данных для получения выходных данных.

** 2. Проверяемость: ZKP используется для подтверждения правильности выполнения процесса рассуждений ML, что делает процесс машинного обучения поддающимся проверке. **

• Предположим, выполнение модели не на моем сервере, но мне нужно убедиться, что предположение выполняется правильно. Я могу использовать ZKML для выполнения вывода на входе и модели, он производит вывод, ZKP может доказать, что этот процесс выполняется правильно, даже если запущенный процесс не на моем компьютере, я могу проверить правильность вывода с помощью проверка ЗКП реализована, а значит верим в результат.

3. Примеры использования ZKML

• ** ПОЛНОТА ВЫЧИСЛЕНИЙ **
• **Ончейн-ИИ (On-chain AI): **Разверните модель ИИ на блокчейне, чтобы смарт-контракты могли иметь возможности принятия решений через модель ИИ.
• Modulus Labs: RockyBot Поддающийся проверке торговый бот ML (поддающийся проверке торговый робот с машинным обучением на блокчейне)
• Самоулучшающийся блокчейн: Пусть блокчейн использует возможности ИИ для постоянного улучшения и корректировки стратегий на основе исторических данных.
• Расширенный AMM Lyra Finance с искусственным интеллектом.
• Создайте систему репутации на основе ИИ для Astraly.
• Создание функций соответствия на основе ИИ на уровне смарт-контрактов для протокола Aztec.
• Modulus Labs: Блокчейны, которые самосовершенствуются (ссылка):
• AIGC в цепочке: Контент/графика, созданная AIGC, преобразование Mint в сеть в NFT, ZK может подтвердить правильность процесса, в наборе данных не используются изображения, защищенные авторским правом, и т. д.
• ML as a Service (MLaaS) прозрачность (ссылка)
• Безопасность ИИ: используйте ИИ для обнаружения мошенничества, предотвращения атак Сивиллы и т. д. Модель обнаружения аномалий AI обучается по данным смарт-контракта, и контракт приостанавливается, если индикатор ненормальный, а ZK используется для обнаружения аномалии, чтобы доказать, что она находится в цепочке.
• Игры ZKML в цепочке: шахматисты с искусственным интеллектом в цепочке, персонажи NFT, управляемые нейронными сетями, и т. д.
• Поддающийся проверке эталонный тест модели ИИ: используйте ZK, чтобы предоставить подтверждение эталонного теста модели и обеспечить возможность проверки результатов тестирования производительности и эффекта модели.
• Доказательство правильности обучения модели: Поскольку обучение модели требует больших ресурсов, доказательство правильности обучения модели с помощью ZK в настоящее время недоступно, но многие люди считают, что технология осуществима, и пытаются использовать ZK, чтобы доказать это. модель использует определенные данные / не использует определенные данные для решения проблемы авторского права AIGC.
• защита конфиденциальности
• Биометрическая аутентификация/цифровая идентификация для кошельков *WordCoin сканирует радужную оболочку с помощью биометрического устройства Orb, предоставляя пользователям уникальную поддающуюся проверке цифровую идентификацию. WorldCoin работает над zkml, который планируется использовать для обновления World ID.После обновления пользователи смогут автономно хранить биометрические данные своей подписи в зашифрованном хранилище своих мобильных устройств, загружать модель ML, сгенерированную кодом iris, и создавать доказательства с нулевым разглашением локально, доказывая, что его код радужной оболочки действительно был сгенерирован из изображения подписи с использованием правильной модели.
• Боунти-платформа машинного обучения на основе блокчейна
• Компания выдает вознаграждения и предоставляет публичные и частные данные. Общедоступные данные используются для обучения модели, а частные данные используются для прогнозирования. Некоторые службы ИИ обучают модель и превращают ее в схему ZK. Зашифруйте модель и отправьте ее в контракт для проверки. Для частных данных делайте прогнозы, получайте результаты и генерируйте доказательства ZK, которые отправляются в контракт для проверки. Поставщики услуг ИИ получают вознаграждение после выполнения ряда операций. zkML: Демо для circomlib-ml в тестовой сети Goerli
• Рассуждения о сохранении конфиденциальности: например, использование личных данных пациента для медицинской диагностики и последующая отправка конфиденциальных выводов (например, результатов обнаружения рака) пациенту. (документ vCNN, стр. 2/16)

4. Макет ZKML

Судя по макету ZKML, организованному SevenX Ventures.

• Аппаратное ускорение: Многие организации активно разрабатывают аппаратное ускорение ZKP, что также способствует развитию ZKML. Как правило, для ускорения генерации ZKP используются чипы FPGA, GPU и ASIC. Например: Accseal разрабатывает чипы ASIC для аппаратного ускорения ZKP, а Ingonyama создает библиотеку ускорения ZK ICIClE, предназначенную для графических процессоров, поддерживающих CUDA. Supranational занимается ускорением GPU, Cysic и Ulvetanna — ускорением FPGA.
• Ввод: для использования ввода данных по цепочке Axiom, Herodotus, Hyper Oracle, Lagrange улучшат доступ пользователей к данным блокчейна и предоставят более сложные представления данных по цепочке. Затем входные данные машинного обучения можно извлечь из импортированных исторических данных.
• обоснование: ModulusLabs разрабатывает новую систему zkSNARK специально для ZKML. Эта часть может быть объединена с набором инструментов ZKML, в основном для ZKизации модели и набора инструментов, необходимого в процессе ZKization. Giza — это платформа машинного обучения на базе StarkNet*, которая *сосредоточена на полностью сетевой модели масштабировании развертывания.
• Вычисления: сосредоточьтесь на создании децентрализованной вычислительной сети для обучения моделей ИИ, доступных для всех. Они позволяют людям использовать ресурсы периферийных вычислений для обучения моделей ИИ с меньшими затратами.
• Децентрализованное обучение/вычислительные мощности. Сосредоточьтесь на создании децентрализованной вычислительной сети для обучения моделей ИИ, доступных каждому. Они позволяют людям использовать ресурсы периферийных вычислений для обучения моделей ИИ с меньшими затратами.
• Набор инструментов ZKML: см. главу 5 «История развития технологий». ZAMA на рисунке в основном использует полностью гомоморфное шифрование (FHE) для защиты конфиденциальности машинного обучения.По сравнению с ZKML, FHEML обеспечивает только конфиденциальность и не выполняет проверку без доверия.
• Случай использования: Worldcoin, использующий ZKML для аутентификации цифровой личности. Биометрические данные подписи пользователя шифруются и хранятся на устройстве пользователя, а модель машинного обучения распознавания радужной оболочки глаза на основе ZK запускает модель во время распознавания личности, чтобы проверить, совпадают ли биометрические данные. Используйте ZKP, чтобы доказать правильность запущенного процесса. Modulars Labs — это торговый робот с искусственным интеллектом в сети. Кэти EIP7007, стандарт zkML AIGC-NFT. Шахматисты с искусственным интеллектом в цепочке, персонажи NFT, управляемые нейронными сетями, и т. д.

5.История развития технологии ZKML

Основные проблемы при превращении нейронной сети в схему ZK:

1. Схемы требуют операций с фиксированной запятой, но числа с плавающей запятой широко используются в нейронных сетях.
2. Проблема размера модели, преобразование больших моделей затруднено, а схема большая.

История развития библиотеки ZKML такова:

1.2021, zk-ml/linear-regression-demo, Пейюань Ляо

• Реализована схема линейной регрессии.Линейная регрессия - это очень простой алгоритм прогнозирования, который предполагает линейную связь между выходной переменной и входной переменной и подходит для прогнозирования числовых переменных и изучения взаимосвязи между двумя или более переменными. Например: прогнозирование цен на жилье на основе размера дома и других характеристик или прогнозирование будущих продаж на основе исторических данных о продажах и т. д.

2.2022 年, 0xZKML/zk-mnist, 0xZKML

• Сделал схему ZK нейронной сети на основе набора данных MNIST, которая умеет распознавать рукописные числа. Например: рукописный ввод числа 2, почерк распознается как 2, и генерируется доказательство процесса рассуждений**. **Доказательство может быть загружено в цепочку, а доказательство в цепочке может быть проверено с помощью эфиров + snarkjs.
• На самом деле библиотека zk-mnist в настоящее время преобразует в схему только последний слой, но не преобразует всю нейронную сеть в схему.

3. 2022, socathie/zkML, Кэти

• По сравнению с zk-mnist, ZKML преобразует полную нейронную сеть в схему. ZkMachineLearning Кэти предоставляет несколько наборов инструментов ZKML cirocmlib-ml и keras2circom, которые помогают инженерам машинного обучения преобразовывать модели в схемы.

4. ноябрь 2022 г., zk-ml/uchikoma, Пейюань Ляо

• Перевести операции с плавающей запятой в нейронных сетях на операции с фиксированной запятой. Создан общий инструмент и инфраструктура с открытым исходным кодом, которые преобразуют практически любой алгоритм машинного обучения в схему доказательства с нулевым разглашением, которая легко интегрируется с блокчейнами.
• Визуальная модель -> AIGC
• Языковая модель -> чат-бот, помощник по письму
• Линейные модели и деревья решений -> Обнаружение мошенничества, предотвращение атак Сивиллы
• Мультимодальная модель -> рекомендательная система
• Обучил модель машинного обучения генерации контента (AIGC), дружественную к блокчейну, и преобразовал ее в схему ZK. Используйте его для создания иллюстраций, создания кратких ZK-пруфов и, наконец, отчеканьте иллюстрацию в NFT.

5. июль 2022 г., обновлено в марте 2023 г., zkonduit/ezkl

• ezkl — это библиотека и инструмент командной строки для вывода моделей глубокого обучения и других вычислительных графов в zk-snark (ZKML). Используйте Halo2 в качестве системы доказательства.
• Можно определить расчетный граф, такой как нейронная сеть, а затем использовать ezkl для создания схемы ZK-SNARK. ZKP, сгенерированные для логического вывода, можно проверить с помощью смарт-контрактов.
• Говорят, что эта модель может поддерживать 100 млн параметров, но она может потреблять много ресурсов.

6. Май 2023 г., Ddkang/zkml (ссылка)

• zkml утверждает, что использует ZK для преобразования моделей GPT2, Bert и Diffusion. Но это может использовать много памяти, и неясно, можно ли хранить доказательство в смарт-контракте.
• zkml может проверить выполнение модели с точностью 92,4% в ImageNet, а также может проверить модель MNIST с точностью 99% за за четыре секунды.

7. Май 2023, zkp-gravity/0g

• Легкая нейронная сеть, поддерживающая частные данные + публичная модель.

В целом мы можем видеть текущее направление развития технологии ZKML:

1. Сетевое квантование, преобразование чисел с плавающей запятой в нейронной сети в числа с фиксированной запятой и облегчение нейронной сети (дружественно к ZK).
2. Попробуйте преобразовать нейронную сеть с крупномасштабными параметрами в схему ZK и повысить эффективность доказательства (расширить возможности ZK).

6. Резюме

1. ZKML — это мост между ИИ и блокчейном. Его значение состоит в том, чтобы позволить **блокчейну воспринимать физический мир, позволять смарт-контрактам принимать решения и запускать модели ИИ с защитой конфиденциальности.Это очень многообещающая технология. .
2. История ZKML очень коротка, а его развитие очень быстрое. В настоящее время некоторые простые модели нейронных сетей могут быть преобразованы в схемы ZK, а модели могут быть загружены в цепочку или доказательства рассуждений могут быть загружены в цепочку. Языковая модель относительно сложна.В настоящее время Ddkang/zkml утверждает, что может генерировать ZK-версию модели GPT2, Bert и Diffusion. Я считаю, что с развитием технологии сетевых томов, технологии ZK и технологии расширения блокчейна языковая модель ZKML скоро станет доступной.