В стенах лаборатории нейроморфных вычислений Чувашского госуниверситета кипит научная работа. Уже более двух лет здесь проводятся исследования с помощью нейроморфного чипа Loihi от Intel. Самого чипа при этом нет ни в лаборатории, ни вообще в России: все эксперименты осуществляются в формате удалённого доступа. Об уникальной научной практике, специфике работы импульсных нейросетей, американских нейрочипах и их отечественном аналоге нам рассказал главный эксперт ЧГУ по нейроморфным вычислениям Михаил Киселев.
- как работают импульсные нейросети и почему для них важно создавать специализированные вычислители
- в чем главная сложность обучения импульсных нейросетей
- какие исследования импульсных нейронных сетей сейчас проводятся в лабораториях мира
- что представляет собой отечественный нейрочип «Алтай»
«Мы решаем, возможно, самую сложную задачу в истории человечества», — говорит Михаил Киселёв, сравнивая устройство нейрочипа с высшей нервной системой человека. Масштабность проблемы его не пугает, скорее, напротив, — воодушевляет. «Как сказал один боксёр, надо выбирать самую большую цель, тогда точно не промахнёшься», — поясняет он.
По словам Киселёва, отличие импульсных нейронных сетей от обычных можно сформулировать в двух простых тезисах, которые, однако, влекут за собой далеко идущие последствия.
Во-первых, в отличие от обычных нейронных сетей, где нейроны обмениваются друг с другом числами, импульсные нейросети (ИНС) посылают друг другу некие «бескачественные события» — примерно так же, как это происходит у нас в голове. В мозге нейроны обмениваются нервными импульсами — они очень короткие, всегда имеют малую длительность, одну и ту же амплитуду. Кроме того, сам по себе такой импульс неинформативен и всегда одинаков. Поэтому информация кодируется многими импульсами. То есть в отличие от обычных нейросетей, где нужно обработать какое-то число, поступившее на вход, на что-то его перемножить, с чем-то сложить и так далее, обработка импульсов в ИНС происходит быстрее и эффективнее.
Во-вторых, в импульсной нейронной сети нейроны работают асинхронно. Что это означает? Обычная нейронная сеть слоистая. То есть сначала мы должны посчитать один слой, потом второй, третий и так далее, и пока мы не посчитали нижний слой, верхний посчитан не будет.
В импульсных сетях нейроны работают асинхронно. Они обмениваются импульсами — то есть спайками — совершенно независимо друг от друга по аналогии с нейронами у нас в голове. Ведь в нашем мозге нет какого-то одного сигнала, который бы охватывал его полностью и синхронизировал бы работу всех нейронов, — это просто невозможно, потому что нейронов очень много. В импульсных нейроморфных сетях такая же ситуация.
Поскольку мы хотим построить очень большие системы, тотальная синхронизация нам не нужна — иначе такая сеть будет сложно масштабироваться. Поэтому в ИНС нейроны ведут себя по отношению друг к другу независимо.
Благодаря этим отличиям мы получаем такие преимущества, как большая энергоэффективность, простота итераций и масштабируемость.
Кроме того, поскольку никакого протокола взаимодействия между нейронами с себе подобными или между нейронами и окружающей средой не предполагается, мы фактически можем свободно обрабатывать любые потоки данных. То есть никак не привязываясь к разбиению данных на обучающие или тестовые, как это происходит при обучении традиционных нейронных сетей, где есть жёсткий протокол. В реальности ведь люди учатся в другом режиме, при котором происходит свободный обмен информацией. Нам бы хотелось, чтобы такой нефиксированный протокол был реализован и в случае с нейронной сетью. Однако на данный момент подобной системы нет.
Импульсные нейросети: выход из кризиса традиционных моделей
Почему нет единого решения для обучения импульсных нейросетей
В традиционных нейронных сетях обучение довольно единообразно и основано практически всегда на градиентных методах. В сущности, они базируются на том, что традиционные сети непрерывны. Если говорить о них как о функциях — это достаточно гладкие многомерные нелинейные функции.
Импульсные нейронные сети не являются гладкими, они дискретны по своей природе и ведут себя по принципу «всё или ничего»: либо импульс есть, либо его нет. Поэтому градиентные методы не годятся. И на данный момент единого фундамента, который позволял бы строить эффективные методы обучения таких сетей и применять их в разных областях, нет.
Сейчас в работе с ИНС используются статистические подходы, системы нелинейных уравнений, теории динамических систем: бифуркации, аттракторы, вся нелинейная динамика. Кроме того, применяется физика — например, методы среднего поля. Их суть в том, что сначала пишется уравнение про то, как устроена динамика маленького элемента по отношению к большой системе, а затем уравнение о том, как динамика каждого маленького элемента отражается на состоянии системы в целом.
Не исключено, что для того, чтобы построить эффективные методы обучения импульсных сетей, понадобятся совсем новые математика и физика, так как это необычные системы и, возможно, правильный подход еще не выработан.
Нейроморфные чипы и как они работают
Для моделирования импульсных нейронных сетей сегодня используются нейроморфные чипы. Это совсем новый тип электроники, который появился недавно: первый чип был создан в 2014 году.
Нейроморфные чипы отличаются от обычных тем, что в них нет универсальных вычислителей, то есть они не годятся для того, чтобы выполнить на них любую программу. При этом в таком нейрочипе тысячи простых вычислительных устройств, независимо друг от друга выполняющих очень простые операции, связанные с моделированием маленьких кусочков нейронной сети, — это специализированные распределенные вычисления, которые производятся быстро и параллельно.
Такие процессоры не подчиняются обычной архитектуре фон Неймана, где есть центральный процессор и память, и где постоянно происходит перемещение данных между ними.
В нейрочипах ничего подобного нет, поэтому нет и «бутылочного горлышка фон Неймана», которое тормозит вычисления: если у вас несколько процессоров и они одновременно обращаются к памяти, то пока один не достанет то, что ему надо, второй ничего не сможет сделать.
В связи с этим параллельные вычисления на обычных процессорах делать нельзя. Поскольку в нейрочипах память находится в некотором смысле в том же месте, где и вычислитель, работают они в разы эффективнее.
Что в ЧГУ изучают с помощью нейроморфного чипа Loihi
В лаборатории нейроморфных вычислений Чувашского госуниверситета возможности нейроморфного чипа Loihi от Intel изучаются уже два с лишним года. «Самого чипа, конечно же, нет где бы то ни было в России, потому что его нельзя импортировать ни в нашу страну, ни, например, в Китай. Но у нас есть удаленный доступ на серверы, где установлены платы с чипами, и мы можем в этой системе работать», — говорит Киселёв.
Сейчас команда Киселёва переходит с Loihi 1 на недавно представленную новую версию — Loihi 2.
«На Loihi 1 один из важных вопросов, которые мы решали, заключался в том, какие классы моделей нейронов и синаптической пластичности — основного механизма реализации памяти и обучения — реализуемы на этом процессоре. На самом деле выяснилось, что, несмотря на то, что это очень мощный чип, реализовать на нём можно далеко не всё. И одним из результатов нашей работы была подготовка рекомендаций о том, как можно было бы расширить функциональность этого чипа», — поясняет Михаил. — Loihi 2 функционально богаче. И сейчас мы работаем над созданием эффективных алгоритмов обучения для этого чипа и занимаемся уже сущностными вопросами. Например, как должна быть устроена синаптическая пластичность, чтобы эффективно решать те или иные задачи обучения".
Нейрочипы в России
Главный российский проект в этой сфере — создание чипа «Алтай». Этот чип уже полностью разработан, и есть даже небольшие пробные партии. По сути, российская разработка является аналогом чипа IBM TrueNorth. Существующая версия, как и TrueNorth, не обучается, на неё нужно транслировать уже обученную нейронную сеть. Также этот чип не предназначен для решения каких-то специальных задач, но так как на нём могут работать любые свёрточные нейросети, с помощью которых сегодня можно делать многое, все их функции можно реализовать и на «Алтае».
Тем не менее, есть и специализированные задачи. Например, нейропроцессоры вызывают необходимость появления устройств, которые шлют информацию, уже закодированную в спайках, и наоборот — такие устройства требуют обработки импульсными нейронными сетями.
Один из примеров — анализ сигнала с DVS-камер. Как и нейроморфные чипы, это довольно новая технология. Такие камеры работают не как обычные: они записывают только изменения. Если картинка статична и ничего не меняется, камера ничего не передает, как только яркость одного пикселя увеличивается, камера шлет импульс по одному каналу, связанному с этим пикселем, если уменьшилась — по другому.
В результате получается, что информации с DVS-камер в тысячи раз меньше, чем с обычной камеры, но передается она в виде спайков, то есть импульсов. Потому обрабатывать эти данные должны процессоры, способные обрабатывать импульсы. «Алтай» идеально подходит для решения этой задачи.
Какие вызовы в области нейроморфных чипов предстоит преодолеть в будущем
Михаил Киселёв убежден: российским ученым необходимо делать «Алтай» следующего поколения с возможностью обучения импульсных нейронных сетей. Эта задача требует принципиально новой функциональности и принципиально новых решений на уровне электроники и дизайна микросхем, а также больших ресурсов.
Конечно, очень плохо, что «Алтай» — единственный подобный проект в России. Но я считаю, что люди, которые его реализовали, совершили подвиг. Потому что сделать то же самое, что сделала IBM, по сути, на коленке, с минимальным финансированием и просто на голом энтузиазме — это подвиг.
По словам Киселёва, дальше так продолжаться не может. Необходимо подключать к проекту серьёзные структуры с крупными производственными и финансовыми мощностями.
«Такие в нашей стране есть — например, НПЦ „Модуль“, „Байкал“, НПЦ „Элвис“. Я однозначно вижу, что это направление нам придется развивать. Так как, на мой взгляд, есть только один стратегический путь развития нейроинтеллекта — это импульсные нейронные сети», — заключил Киселёв.
