Импульсные нейросети и нейрочипы — перспектива развития искусственного интеллекта

690 1

Как работают импульсные нейросети и почему для них важно создавать специализированные вычислители — нейрочипы? Какие бывают нейрочипы, чем они отличаются от обычных и насколько схожи по принципам организации и возможностям с биологическим мозгом? Поговорим о том, какие исследования импульсных нейронных сетей сейчас проводятся в лабораториях мира, а также о будущем нейроморфных чипов и областях их применения.

Меня зовут Михаил Киселев, я доцент кафедры актуарной математики Чувашского государственного университета. Последние несколько лет я занимаюсь изучением импульсных нейронных сетей (ИНС). Мне нравится работать в этой сфере, потому что мы решаем, возможно, самую сложную задачу в истории человечества, а как сказал один боксер: «Надо выбирать самую большую цель, тогда точно не промахнешься».

В этой статье я расскажу, чем импульсные нейронные сети отличаются от обычных, в чем главная сложность их обучения, почему создатели российского чипа «Алтай» совершили подвиг и какие исследования в лаборатории нейроморфных вычислений Чувашского госуниверситета мы проводим с помощью нейроморфного чипа Loihi от Intel. Приступим.

Чем работа импульсных нейронных сетей похожа на работу мозга и какие преимущества это дает

Отличие импульсных нейронных сетей от обычных можно сформулировать в двух простых тезисах, которые, однако, влекут за собой далеко идущие последствия.

Во-первых, в отличие от обычных нейронных сетей, где нейроны обмениваются друг с другом, по сути, числами, импульсные нейросети сети посылают друг другу некие бескачесвенные события — примерно так же, как это происходит у нас в голове. В мозге нейроны обмениваются нервными импульсами — они очень короткие и всегда имеют одну и ту же амплитуду и малую длительность. Кроме того, сам по себе такой импульс неинформативен и всегда одинаков. Поэтому информация кодируется многими импульсами.

То есть в отличие от обычных нейросетей, где нужно обработать какое-то число, поступившее на вход, на что-то его перемножить, с чем-то сложить и так далее, обработка импульсов в ИНС происходит быстрее и эффективнее. Подробнее об этом процессе мы говорим на лекции, размещенной выше в материалах статьи.

Во-вторых, в импульсной нейронной сети нейроны работают асинхронно. Что это означает? Обычная нейронная сеть, как мы знаем, слоистая. То есть сначала мы должны посчитать один слой, потом второй, третий и так далее, и пока мы не посчитали нижний слой, верхний посчитан не будет.

В импульсных сетях нейроны работают асинхронно. Они обмениваются импульсами — то есть спайками — совершенно независимо друг от друга по аналогии с нейронами у нас в голове. Ведь в нашем мозге нет какого-то одного сигнала, который бы охватывал его полностью и синхронизировал бы работу всех нейронов, — это просто невозможно, потому что нейронов очень много. В импульсных нейроморфных сетях такая же ситуация. Поскольку мы хотим построить очень большие системы, тотальная синхронизация нам не нужна — иначе такая сеть будет сложно масштабироваться. Поэтому в ИНС нейроны ведут себя по отношению друг к другу независимо.

В результате благодаря этим отличиям мы получаем следующие преимущества:

большая энергоэффективность,
простота итераций,
масштабируемость.

Кроме того, поскольку никакого протокола взаимодействия между нейронами или между нейронами и окружающей средой не предполагается, мы фактически можем свободно обрабатывать любые потоки данных. То есть никак не привязываясь к разбиению данных на обучающие или тестовые, как это происходит при обучении традиционных нейронных сетей, где есть жесткий протокол. В реальности ведь люди учатся в другом режиме, при котором происходит свободный обмен информацией. Нам бы хотелось, чтобы такой нефиксированный протокол был реализован и в случае с нейронной сетью. Однако на данный момент такой системы нет.

Почему сегодня нет единого решения для обучения импульсных нейронных сетей

В традиционных нейронных сетях обучение довольно единообразно и основано практически всегда на градиентных методах. В сущности, эти методы базируются на том, что традиционные сети непрерывны. Если говорить о них как о функциях — это достаточно гладкие многомерные нелинейные функции.

Импульсные нейронные сети не являются гладкими, они дискретны по своей природе и ведут себя по принципу «всё или ничего»: либо импульс есть, либо его нет. Поэтому градиентные методы не годятся. И на данный момент единого фундамента, который позволял бы строить эффективные методы обучения таких сетей и применять их в разных областях, нет.

Сейчас в работе с ИНС используются статистические подходы, системы нелинейных уравнений, теории динамических систем: бифуркации, аттракторы, вся нелинейная динамика. Кроме того, применяется физика — например, методы среднего поля. Их суть в том, что сначала пишется уравнение про то, как устроена динамика маленького элемента по отношению к большой системе, а затем уравнение о том, как динамика каждого маленького элемента отражается на состоянии системы в целом.

Не исключено, что, для того чтобы построить эффективные методы обучения импульсных сетей, понадобится совсем новая математика и физика, так как это необычные системы и, возможно, правильный подход еще не выработан.

Что такое нейроморфные чипы и как они работают

Для моделирования импульсных нейронных сетей сегодня используются нейроморфные чипы. Это совсем новый тип электроники, который появился недавно: первый чип был создан в 2014 году.

Нейроморфные чипы отличаются от обычных тем, что в них нет универсальных вычислителей, то есть они не годятся для того, чтобы выполнить на них любую программу. При этом в таком нейрочипе тысячи простых вычислительных устройств, независимо друг от друга выполняющих очень простые операции, связанные с моделированием маленьких кусочков нейронной сети, — это специализированные распределенные вычисления, которые производятся быстро и параллельно.

Такие процессоры не подчиняются обычной архитектуре фон Неймана, где есть центральный процессор и память и где постоянно происходит перемещение данных между ними. В нейрочипах ничего подобного нет, поэтому нет и «бутылочного горлышка фон Неймана», которое тормозит вычисления: если у вас несколько процессоров и они одновременно идут в память, то пока один не достанет то, что ему надо, второй ничего не сможет сделать; в связи с этим параллельные вычисления на обычных процессорах делать нельзя. Поскольку в нейрочипах память находится в некотором смысле в том же месте, где и вычислитель, работают они в разы эффективнее.

Что в ЧГУ изучают с помощью нейроморфного чипа Loihi

В лаборатории нейроморфных вычислений Чувашского госуниверситета мы уже два года проводим исследвания с помощью нейроморфного чипа Loihi от Intel. Самого чипа, конечно же, нет ни в нашей лаборатории, ни где бы то ни было в России, потому что его нельзя импортировать ни в нашу страну, ни, например, в Китай. Но у нас есть удаленный доступ на серверы, где установлены платы с чипами, и мы можем в этой системе работать.

Сейчас у нас происходит переход с Loihi 1 на недавно представленную новую версию — Loihi 2. На Loihi 1 один из важных вопросов, которые мы решали, заключался в том, какие классы моделей нейронов и синаптической пластичности — основного механизма реализации памяти и обучения — реализуемы на этом процессоре. На самом деле выяснилось, что, несмотря на то, что это очень мощный чип, реализовать на нем можно далеко не всё. И одним из результатов нашей работы была подготовка рекомендаций о том, как можно было бы расширить функциональность этого чипа.

Loihi 2 функционально богаче. И сейчас мы работаем над созданием эффективных алгоритмов обучения для этого чипа и занимаемся уже сущностными вопросами. Например, как должна быть устроена синаптическая пластичность, чтобы эффективно решать те или иные задачи обучения?

Какие проекты по созданию нейроморфных чипов существуют в России

Главный российский проект в этой сфере — создание чипа «Алтай». О других значимых разработках я пока не слышал.

«Алтай» уже полностью разработан, и есть даже небольшие пробные партии этих чипов. По сути, российская разработка является аналогом чипа IBM TrueNorth. Существующая версия, как и TrueNorth, не обучается, на нее нужно транслировать уже обученную нейронную сеть. Этот чип не заточен под какие-то специальные задачи, но так как на нем могут работать любые сверточные нейросети, с помощью которых сегодня можно делать многое, все их функции можно реализовать и на «Алтае».

Тем не менее есть и специализированные задачи. На мой взгляд, нейропроцессоры вызывают необходимость появления устройств, которые шлют информацию, уже закодированную в спайках, и наоборот — такие устройства требуют обработки импульсными нейронными сетями.

Один из примеров — анализ сигнала с DVS-камер. Как и нейроморфные чипы, это довольно новая технология. Такие камеры работают не как обычные: они записывают только изменения. Если картинка статична и ничего не меняется, камера ничего не передает, как только яркость одно пикселя увеличивается, камера шлет импульс по одному каналу, связанному с этим пикселем, если уменьшилась — по другому. В результате получается, что информация с DVS-камер в тысячи раз меньше, чем с обычной камеры, но передается она в виде спайков, то есть импульсов. Потому обрабатывать эти данные должны процессоры, способные обрабатывать импульсы. «Алтай» идеально подходит для решения этой задачи.

Какие задачи в области нейроморфных чипов в России предстоит решить в будущем

Сейчас я всячески продвигаю мысль о том, что необходимо делать «Алтай» следующего поколения с возможностью обучения импульсных нейронных сетей. Эта задача требует принципиально нового функционала и принципиально новых решений на уровне электроники и дизайна микросхем, а также больших ресурсов.

Конечно, очень плохо, что «Алтай» — единственный подобный проект в России. Я, кстати, считаю, что люди, которые его реализовали, совершили подвиг. Потому что сделать то же самое, что сделала IBM, по сути, на коленке, с минимальным финансированием и просто на голом энтузиазме — это подвиг.

Дальше, конечно, так продолжаться не может. Надо подключать к этому серьезные структуры, с крупными производственными и финансовыми мощностями. Такие в нашей стране есть — например, НПЦ «Модуль», «Байкал», НПЦ «Элвис». Я однозначно вижу, что это направление нам придется развивать. Так как, на мой взгляд, есть только один стратегический путь развития нейроинтеллекта — это импульсные нейронные сети.