Меня зовут Михаил Киселев, я доцент кафедры актуарной математики Чувашского государственного университета. Последние несколько лет я занимаюсь изучением импульсных нейронных сетей (ИНС). Мне нравится работать в этой сфере, потому что мы решаем, возможно, самую сложную задачу в истории человечества, а как сказал один боксер: «Надо выбирать самую большую цель, тогда точно не промахнешься».
В этой статье я расскажу, чем импульсные нейронные сети отличаются от обычных, в чем главная сложность их обучения, почему создатели российского чипа «Алтай» совершили подвиг и какие исследования в лаборатории нейроморфных вычислений Чувашского госуниверситета мы проводим с помощью нейроморфного чипа Loihi от Intel. Приступим.
Чем работа импульсных нейронных сетей похожа на работу мозга и какие преимущества это дает
Отличие импульсных нейронных сетей от обычных можно сформулировать в двух простых тезисах, которые, однако, влекут за собой далеко идущие последствия.
Во-первых, в отличие от обычных нейронных сетей, где нейроны обмениваются друг с другом, по сути, числами, импульсные нейросети сети посылают друг другу некие бескачесвенные события — примерно так же, как это происходит у нас в голове. В мозге нейроны обмениваются нервными импульсами — они очень короткие и всегда имеют одну и ту же амплитуду и малую длительность. Кроме того, сам по себе такой импульс неинформативен и всегда одинаков. Поэтому информация кодируется многими импульсами.
То есть в отличие от обычных нейросетей, где нужно обработать какое-то число, поступившее на вход, на что-то его перемножить, с чем-то сложить и так далее, обработка импульсов в ИНС происходит быстрее и эффективнее. Подробнее об этом процессе мы говорим на лекции, размещенной выше в материалах статьи.
Во-вторых, в импульсной нейронной сети нейроны работают асинхронно. Что это означает? Обычная нейронная сеть, как мы знаем, слоистая. То есть сначала мы должны посчитать один слой, потом второй, третий и так далее, и пока мы не посчитали нижний слой, верхний посчитан не будет.
В импульсных сетях нейроны работают асинхронно. Они обмениваются импульсами — то есть спайками — совершенно независимо друг от друга по аналогии с нейронами у нас в голове. Ведь в нашем мозге нет какого-то одного сигнала, который бы охватывал его полностью и синхронизировал бы работу всех нейронов, — это просто невозможно, потому что нейронов очень много. В импульсных нейроморфных сетях такая же ситуация. Поскольку мы хотим построить очень большие системы, тотальная синхронизация нам не нужна — иначе такая сеть будет сложно масштабироваться. Поэтому в ИНС нейроны ведут себя по отношению друг к другу независимо.
В результате благодаря этим отличиям мы получаем следующие преимущества:
- большая энергоэффективность,
- простота итераций,
- масштабируемость.
Кроме того, поскольку никакого протокола взаимодействия между нейронами или между нейронами и окружающей средой не предполагается, мы фактически можем свободно обрабатывать любые потоки данных. То есть никак не привязываясь к разбиению данных на обучающие или тестовые, как это происходит при обучении традиционных нейронных сетей, где есть жесткий протокол. В реальности ведь люди учатся в другом режиме, при котором происходит свободный обмен информацией. Нам бы хотелось, чтобы такой нефиксированный протокол был реализован и в случае с нейронной сетью. Однако на данный момент такой системы нет.
Почему сегодня нет единого решения для обучения импульсных нейронных сетей
В традиционных нейронных сетях обучение довольно единообразно и основано практически всегда на градиентных методах. В сущности, эти методы базируются на том, что традиционные сети непрерывны. Если говорить о них как о функциях — это достаточно гладкие многомерные нелинейные функции.
Импульсные нейронные сети не являются гладкими, они дискретны по своей природе и ведут себя по принципу «всё или ничего»: либо импульс есть, либо его нет. Поэтому градиентные методы не годятся. И на данный момент единого фундамента, который позволял бы строить эффективные методы обучения таких сетей и применять их в разных областях, нет.
Сейчас в работе с ИНС используются статистические подходы, системы нелинейных уравнений, теории динамических систем: бифуркации, аттракторы, вся нелинейная динамика. Кроме того, применяется физика — например, методы среднего поля. Их суть в том, что сначала пишется уравнение про то, как устроена динамика маленького элемента по отношению к большой системе, а затем уравнение о том, как динамика каждого маленького элемента отражается на состоянии системы в целом.
Не исключено, что, для того чтобы построить эффективные методы обучения импульсных сетей, понадобится совсем новая математика и физика, так как это необычные системы и, возможно, правильный подход еще не выработан.
Что такое нейроморфные чипы и как они работают
Для моделирования импульсных нейронных сетей сегодня используются нейроморфные чипы. Это совсем новый тип электроники, который появился недавно: первый чип был создан в 2014 году.
Нейроморфные чипы отличаются от обычных тем, что в них нет универсальных вычислителей, то есть они не годятся для того, чтобы выполнить на них любую программу. При этом в таком нейрочипе тысячи простых вычислительных устройств, независимо друг от друга выполняющих очень простые операции, связанные с моделированием маленьких кусочков нейронной сети, — это специализированные распределенные вычисления, которые производятся быстро и параллельно.
Такие процессоры не подчиняются обычной архитектуре фон Неймана, где есть центральный процессор и память и где постоянно происходит перемещение данных между ними. В нейрочипах ничего подобного нет, поэтому нет и «бутылочного горлышка фон Неймана», которое тормозит вычисления: если у вас несколько процессоров и они одновременно идут в память, то пока один не достанет то, что ему надо, второй ничего не сможет сделать; в связи с этим параллельные вычисления на обычных процессорах делать нельзя. Поскольку в нейрочипах память находится в некотором смысле в том же месте, где и вычислитель, работают они в разы эффективнее.
Что в ЧГУ изучают с помощью нейроморфного чипа Loihi
В лаборатории нейроморфных вычислений Чувашского госуниверситета мы уже два года проводим исследвания с помощью нейроморфного чипа Loihi от Intel. Самого чипа, конечно же, нет ни в нашей лаборатории, ни где бы то ни было в России, потому что его нельзя импортировать ни в нашу страну, ни, например, в Китай. Но у нас есть удаленный доступ на серверы, где установлены платы с чипами, и мы можем в этой системе работать.
Сейчас у нас происходит переход с Loihi 1 на недавно представленную новую версию — Loihi 2. На Loihi 1 один из важных вопросов, которые мы решали, заключался в том, какие классы моделей нейронов и синаптической пластичности — основного механизма реализации памяти и обучения — реализуемы на этом процессоре. На самом деле выяснилось, что, несмотря на то, что это очень мощный чип, реализовать на нем можно далеко не всё. И одним из результатов нашей работы была подготовка рекомендаций о том, как можно было бы расширить функциональность этого чипа.
Loihi 2 функционально богаче. И сейчас мы работаем над созданием эффективных алгоритмов обучения для этого чипа и занимаемся уже сущностными вопросами. Например, как должна быть устроена синаптическая пластичность, чтобы эффективно решать те или иные задачи обучения?
Какие проекты по созданию нейроморфных чипов существуют в России
Главный российский проект в этой сфере — создание чипа «Алтай». О других значимых разработках я пока не слышал.
«Алтай» уже полностью разработан, и есть даже небольшие пробные партии этих чипов. По сути, российская разработка является аналогом чипа IBM TrueNorth. Существующая версия, как и TrueNorth, не обучается, на нее нужно транслировать уже обученную нейронную сеть. Этот чип не заточен под какие-то специальные задачи, но так как на нем могут работать любые сверточные нейросети, с помощью которых сегодня можно делать многое, все их функции можно реализовать и на «Алтае».
Тем не менее есть и специализированные задачи. На мой взгляд, нейропроцессоры вызывают необходимость появления устройств, которые шлют информацию, уже закодированную в спайках, и наоборот — такие устройства требуют обработки импульсными нейронными сетями.
Один из примеров — анализ сигнала с DVS-камер. Как и нейроморфные чипы, это довольно новая технология. Такие камеры работают не как обычные: они записывают только изменения. Если картинка статична и ничего не меняется, камера ничего не передает, как только яркость одно пикселя увеличивается, камера шлет импульс по одному каналу, связанному с этим пикселем, если уменьшилась — по другому. В результате получается, что информация с DVS-камер в тысячи раз меньше, чем с обычной камеры, но передается она в виде спайков, то есть импульсов. Потому обрабатывать эти данные должны процессоры, способные обрабатывать импульсы. «Алтай» идеально подходит для решения этой задачи.
Какие задачи в области нейроморфных чипов в России предстоит решить в будущем
Сейчас я всячески продвигаю мысль о том, что необходимо делать «Алтай» следующего поколения с возможностью обучения импульсных нейронных сетей. Эта задача требует принципиально нового функционала и принципиально новых решений на уровне электроники и дизайна микросхем, а также больших ресурсов.
Конечно, очень плохо, что «Алтай» — единственный подобный проект в России. Я, кстати, считаю, что люди, которые его реализовали, совершили подвиг. Потому что сделать то же самое, что сделала IBM, по сути, на коленке, с минимальным финансированием и просто на голом энтузиазме — это подвиг.
Дальше, конечно, так продолжаться не может. Надо подключать к этому серьезные структуры, с крупными производственными и финансовыми мощностями. Такие в нашей стране есть — например, НПЦ «Модуль», «Байкал», НПЦ «Элвис». Я однозначно вижу, что это направление нам придется развивать. Так как, на мой взгляд, есть только один стратегический путь развития нейроинтеллекта — это импульсные нейронные сети.
Что еще почитать и посмотреть о нейропоцессорах и импульсных нейронных сетях
- Альманах «Искусственный интеллект»
- Мою книгу «Импульсные нейронные сети: представление информации, обучение, память».
На этом у меня всё. Обязательно посмотрите мою лекцию, видеосъемка которой размещена в статье выше.
Будь первым, кто оставит комментарий