приборы

Новые импульсы: нейросети и нейрочипы как перспектива развития искусственного интеллекта

приборы
1043
0
30 ноября 2021
Новые импульсы: нейросети и нейрочипы как перспектива развития искусственного интеллекта
1043
0
30/11/2021

В стенах лаборатории нейроморфных вычислений Чувашского госуниверситета кипит научная работа. Уже более двух лет здесь проводятся исследования с помощью нейроморфного чипа Loihi от Intel. Самого чипа при этом нет ни в лаборатории, ни вообще в России: все эксперименты осуществляются в формате удалённого доступа. Об уникальной научной практике, специфике работы импульсных нейросетей, американских нейрочипах и их отечественном аналоге нам рассказал главный эксперт ЧГУ по нейроморфным вычислениям Михаил Киселев.

«Мы решаем, возможно, самую сложную задачу в истории человечества», — говорит Михаил Киселёв, сравнивая устройство нейрочипа с высшей нервной системой человека. Масштабность проблемы его не пугает, скорее, напротив, — воодушевляет. «Как сказал один боксёр, надо выбирать самую большую цель, тогда точно не промахнёшься», — поясняет он.

По словам Киселёва, отличие импульсных нейронных сетей от обычных можно сформулировать в двух простых тезисах, которые, однако, влекут за собой далеко идущие последствия.

Во-первых, в отличие от обычных нейронных сетей, где нейроны обмениваются друг с другом числами, импульсные нейросети (ИНС) посылают друг другу некие «бескачественные события» — примерно так же, как это происходит у нас в голове. В мозге нейроны обмениваются нервными импульсами — они очень короткие, всегда имеют малую длительность, одну и ту же амплитуду. Кроме того, сам по себе такой импульс неинформативен и всегда одинаков. Поэтому информация кодируется многими импульсами. То есть в отличие от обычных нейросетей, где нужно обработать какое-то число, поступившее на вход, на что-то его перемножить, с чем-то сложить и так далее, обработка импульсов в ИНС происходит быстрее и эффективнее.

Во-вторых, в импульсной нейронной сети нейроны работают асинхронно. Что это означает? Обычная нейронная сеть слоистая. То есть сначала мы должны посчитать один слой, потом второй, третий и так далее, и пока мы не посчитали нижний слой, верхний посчитан не будет.

Поскольку мы хотим построить очень большие системы, тотальная синхронизация нам не нужна — иначе такая сеть будет сложно масштабироваться. Поэтому в ИНС нейроны ведут себя по отношению друг к другу независимо.

Благодаря этим отличиям мы получаем такие преимущества, как большая энергоэффективность, простота итераций и масштабируемость.

Кроме того, поскольку никакого протокола взаимодействия между нейронами с себе подобными или между нейронами и окружающей средой не предполагается, мы фактически можем свободно обрабатывать любые потоки данных. То есть никак не привязываясь к разбиению данных на обучающие или тестовые, как это происходит при обучении традиционных нейронных сетей, где есть жёсткий протокол. В реальности ведь люди учатся в другом режиме, при котором происходит свободный обмен информацией. Нам бы хотелось, чтобы такой нефиксированный протокол был реализован и в случае с нейронной сетью. Однако на данный момент подобной системы нет.

Почему нет единого решения для обучения импульсных нейросетей

В традиционных нейронных сетях обучение довольно единообразно и основано практически всегда на градиентных методах. В сущности, они базируются на том, что традиционные сети непрерывны. Если говорить о них как о функциях — это достаточно гладкие многомерные нелинейные функции.

Импульсные нейронные сети не являются гладкими, они дискретны по своей природе и ведут себя по принципу «всё или ничего»: либо импульс есть, либо его нет. Поэтому градиентные методы не годятся. И на данный момент единого фундамента, который позволял бы строить эффективные методы обучения таких сетей и применять их в разных областях, нет.

Сейчас в работе с ИНС используются статистические подходы, системы нелинейных уравнений, теории динамических систем: бифуркации, аттракторы, вся нелинейная динамика. Кроме того, применяется физика — например, методы среднего поля. Их суть в том, что сначала пишется уравнение про то, как устроена динамика маленького элемента по отношению к большой системе, а затем уравнение о том, как динамика каждого маленького элемента отражается на состоянии системы в целом.

Не исключено, что для того, чтобы построить эффективные методы обучения импульсных сетей, понадобятся совсем новые математика и физика, так как это необычные системы и, возможно, правильный подход еще не выработан.

Нейроморфные чипы и как они работают

Для моделирования импульсных нейронных сетей сегодня используются нейроморфные чипы. Это совсем новый тип электроники, который появился недавно: первый чип был создан в 2014 году.

Такие процессоры не подчиняются обычной архитектуре фон Неймана, где есть центральный процессор и память, и где постоянно происходит перемещение данных между ними.

В нейрочипах ничего подобного нет, поэтому нет и «бутылочного горлышка фон Неймана», которое тормозит вычисления: если у вас несколько процессоров и они одновременно обращаются к памяти, то пока один не достанет то, что ему надо, второй ничего не сможет сделать.

В связи с этим параллельные вычисления на обычных процессорах делать нельзя. Поскольку в нейрочипах память находится в некотором смысле в том же месте, где и вычислитель, работают они в разы эффективнее.

Что в ЧГУ изучают с помощью нейроморфного чипа Loihi

В лаборатории нейроморфных вычислений Чувашского госуниверситета возможности нейроморфного чипа Loihi от Intel изучаются уже два с лишним года. «Самого чипа, конечно же, нет где бы то ни было в России, потому что его нельзя импортировать ни в нашу страну, ни, например, в Китай. Но у нас есть удаленный доступ на серверы, где установлены платы с чипами, и мы можем в этой системе работать», — говорит Киселёв.

Сейчас команда Киселёва переходит с Loihi 1 на недавно представленную новую версию — Loihi 2.

«На Loihi 1 один из важных вопросов, которые мы решали, заключался в том, какие классы моделей нейронов и синаптической пластичности — основного механизма реализации памяти и обучения — реализуемы на этом процессоре. На самом деле выяснилось, что, несмотря на то, что это очень мощный чип, реализовать на нём можно далеко не всё. И одним из результатов нашей работы была подготовка рекомендаций о том, как можно было бы расширить функциональность этого чипа», — поясняет Михаил. — Loihi 2 функционально богаче. И сейчас мы работаем над созданием эффективных алгоритмов обучения для этого чипа и занимаемся уже сущностными вопросами. Например, как должна быть устроена синаптическая пластичность, чтобы эффективно решать те или иные задачи обучения".

Нейрочипы в России

Главный российский проект в этой сфере — создание чипа «Алтай». Этот чип уже полностью разработан, и есть даже небольшие пробные партии. По сути, российская разработка является аналогом чипа IBM TrueNorth. Существующая версия, как и TrueNorth, не обучается, на неё нужно транслировать уже обученную нейронную сеть. Также этот чип не предназначен для решения каких-то специальных задач, но так как на нём могут работать любые свёрточные нейросети, с помощью которых сегодня можно делать многое, все их функции можно реализовать и на «Алтае».

Тем не менее, есть и специализированные задачи. Например, нейропроцессоры вызывают необходимость появления устройств, которые шлют информацию, уже закодированную в спайках, и наоборот — такие устройства требуют обработки импульсными нейронными сетями.

Один из примеров — анализ сигнала с DVS-камер. Как и нейроморфные чипы, это довольно новая технология. Такие камеры работают не как обычные: они записывают только изменения. Если картинка статична и ничего не меняется, камера ничего не передает, как только яркость одного пикселя увеличивается, камера шлет импульс по одному каналу, связанному с этим пикселем, если уменьшилась — по другому.

В результате получается, что информации с DVS-камер в тысячи раз меньше, чем с обычной камеры, но передается она в виде спайков, то есть импульсов. Потому обрабатывать эти данные должны процессоры, способные обрабатывать импульсы. «Алтай» идеально подходит для решения этой задачи.

Какие вызовы в области нейроморфных чипов предстоит преодолеть в будущем

Михаил Киселёв убежден: российским ученым необходимо делать «Алтай» следующего поколения с возможностью обучения импульсных нейронных сетей. Эта задача требует принципиально новой функциональности и принципиально новых решений на уровне электроники и дизайна микросхем, а также больших ресурсов.

Конечно, очень плохо, что «Алтай» — единственный подобный проект в России. Но я считаю, что люди, которые его реализовали, совершили подвиг. Потому что сделать то же самое, что сделала IBM, по сути, на коленке, с минимальным финансированием и просто на голом энтузиазме — это подвиг.

По словам Киселёва, дальше так продолжаться не может. Необходимо подключать к проекту серьёзные структуры с крупными производственными и финансовыми мощностями.

«Такие в нашей стране есть — например, НПЦ „Модуль“, „Байкал“, НПЦ „Элвис“. Я однозначно вижу, что это направление нам придется развивать. Так как, на мой взгляд, есть только один стратегический путь развития нейроинтеллекта — это импульсные нейронные сети», — заключил Киселёв.

Наверх

Будь первым, кто оставит комментарий