Лаборатория Юлии представляет одно из подразделений Intel Labs, которое изучает технологии будущего с горизонтом в несколько лет. Физик по образованию, Сандамирская всегда интересовалась вычислительными процессами, а ещё — биологией. Научное знание на пересечении разных дисциплин — вот что, по её мнению, самое интересное.

«Докторскую диссертацию я защитила в институте нейроинформатики в Бохуме. Это один из первых интердисциплинарных институтов Германии, который работал на стыке между биологией, нейробиологией и искусственным интеллектом на основе нейрональных сетей, — поясняет Юлия. — Сотрудники этого института первыми создали датасет для распознавания знаков на дороге и провели соревнования алгоритмов, на одном из которых нейрональная сеть оказалась лучше в распознавании дорожных знаков, чем человек».

В своей докторской Юлия Сандамирская разработала модели на стыке нейробиологии, когнитивных наук и робототехники. Но для того, чтобы они могли работать, нужны были специальные процессоры.

«Об исследовательской группе Intel я узнала примерно три года назад, — вспоминает Юлия. — Они выпустили первый Loihi и давали возможность с ним поработать. На Loihi я за неделю смогла реализовать одну их наших моделей, на что с обычным академическим аппаратным обеспечением у меня ушло бы, наверное, полгода. Тогда меня это очень впечатлило. Я поняла, что нейроморфные чипы достигли того состояния, когда с ними можно работать, и присоединилась к Intel».

В сентябре 2021 года компания представила второе поколение исследовательского нейроморфного процессора Loihi 2. Сейчас в лаборатории специалисты американской корпорации работают над его усовершенствованием и над улучшением алгоритмов, то есть нейронных сетей, структурами на основе графа и новыми правилами обучения.

Группа Юлии Сандамирской строит системы, которые показывают, как всё это можно применить в приложениях. Например, для реализации задач управления, восприятия, построения представления окружающей среды, а также для задач оптимизации. Все это возможно решить с помощью нейроморфных процессоров, уверены в Intel.

Нейроморфный процессор сегодня — достаточно обобщающий термин. По мнению Юлии, можно выделить три основных отличия нейроморфного процессора от других ускорителей нейронных сетей.

Свой первый нейроморфный процессор Intel разработал на основе обычных цифровых технологий. Его главная особенность заключается в том, что он многоядерный: на одном чипе может быть 128 ядер, и между собой они соединены асинхронной сетью. Архитектура такого процессора достаточна для того, чтобы выполнять вычисления, необходимые для симуляции спайковой нейронной сети, то есть нейроны на любом из этих ядер могут быстро и эффективно обмениваться сигналами — спайками. Основное ноу-хау — в том, чтобы поддерживать высокий трафик таких спайковых событий и быстро их обсчитывать.

Есть и другие технологии и решения для нейроморфных вычислений. К примеру, нейроморфные чипы смешанного сигнала. В них используется аналоговый процессор: так как спайково-нейронные вычисления достаточно простые, их можно выразить аналоговой цепью, и только обмен спайками происходит в цифровой реализации.

Другая разновидность нейроморфных технологий — нейроморфные процессоры, созданные с использованием новых материалов: например, мемристоров, которые используются для того, чтобы реализовывать связи между нейронами.
На данный момент все эти технологии являются исследовательскими и в индустрии применения пока не нашли.

Пластичность нейронных сетей на нейроморфном чипе может повысить надёжность таких систем управления. Для этого необходимо создать такую нейронную сеть, в которой при отказе одного процессора поведение системы в целом не поменяется для внешнего наблюдателя. А для этого нужно сделать такую программу, которая будет способна обнаружить ошибку, оценить её и использовать для того, чтобы переобучить систему.

Что касается многозадачности, то тут смысл в том, как реализован параллелизм в нейроморфных процессорах. То есть у нас есть не только параллельный процессор, как в GPU, но и память локально расположена в каждом маленьком процессоре. За счет этого можно создать модулярные системы, которые могут как коммуницировать друг с другом, так и работать независимо с разным временным разрешением. Для того, чтобы распределить нагрузку и связать разные части сети друг с другом, используется компилятор.

В целом такая система позволяет реализовать многозадачность. Но будет ли она реализована и как хорошо она будет работать, зависит от программиста, того, кто будет создавать нейронную сеть и структуру, которая будет на этом процессоре работать.

«К слову, при разработке процессора Loihi 2 мы приняли решение сделать его более общим. То есть мы не ограничиваем нейронную модель, которую симулирует каждое процессорное ядро на чипе, так что пользователь может запрограммировать на нем разные нейронные модели», — пояснила Юлия.

В процессоре Loihi 2 число доступных нейронов выросло со 128 тыс. до 1 млн. Объем памяти на ядро слегка уменьшился — с 208 до 192 Кбайт, но теперь банки памяти можно более гибко распределять между нейронами и синапсами, а компрессия позволяет более эффективно использовать имеющийся объём.

Кроме того, Loihi 2 позволяет реализовать более гибкое программирование нейронной модели. Классические нейроморфные системы построены на модели leaky integrate-and-fire (LIF). Её суть в том, что есть нейрон, который интегрирует входящие спайки, поддерживая состояние, отражающее сумму всех входящих спайков, и во времени эта сумма уменьшается по экспоненте. Таким образом, нейрон может отслеживать время.

Но специалисты Intel обнаружили, что можно использовать и другие модели, которые не имеют отношения к биологическим нейронам. Например, сигма-дельта-модуляцию, или resonate-and-fire neuron model. В таком случае нейрон становится просто вычислительным блоком.

Также на Loihi 2 можно экономично реализовывать разные нейронные сети, в частности сети с глубоким обучением, где важно значение активации, которое один слой передает другому. Если спайки — сигналы, которыми обмениваются нейроны, — только бинарные, то чтобы передать это значение, мы вынуждены пользоваться так называемым частотным представлением сигнала. Это получается энергозатратно.

Есть альтернатива — кодировать значения временным положением спайка. То есть спайки, которые пришли первыми, означают большое значение активности, а спайки, которые пришли позже, — маленькое. Но такой подход растягивает передачу информации во времени. То есть, чтобы узнать, что пришло маленькое значение, надо долго ждать.

«В Loihi 2 спайк не бинарный, а может иметь значение либо 8 бит, либо 16. И мы просто позволяем эти значения передать со спайком. В нашем цифровом представлении сигнала на это не требуется много дополнительной энергии», — уточняет Юлия Сандамирская.

Ещё одна особенность проекта Loihi 2 — иные правила обучения системы. Классические правила обучения в нейробиологии построены на активности двух нейронов, связь между которыми меняется. И то, как она меняется, задает правило обучения, которое обычно зависит только от активности нейрона до связи и нейрона после нее. Но в реальности во многих правилах обучения нужен третий фактор.

«Это либо фактор поощрения, либо фактор ошибки, либо просто активность какого-то третьего нейрона, — отмечает Юлия. — В Loihi 1 третьим фактором был общий сигнал: поощрение или ошибка. Но мы заметили, что во многих алгоритмах важно, чтобы сигнал поступал из какой-то другой части сети. И в новом чипе это стало возможно. То есть активность любого нейрона может служить как третий фактор в обучении какой-то связи. В частности, это позволит нам проводить обратное распространение ошибки для обучения глубоких спайковых сетей на чипе».

Loihi — это исследовательский процессор. С его помощью исследуется многообразие алгоритмов и приложений. При этом то, как проводятся исследования, похоже на исследовательский процесс в университетах. Этот процесс включает в себя три ступени.

1. Обсуждение идеи и того, насколько она многообещающая.
2. Доказательство применимости технологии — proof of concept.
3. Передача технологии в бизнес-юнит, где дальше она развивается на конкретном продукте.

Наиболее перспективные направления для использования нейроморфных процессоров — это обработка сенсорной и акустической информации, потому что в этих процессах большую роль играет временная компонента.

Задачи, которые нужно решить в этом модусе, достаточно сложные. Например, обработка сигналов с целью распознавания аномального поведения во времени. Это могут быть и биологические сигналы — кардиограмма, например. Такие исследования уже проводятся, не у нас, но в других лабораториях: система сначала заучивает нормальное поведение данного сигнала и потом может фиксировать определенные отклонения. Такая система должна быть всегда включена, чтобы детектировать редкие события, но при этом потреблять мало энергии.

Также в долгосрочной перспективе планируется, что на Loihi можно будет решать задачи оптимизации. Возможно, даже задачи большого масштаба — например, расчет расписания поездов какой-то большой сети. Это очень вычислительно емкая задача оптимизации. Возможно, ее можно было бы радикально ускорить на нейроморфных процессорах.

И наконец, нейроморфные процессоры планируется использовать в робототехнике.

«Я считаю, что в этой области нейроморфные вычисления позволят нам связать визуальную информацию с управлением. Обычно управление должно происходить очень быстро, то есть нужна оперативная обратная связь, и нейроморфные вычисления могли бы позволить более гибко реагировать на изменения в окружающей среде — например, при контроле рук робота», — заключила Сандамирская.

По её словам, один из самых главных факторов развития — появление большего числа робототехнических систем, которые могли бы перенять рутинные и трудоемкие работы у человека.

«Я считаю, что автоматизация, её продвижение из среды завода, где всё очень ограничено и продумано, в среду более естественную и ежедневную — важно, — подчеркивает Юлия. — Это сложный переход, и задач, которые предстоит решить, много. Но мне нравится этим заниматься, и больше всего я люблю работать с конкретными и практическими задачами. Я думаю, что, если мы будем такие задачи решать в нейроморфном подходе, мы сможем также приблизиться к пониманию того, как-то же самое происходит в биологических системах».