Нейроморфные технологии // Наталья Андреева

Мемристивные материалы для нейроморфных вычислений

585 0
Посмотреть на
В статье Наталья расскажет об основных направлениях развития новой электронной компонентной базы для аппаратной реализации нейроморфных вычислений. Вы узнаете: как работает новый класс материалов электронной техники — мемристоры, почему они позволяют одновременно хранить и обрабатывать информацию, за счет чего мемристивные нанопленочные структуры обеспечивают физическую основу механизмов обучения и памяти при аппаратной реализации импульсных (спайковых) нейронных сетей в нейроморфных компьютерных архитектурах.

Меня зовут Наталья Андреева, я кандидат физико-математических наук, доцент кафедры микро- и наноэлектроники и ведущий научный сотрудник научно-образовательного центра «Нанотехнологии» СПбГЭТУ «ЛЭТИ». Я занимаюсь разработкой, исследованием и применением мемристивных (или нейроморфных) материалов в электронике.

Эту тему я изучаю с тех пор, как однажды в мои руки попала любопытная нанослоевая композиция, которую мне привезли из Германии с просьбой исследовать ее локальные электрофизические свойства. Это была практически совершенная по своей структуре сверхтонкая пленка. Предполагалось, что сочетание квантово-механических эффектов с электрическими свойствами позволит управлять сопротивлением такой пленки. В более общем смысле подобные структуры называются мемристорами, или резисторами с памятью.

На первый взгляд казалось, что структура просто идеально подходит для того, чтобы наблюдать в ней эффекты переключения сопротивления. Она была синтезирована в научной группе, в которой более десяти лет назад в соавторстве с учеными-теоретиками из Физико-технического института им. Иоффе были заложены основы физических механизмов переключения сопротивления в сверхтонких сегнетоэлектрических пленках. Начиная с этого момента, количество публикаций с экспериментальными результатами, подтверждающими основные выводы теории, только росло. Зарубежные коллеги говорили о гигантском эффекте переключения сопротивления в сверхтонких сегнетоэлектрических пленках, о возможности реализации многоуровневых резистивных состояний в таких структурах, их масштабируемости до нанометровых размеров и первых прототипах синапсов на их основе.

Каково же было мое удивление, когда, имея совершенную структуру, обеспечив все необходимые условия для наблюдения эффекта переключения сопротивления, я не смогла получить убедительных результатов в пользу общепринятой теории! Будучи упорным человеком с красным дипломом и грантом президента РФ, я не привыкла сдаваться: отсутствие удовлетворительных результатов исследования привело к тому, что мемристорная тематика полностью завладела всей моей профессиональной жизнью.

В этой статье я объясню, как работают мемристоры, в каких задачах они уже используются и кто занимается исследованиями в этой области в России. Давайте разбираться.

Как возникла необходимость разрабатывать процессорные архитектуры на новой электронной компонентной базе

Развитие современной компьютерной техники ориентировано на повышение производительности обработки информации. Среди приоритетных направлений повышения производительности традиционных компьютерных систем можно выделить увеличение числа ядер процессора при снижении их энергопотребления и увеличении производительности, переход к многопоточным вычислениям, а также использование инфраструктуры облачных вычислений.

Наряду с традиционными способами существует два подхода к организации  высокопроизводительных систем нового поколения:

  • in-memory computing — вычисления в оперативной памяти;
  • near-memory computing — вычисления рядом с памятью.

Отдельно рассматриваются neuromorphic computing, или нейроморфные вычисления, в основе которых лежит аппаратная реализация спайковых нейронных сетей. Несмотря на то что идея нейроморфных вычислений была выдвинута сравнительно давно, реализовать ее до недавнего времени не получалось. Отправной точкой для зарождения нейроморфной инженерии можно считать момент, когда было обнаружено функциональное сходство процессов, протекающих в транзисторах и нейронах. С той поры велись работы, направленные на создание нейроморфных датчиков, сенсоров и автономных электронных устройств, в которых обработка информации осуществляется нейронными алгоритмами, реализованными «в железе».

Таким образом, нейроморфные электронные модули есть не что иное, как исполненная аппаратно импульсная нейронная сеть, имитирующая работу биологической нейронной сети. Однако для того, чтобы обеспечить работу таких систем, требуется новая элементная база, так как использование существующей повышает сложность, что сводит на нет все преимущества нового подхода — увеличение производительности при снижении электропотребления.

Что дает интеграция мемристоров в нейроморфные модули

Если архитектуру нейроморфного модуля реализовать на основе мемристорных технологий, это позволит ускорить высокопараллельные вычисления при снижении потребляемой мощности за счет интеграции в одном элементе вычислительных процессов и памяти. Среди других преимуществ таких структур можно выделить:

  • хорошую масштабируемость, примерно до 2 нм;
  • более высокие скорости переключения между высокоомным и низкоомным состояниями — десятки пикосекунд ;
  • большую устойчивость к циклической деградации;
  • простую интеграцию мемристорных модулей в СБИС.

Кроме того, при использовании матричных вычислений на базе мемристивной памяти со встроенной логикой можно повысить эффективность расчетов за счет уменьшения числа операций, необходимых для аппаратного умножения матриц. В этом случае таких операций требуется меньше, чем, например, при использовании графических ускорителей или нейросетевых (тензорных) процессоров. Более того, энергонезависимость мемристивной памяти делает возможным реализацию асинхронного режима работы нейроморфных архитектур. Таким образом, использование мемристорных структур обеспечивает простой способ аппаратной реализации матрично-векторных операций, которые являются основными при эмуляции работы нейронных сетей.

Как работают мемристоры

Мемристорные блоки включают в себя кроссбар-массивы, состоящие из двух сеток взаимоортогональных тонкопленочных электродов, между которыми расположен тонкий металлооксидный слой (толщиной ≈ 5–50 нм) с мемристивными свойствами. Функциональные элементы массива формируются в точках пересечения верхних и нижних электродов, а сам кроссбар рассматривается как матрица значений, каждое из которых хранится в мемристоре на пересечении верхнего и нижнего электродов.

Самый простой пример мемристора — это двухуровневые, или двухбитные структуры, то есть системы с двумя энергонезависимыми состояниями — высокоомным и низкоомным. Их используют, как правило, для реализации гиперразмерных вычислений, оперирующих многомерными векторами, которые применяются для кодирования информации. В этом случае при аппаратной реализации нейронной сети вес синапса кодируется вектором, который, по сути, является столбцом мемристивного кроссбара, каждый элемент которого равен нулю (высокоомное состояние) или единице (низкоомное состояние мемристора), и речь идет о цифровых нейроморфных модулях.

Наиболее ярким примером использования такого подхода при создании нейроморфных архитектур является ускоритель вычислений общего назначения для задач машинного обучения на мемристивных кроссбарах. Его разработала корпорация HP в сотрудничестве с университетами Иллинойса и Пердью в 2019 году. В структуре этого ускорителя используются восемь кроссбар-массивов с 2-битными мемристивными ячейками на основе тантала, оксида гафния и палладия (Ta/HfO2/Pd), обеспечивающими 16-битный формат данных. Кроссбары применяются для многопоточной загрузки процессора, а использование их для аппаратной реализации операций матрично-векторного перемножения позволяет в 2446 раз повысить энергоэффективность и в 66 раз снизить латентность по сравнению с самыми современными графическими ускорителями.

При переходе к узкоспециализированным архитектурам нейроморфных модулей на современной элементной базе часто используют аналоговые или гибридные аналогово-цифровые схемы. В ряде случаев они существенно упрощают интегральную реализацию электронных устройств по сравнению с цифровым вариантом, когда вес синапса кодируется вектором мемристивного кроссбара. Однако использование при таком подходе двухбитных мемристоров требует дополнительных транзисторных элементов переключения. В результате теряется одно из основных преимуществ использования энергонезависимых элементов резистивной памяти — предполагаемое снижение потребляемой мощности. Один из способов решить эту проблему — использовать резистивные элементы с многоуровневым переключением сопротивления.

Таким образом, с позиций материаловедения в качестве основного тренда при аппаратной реализации узкоспециализированных архитектур нейроморфных сетей выступает разработка дизайна многоуровневых мемристивных систем с возможностью аналоговой перестройки между энергонезависимыми состояниями по сопротивлению при их использовании в архитектуре сети. Такая возможность обеспечивает градиентное изменение веса синаптической связи и позволяет имплементировать основные модели обучения и памяти в нейронную сеть на уровне аппаратной реализации. Это происходит в результате того, что вес связей между нейронами изменяется физически за счет аналоговой перестройки резистивного состояния мемристора, а не на программном уровне, что значительно повышает эффективность обработки асинхронных потоков входных данных.

Для решения каких задач уже используется мемристорная логика

На данный момент ведущие научные коллективы разрабатывают прототипы нейровычислительных модулей на мемристорной логике, а также модули машинного зрения, акусто-речевых систем, тактильных ощущений, рецепции болевых ощущений и различные варианты гибких модулей для интеграции в системы биокогнитивного интерфейса.

Например, в прошлом году  группа ученых из Массачусетского технологического института совместно с китайскими коллегами из университета Цинхуа на базе кроссбар-массивов, состоящих из 2048 мемристоров, разработала архитектуру 5-слойной сверточной нейронной сети аналогового нейроморфного модуля, предназначенного для использования в системах динамического зрения — DVS-сенсорах.

Кроме того, мемристивные структуры с тонкими слоями оксидов гафния и тантала и аналоговой перестройкой между 256 резистивными состояниями использовались для создания нейроморфного модуля системы интеллектуального зрения на основе аппаратного исполнения архитектуры двухслойного перцептрона. Подробнее об этих и других разработках мы говорим на лекции, размещенной в этой статье выше.

Кто ведет исследования в области мемристоров в России

В нашей стране исследования в сфере меристорной логики ведут многие научные коллективы. На мой взгляд, в этой области существует своеобразное коммьюнити, куда входят ведущие научные центры, среди которых национальный исследовательский центр «Курчатовский институт», Нижегородский государственный университет им. Н. И. Лобачевского, Казанский федеральный университет, Владимирский государственный университет, Тюменский государственный университет.

СПбГЭТУ «ЛЭТИ» приступил к разработке и созданию нейроморфных мемристорных компьютерных платформ в 2014 году в рамках совместного с Национальным институтом материаловедения Японии проекта «Управляемый синтез мемристорных структур на основе наноразмерных композиций оксидов металлов путем осаждения атомных слоев».

Полученные в итоге проекта результаты использовались при разработке элемента резистивной памяти на основе тонких пленок оксида свинца. Более того, в рамках работ по проекту удалось получить инновационные мемристорные структуры на основе последовательности тонких слоев оксидов титана и алюминия, в которых наблюдалась градиентная перестройка резистивного состояния (многоуровневость) в диапазоне семи порядков по величине. Эти результаты вызвали интерес со стороны ведущих мировых коллективов и позволили объяснить появление эффектов многоуровневого переключения сопротивления в многослойных тонкопленочных металлооксидных структурах, которые наблюдались при определенном соотношении между структурными и электрофизическими свойствами используемых слоев.

Кроме того, в ЛЭТИ ведутся работы, направленные на физико-топологическое моделирование параметров структур с многоуровневым переключением сопротивления, а также решаются задачи проектирования нейроморфных систем на базе мемристивных элементов и разрабатываются схемотехнические модели, предполагающие представление реальной мемристивной структуры в виде эквивалентной схемы. В отличие от физико-топологических, схемотехнические модели обеспечивают возможность достаточно точной «подгонки» результатов моделирования под конкретные экспериментальные вольт-амперные характеристики.

Что еще почитать и посмотреть о мемристорах

  • Одну из первых работ, в которой рассказывается о подходах нейроморфной инженерии и их реализации с использованием мемристоров.
  • Статью в журнале Nature, где рассматриваются вопросы, связанные с особенностями интеграции мемристивных материалов в кроссбар-массивы для последующего использования в устройствах нейроморфной электроники.
  • Статью с обзором существующих мемристивных систем и описанием сложностей, которые тормозят развитие этой технологии.
  • Работу, в которой описывается архитектура ускорителя общего назначения на мемристорной элементной базе.

Будь первым, кто оставит комментарий

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

    ПОДПИШИСЬ НА НАШУ ТЕХНО-РАССЫЛКУ
    ПОДПИШИСЬ
    НА НАШУ ТЕХНО-РАССЫЛКУ