«Синапсис человека в цифре», или на что способны мемристоры

День своего очного знакомства с миром мемристивных технологий Наталья Андреева хорошо помнит. Небольшая посылка из Германии с непонятным для абсолютного большинства людей на планете содержимым — нанослоевой композицией. Это была практически совершенная по своей структуре сверхтонкая плёнка, вспоминает Наталья, уникальная структура, сочетающая в себе квантово-механические эффекты с электрическими свойствами. Сейчас такие структуры уже привычно называют резисторами с памятью, или мемристорами.

Когда они только появились, казалось, что структура мемристора просто идеально подходит для того, чтобы наблюдать в ней эффекты переключения сопротивления. Она была синтезирована в научной группе, которой более десяти лет назад в соавторстве с учеными-теоретиками из Физико-технического института им. Иоффе удалось заложить основы физических механизмов переключения сопротивления в сверхтонких сегнетоэлектрических плёнках.

С тех пор количество публикаций о мемристорах только росло. Зарубежные коллеги говорили о гигантском эффекте переключения сопротивления в сверхтонких сегнетоэлектрических плёнках, о возможности реализации многоуровневых резистивных состояний в таких структурах, их масштабируемости до нанометровых размеров и первых прототипах синапсов на их основе. Всё больше специалистов стали связывать свои карьеры с изучением мемристоров.

Развитие современной компьютерной техники ориентировано на повышение производительности обработки информации. Среди приоритетных направлений повышения производительности традиционных компьютерных систем можно выделить увеличение числа ядер процессора при снижении их энергопотребления и увеличении производительности, переход к многопоточным вычислениям, а также использование инфраструктуры облачных вычислений.

Наряду с традиционными способами существует два подхода к организации высокопроизводительных систем нового поколения:

• in-memory computing — вычисления в оперативной памяти;
• near-memory computing — вычисления рядом с памятью.

Отдельно рассматриваются neuromorphic computing, или нейроморфные вычисления, в основе которых лежит аппаратная реализация спайковых нейронных сетей. Несмотря на то, что идея нейроморфных вычислений была выдвинута сравнительно давно, реализовать ее до недавнего времени не получалось.

На данный момент ведущие научные коллективы разрабатывают прототипы нейровычислительных модулей на мемристорной логике, а также модули машинного зрения, акустико-речевых систем, тактильных ощущений, рецепции болевых ощущений и различные варианты гибких модулей для интеграции в системы биокогнитивного интерфейса.

Если архитектуру нейроморфного модуля реализовать на основе мемристорных технологий, это позволит ускорить высокопараллельные вычисления при снижении потребляемой мощности за счёт интеграции в одном элементе вычислительных процессов и памяти. Среди других преимуществ таких структур можно выделить:

• хорошую масштабируемость, примерно до 2 нм;
• более высокие скорости переключения между высокоомным и низкоомным состояниями — десятки пикосекунд ;
• большую устойчивость к циклической деградации;
• простую интеграцию мемристорных модулей в СБИС.

Кроме того, при использовании матричных вычислений на базе мемристивной памяти со встроенной логикой можно повысить эффективность расчетов за счёт уменьшения числа операций, необходимых для аппаратного умножения матриц.

В этом случае таких операций требуется меньше, чем, например, при использовании графических ускорителей или нейросетевых (тензорных) процессоров. Более того, энергонезависимость мемристивной памяти делает возможной реализацию асинхронного режима работы нейроморфных архитектур.

Таким образом, использование мемристорных структур обеспечивает простой способ аппаратной реализации матрично-векторных операций, которые являются основными при эмуляции работы нейронных сетей.

Мемристорные блоки включают в себя кроссбар-массивы, состоящие из двух сеток взаимоортогональных тонкоплёночных электродов, между которыми расположен тонкий металлооксидный слой (толщиной ≈ 5−50 нм) с мемристивными свойствами. Функциональные элементы массива формируются в точках пересечения верхних и нижних электродов, а сам кроссбар рассматривается как матрица значений, каждое из которых хранится в мемристоре на пересечении верхнего и нижнего электродов.

В структуре этого ускорителя используются восемь кроссбар-массивов с двухбитными мемристивными ячейками на основе тантала, оксида гафния и палладия (Ta/HfO2/Pd), обеспечивающими шестнадцатибитный формат данных. Кроссбары применяются для многопоточной загрузки процессора, а использование их для аппаратной реализации операций матрично-векторного перемножения позволяет в 2446 раз повысить энергоэффективность и в 66 раз снизить латентность по сравнению с самыми современными графическими ускорителями.

При переходе к узкоспециализированным архитектурам нейроморфных модулей на современной элементной базе часто используют аналоговые или гибридные аналогово-цифровые схемы. В ряде случаев они существенно упрощают интегральную реализацию электронных устройств по сравнению с цифровым вариантом, когда вес синапса кодируется вектором мемристивного кроссбара. Однако использование при таком подходе двухбитных мемристоров требует дополнительных транзисторных элементов переключения. В результате теряется одно из основных преимуществ использования энергонезависимых элементов резистивной памяти — предполагаемое снижение потребляемой мощности. Один из способов решить эту проблему — использовать резистивные элементы с многоуровневым переключением сопротивления.

Таким образом, с позиций материаловедения в качестве основного тренда при аппаратной реализации узкоспециализированных архитектур нейроморфных сетей выступает разработка дизайна многоуровневых мемристивных систем с возможностью аналоговой перестройки между энергонезависимыми состояниями по сопротивлению при их использовании в архитектуре сети.

Такая возможность обеспечивает градиентное изменение веса синаптической связи и позволяет имплементировать основные модели обучения и памяти в нейронную сеть на уровне аппаратной реализации. Это происходит в результате того, что вес связей между нейронами изменяется физически за счет аналоговой перестройки резистивного состояния мемристора, а не на программном уровне, что значительно повышает эффективность обработки асинхронных потоков входных данных.

В нашей стране исследования в сфере мемристорной логики ведут многие научные коллективы. На мой взгляд, — рассказывает Наталья Андреева, — в этой области существует своеобразное комьюнити, куда входят ведущие научные центры, среди которых национальный исследовательский центр «Курчатовский институт», Нижегородский государственный университет им. Н. И. Лобачевского, Казанский федеральный университет, Владимирский государственный университет, Тюменский государственный университет.

СПбГЭТУ «ЛЭТИ» приступил к разработке и созданию нейроморфных мемристорных компьютерных платформ в 2014 году в рамках совместного с Национальным институтом материаловедения Японии проекта «Управляемый синтез мемристорных структур на основе наноразмерных композиций оксидов металлов путем осаждения атомных слоев».

Полученные в итоге проекта результаты использовались при разработке элемента резистивной памяти на основе тонких пленок оксида свинца. Более того, в рамках работ по проекту удалось получить инновационные мемристорные структуры на основе последовательности тонких слоев оксидов титана и алюминия, в которых наблюдалась градиентная перестройка резистивного состояния (многоуровневость) в диапазоне семи порядков по величине.

Эти результаты вызвали интерес со стороны ведущих мировых коллективов и позволили объяснить появление эффектов многоуровневого переключения сопротивления в многослойных тонкопленочных металлооксидных структурах, которые наблюдались при определенном соотношении между структурными и электрофизическими свойствами используемых слоев.

Кроме того, в ЛЭТИ ведутся работы, направленные на физико-топологическое моделирование параметров структур с многоуровневым переключением сопротивления, а также решаются задачи проектирования нейроморфных систем на базе мемристивных элементов и разрабатываются схемотехнические модели, предполагающие представление реальной мемристивной структуры в виде эквивалентной схемы. В отличие от физико-топологических, схемотехнические модели обеспечивают возможность достаточно точной «подгонки» результатов моделирования под конкретные экспериментальные вольт-амперные характеристики.

• Одну из первых работ, в которой рассказывается о подходах нейроморфной инженерии и их реализации с использованием мемристоров.
• Статью в журнале Nature, где рассматриваются вопросы, связанные с особенностями интеграции мемристивных материалов в кроссбар-массивы для последующего использования в устройствах нейроморфной электроники.
• Статью с обзором существующих мемристивных систем и описанием сложностей, которые тормозят развитие этой технологии.
• Работу, в которой описывается архитектура ускорителя общего назначения на мемристорной элементной базе.