Нейроморфные технологии // Иван Оселедец

Достижения и проблемы нейросетевых подходов в искусственном интеллекте

145 0
Посмотреть на
Искусственный интеллект проникает во все сферы жизни, однако многие плохо представляют, что это такое. В этой статье мы обсудим основные понятия ИИ, расскажем, что такое нейросетевые методы и поговорим о достижениях и проблемах искусственного интеллекта, которые стоят перед современной наукой.

Меня зовут Иван Оселедец, я доктор физико-математических наук и директор Центра технологий искусственного интеллекта Сколтеха. В этой статье речь пойдет об искусственных нейросетях.

Сегодня нейросети изучают ведущие исследователи во всем мире, и в отличие от других научных областей, где люди годами могут заниматься одним и тем же, в этой сфере работа идет очень быстро.

Уже сегодня алгоритмы способны на многое: играть в игры, понимать естестественные языки, генерировать контент, обрабатывать изображения, сжимать данные и даже решать задачи моделирования физических процессов.

Давайте разберемся, какие существуют нейронные сети, насколько на их развитие влияют исследования о строении и функционировании мозга и почему на данный момент искусственные нейросети не способны работать в режиме многозадачности. Приступим.

Что чаще всего подразумевают, когда говорят про искусственный интеллект, и почему это маркетинговый термин

Искусственный интеллект (ИИ) — модная тема. Но на самом деле мало кто понимает, что это такое. Для меня — человека, который работает в области искусственного интеллекта, — термины не очень важны. Важно, чтобы методы, которые условно называются методами ИИ, были полезны для решения практических задач.

Тем не менее сегодня, на мой взгляд, понятие «искусственный интеллект» чаще всего используется в маркетинговых целях. Есть даже совсем анекдотичные случаи, когда на холодильнике, например, пишут «Режим ИИ», и заключается он в том, что в морозилке просто устанавливается постоянная температура.

Также часто говорят о так называемом общем ИИ (Artificial general intelligence, AGI), который способен выполнять разные задачи и которого, конечно, еще не существует. Наиболее близкими к AGI сегодня являются методы, связанные с обработкой естественного языка.

Реальная же технология — это в первую очередь машинное обучение (machine learning). Если смотреть уже — глубокое обучение (deep learning). То есть создание математических моделей, которые могут обучаться разными способами.

Самый простой и стандартный способ — обучение с учителем, когда у нас есть большой размеченный дата-сет с правильными ответами и мы создаем модель, которая на обучающей выборке учится определять, что есть что, а уже после обучения в виде программы отличает, например, котов от собак.

Как обучаются алгоритмы и почему на этот вопрос нельзя точно ответить

В основе машинного обучения лежат алгоритмы, которые используют предоставленные данные для обучения и прогнозирования. По сути, у такой системы есть данные на входе, и на выходе формируется предсказание, то есть результат. Предсказанием может быть, например, текстовое описание картинки или наоборот — создание картинки по текстовому описанию.

К слову, в студии Лебедева работает нейродизайнер, который по текстовому описанию рисует логотипы, — за 2020 год выполнил 20 коммерческих проектов. Его зовут Николай Иронов, и у него даже есть свое портфолио на сайте студии. Так что алгоритмы уже проникают в области, где требуются исконно человеческие навыки — креатив, воображение. Оказывается, если показать сети огромное число логотипов, она поймет, что это такое, и научится связывать эти мультимодальные данные — текст и изображение — между собой.

Тут есть важный момент, на который пока нет однозначного ответа: запоминает ли нейросеть то, на чем ее учили, или же она выделяет какие-то важные признаки, которые действительно отличают одно изображение от другого? Наверное, естественный интеллект все-таки не запоминает миллион картинок и просто достает из памяти похожую, а разбивает процесс распознавания на более-менее понятные части. Но с другой стороны, мы толком не знаем, как работает наш мозг, поэтому что уж тут говорить…

Что представляют собой разные нейросети и какая архитектура преобладает сегодня

В целом нейросеть — это математическая модель, которая умеет решать задачи. На мой взгляд, сейчас идет процесс унификации и поиска оптимальных архитектур для нейросетей. Потому что, во-первых, архитектура должна давать высокую точность, а во-вторых, быть не очень тяжелой. Я выделю пять типов современных нейросетей. Подробнее о них мы говорим на лекции, а здесь кратко опишу каждую из них.

 

  1. Многослойная нейросеть, или персептрон. Это первая модель нейронной сети. Ее рабочий алгоритм построили советские ученые Алексей Ивахненко и Валентин Лапа. Говоря простыми словами, это композиция линейных преобразований: несколько слоев искусственных нейронов, и связь есть как между двумя слоями, так и между каждым нейроном.
  2. Сверточная нейросеть. Такие сети в основном используются для обработки видеоизображений. В них каждый нейрон сначала распознает какую-то небольшую область картинки, а потом соседнюю. Таким образом мы в архитектуре сети кодируем, что смотреть надо не на всю картинку целиком, а только на близкие области.
  3. ResNet (residual neural network). В этих сетях используется skip connection (быстрый доступ), то есть связь между одним слоем и слоем более дальним. По сути, это улучшенная версия сверточной нейросети.
  4. Рекуррентная нейросеть. В такой сети используется память, которую она применяет для обработки последовательностей произвольной длины.
  5. Трансформеры. Сегодня большинство новых архитектур является некой вариацией трансформеров. Такие нейросети появились в 2017 году, в них закодирован важный механизм — внимание. На основе архитектуры трансформеров работает, например, модель BERT для распознавания естественного языка. На данный момент трансформенные архитектуры продолжают захватывать мир и уже используются для работы с изображениями.

Кроме того, есть так называемая нейроморфная архитектура — спайковые (spike), или импульсные нейросети. Но несмотря на то, что они физиологически считаются более обоснованными, до сих пор никакого улучшения относительно обычных нейросетевых моделей с помощью них получить не удается. Поэтому нейроморфные архитектуры носят пока более теоретический характер.

В чем сходства искусственных нейросетей с настоящими и в чем отличия

Отличий, конечно, больше, чем сходств. На мой взгляд, кроме того, что создание нейросетей изначально было вдохновлено принципами работы мозга, и кроме недавнего добавления механизма внимания в сети-трансформеры, больше особых сходств и нет.

На данный момент основная проблема заключается в том, что мы не понимаем, как реализовать многозадачность. Сейчас огромные дата-сеты «скармливаются» гигантским нейросетям в надежде, что они выучат разные концепты. И есть предположение, что, оставляя начало такой нейросети и меняя ее конец, мы сможем быстро адаптировать ее под решение разных задач. В принципе, с моделями для естественного языка нечто подобное получается. Но других результатов пока нет.

Еще одно важное отличие искусственных нейросетей от мозга состоит в том, что мозг существенно более энергоэффективен. Это может быть связано как с тем, что «железо», которое мы используем, хуже нашей биологической системы, так и с внутренней структурой алгоритмов. Потому что естественная нейросеть (не только наша, но даже мышки, например) может решать много разных задач с помощью одной нейросети.

Обеспечение энергоэффективности для задач распознавания, мне кажется, может быть реализовано с помощью биологически подобного механизма. В естественной системе нейроны существуют не в вакууме, а в некой среде, и, когда мы что-то делаем, активируется только часть клеток мозга. Это обусловлено энергетическими соображениями: зачем включать все нейроны, если можно использовать только часть? Этот эффект можно попытаться смоделировать. Грубо говоря, под каждый конкретный входной пример включать только часть нейронов. За счет этого можно снизить вычислительную мощность и попробовать заставить такую нейросеть решить большее число задач. Над этим сейчас идет работа, в том числе и у нас в центре «Сколково».

Какие еще сложности есть в развитии нейросетей

Перед наукой в этой области стоят и другие проблемы.

Во-первых, есть сложность, связанная с обучением на небольших выборках данных. Понятно, что если выборка огромная, то всё хорошо. А что делать, если данных мало? Можно ли как-то модифицировать подходы, чтобы они работали и на небольших дата-сетах? Пока непонятно.

Во-вторых, существует проблема с обобщаемостью. Говоря простыми словами, нет теории о том, почему вся эта история вообще должна работать. Даже если вы собрали большой дата-сет, то размер выборки всё равно меньше, чем число параметров, но при этом система работает. Большой вопрос как.

В-третьих, все модели нейросетей имеют вид черного ящика, и мы не знаем, почему было принято одно решение, а не другое. Это вопрос интерпретируемости предсказаний.

Кроме того, современные нейросети очень неустойчивы к специально созданным возмущениям: взломам или вбросам. Есть отличный пример с моделью для определения рака легких по снимкам. В выборке изображений, на которых обучали нейросеть, не было снимков легких пациентов, пострадавших от COVID-19, и во время пандемии алгоритм каждому второму человеку начал ставить диагноз рак легких. Но так быть не должно. Если таких снимков сеть не видела, она должна так и говорить, а не давать неправильный результат.

И последнее — энергоэффективность. Нужны модели, которые не будут потреблять такое количество вычислительных ресурсов. Алгоритмы обучаются сотни дней и уже наносят ущерб окружающей среде. Конечно, этот вред не сравнится с вредом от нефтяных гигантов с точки зрения выделения CO2, но он есть. Есть большая разница между энергоэффективностью человека, который потребляет условно 30 Вт, и моделями распознавания, которые потребляют мегаватты при обучении и еще больше при использовании. Решения этой проблемы также пока не существует.

Как происходят открытия в сфере машинного обучения и какие области наук развиваются благодаря интересу к ИИ

В связи с тем, что нерешенных проблем в сфере искусственного интеллекта много, сейчас, на мой взгляд, идет активный поиск тех математических результатов, которые могут быть полезны для улучшения алгоритмов, понимания того, как они работают, и создания новых архитектур.

Мне кажется, за счет этого развиваются следующие области компьютерных наук:

  1. Топология. Данные — это сложная геометрическая структура, и достаточно сложные топологические подходы позволяют эту структуру понимать, анализировать и сравнивать.
  2. Вычислительная линейная алгебра и тензорные методы. Всё машинное обучение построено вокруг линейных преобразований.
  3. Статистика и теория вероятности. Статистическая теория машинного обучения говорит о том, что выучить надежную модель, имея огромное количество данных и еще большее число параметров, нельзя. Но сейчас почему-то всё учится и работает. То есть нужна новая статистическая теория машинного обучения, так как на данный момент теория довольно сильно отстает от экспериментальных работ.

Как и во всех науках, новые открытия в области машинного обучения подтверждаются публикациями. Оценивая их, научное сообщество определяет новизну результатов. Часто бывает так, что, если результат интересный, его обязательно откроют несколько раз. Таких примеров в истории науки довольно много.

Поэтому любой ученый обязан по максимуму знать современное состояние той области, которую он изучает. Исходя из этого он формулирует основную проблему и решает ее. По итогам исследования ученый публикует научную статью, которую затем оценивают рецензенты.

Признание результата выражается в цитировании работы. Причем машинное обучение сейчас развивается настолько быстро, что статья может выйти и уже через несколько месяцев получить сотни цитирований. И еще, конечно, важный момент — это внутренняя самооценка и радость от того, что ты решил задачу, которую считал нерешенной.

Кто занимается развитием нейросетей в России и что будет дальше

В нашей стране компьютерные науки долгое время находились на положении бедного родственника. Даже если посмотреть на специальности, по которым можно было защищать диссертации, то еще не так давно компьютерных наук в этом списке не было.

В целом в последние годы в России в области нейросетей произошел, как говорят, «взрывной рост». Научные группы сегодня есть в Сколтехе, ВШЭ, «Яндексе». Всего их примерно 15 по всей стране. Этого мало, конечно, но по сравнению с тем, что было раньше, — значительный прогресс. Кроме того, недавно Минэкономразвития провело конкурс — будет создано еще шесть исследовательских центров. Также в нашей стране в этой сфере существует много стартапов.

Мне кажется, сейчас важны следующие вещи: стремиться получать результаты мирового уровня, публиковаться в ведущих журналах, а также решать прикладные задачи для индустрии и бизнеса. В сфере нейросетей есть стек технологий: зрение, естественный язык, обработка сигналов, обучение с подкреплением и другие. И все эти технологии — набор компетенций, из которых можно собрать решение практически для любой бизнес-задачи. Поэтому развивать нужно их все.

Что еще почитать и посмотреть о нейросетях

 

Подробнее о том, что происходит в области нейросетей, мы говорим на лекции, которая размещена в материалах статьи выше.

Будь первым, кто оставит комментарий

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

    ПОДПИШИСЬ НА НАШУ ТЕХНО-РАССЫЛКУ
    ПОДПИШИСЬ
    НА НАШУ ТЕХНО-РАССЫЛКУ