Нейроморфные технологии // Александр Крайнов

Как развиваются современные нейронные сети

250 0
Посмотреть на
На площадке проекта YADRO Лекторий состоялась лекция директора по развитию технологий искусственного интеллекта «Яндекс» Александра Крайнова, на которой он рассказал, какие компании применяют искусственный интеллект (ИИ) в своей деятельности, какое аппаратное обеспечение используется для разных задач и как индустрия ИИ устроена изнутри. Публикуем краткий пересказ лекции.

Этапы развития современных нейронных сетей

Искусственный интеллект сегодня — это любая вещь, где под капотом скрывается машинное обучение в любой своей форме. Как мы к этому пришли?

  • В 2012 году на конкурсе по распознаванию изображений ImageNet победила нейронная сеть. Отрыв от любого другого метода распознавания составил более 10 %, что стало серьезном толчком в развитии компьютерного зрения, за которым последовал взлет нейронных сетей. Однако на жизни обычных пользователей тогда это достижение никак не сказалось.
  • Следующий этап — 2015 год и AlphaGo. Нейронная сеть, обученная играть в го, обыграла в человека. Это было колоссальным событием. Тогда прозвучал термин искусственный интеллект, который с тех пор используется практически везде.
  • В 2017 году вышла статья Attention is all you need. До этого момента пальма первенства была у технологий компьютерного зрения. В статье речь шла об анализе текста. Эта задача у нейронных сетей на тот момент получалась плохо, потому что каждое слово и фраза, которые мы читаем, меняют свое значение в зависимости от контекста. А все методы нейронных сетей очень плохо понимали контекст и быстро его теряли. Статья показала, как можно сохранять контекст, не раздувая сеть до огромных масштабов. Идея заключалась в том, что при многоступенчатом анализе фрагмента текста можно выделять более значимые и менее значимые части. Эта научная работа прошла для общества незаметно, но развернула весь ИИ в сторону распознавания текста.
  • Следующее впечатляющее событие — это 2020 год и появление нейросети GPT-3. Суть в том, что в машинном обучении должен быть баланс между данными для обучения и размером сети, которую мы обучаем. В результате возникла идея: что будет, если мы возьмем бесконечное количество данных и обучим бесконечную нейросеть? GPT-3 — это способ взять бесконечное количество данных.

Основные области применения современных нейронных сетей

Компьютерное зрение

Это первое направление, где алгоритмы начали работать, как надо, и стали приносить реальный результат. Сегодня компьютерное зрение используется практически везде: в распознавании баркодов, в распознавании номеров и дорожных событий, в распознавании лиц, в системах идентификации и реидентификации, в ритейле для сбора аналитики о посетителях, в медицине, а также для контроля на производстве и для поиска похожих изображений.

NLP. Понимание естественного языка

Основные области применения: перевод, генерация текста, ранжирование в поиске, диалоговые системы и классификация контента. Что касается генерации текста, она происходит с помощью модели GPT-3. Например, такая нейронная сеть может дописать слово в конце предложения. Каким образом? Суть в том, что нейросеть не генерирует длинный текст, а каждый раз дописывает по одному слову. То есть ей на вход подается текст с уже дописанным словом и она вновь генерирует текст. И так слово за словом сеть дописывает текст.

Обучение нейронной сети

Обучение и применение нейросетей всегда разнесены по времени. Человек одновременно выполняет и учится, а нейронные сети нет: есть отдельный процесс обучения и отдельный процесс выполнения.

Нейросеть GPT3 учится примерно месяц на огромном кластере — если его посчитать он войдет в топ 30 мировых суперкомпьютеров. При этом выполнение обученной сети — сотни миллисекунд на видеокарте. Почему? Потому что обучение — это подбор параметров, то есть многократное выполнение этой нейронной сети.

Обучение одной модели GPT3 стоит порядка $12 млн, если арендовать облако по ценам Amazon. Причем, если в уже обученной модели требуется поменять один из параметров, нужно еще $12 млн. И эти цифры будут только расти. Когда эта гонка закончится, пока непонятно. В процессе нее отваливаются мелкие компании, потому что не все могут позволять себе такие инвестиции.

Программно-аппаратный комплекс нейросети и расклад сил по «железу»

Программно-аппаратный комплекс нейросети состоит из нескольких слоев: нижнего аппаратного уровня, программного слоя, слоя поддержки существующих фреймворков для машинного обучения, библиотеки, опенсорсных фреймворков, а также многочисленных архитектур и открытых моделей.

Рассмотрим программно-аппаратный комплекс нейросети на Nvidia. Первый слой — конкретная видеокарта с процессором Nvidia. Над ней есть базовые операции и поддержка фреймворков. Эти два слоя можно объединить под названием cuDNN — это программное обеспечение от Nvidia. Затем есть стандартные фреймворки, которые отлично работают с cuDNN, есть библиотеки моделей и архитектуры. Кроме того, вокруг всего этого существует огромное коммьюнити. То есть, если разработчик что-то запускает на cuDNN, и у него что-то ломается, он идет на форум, видит, что еще у 1000 человек это тоже сломалось и с проблемой уже работает поддержка Nvidia. То есть программный слой очень важен. На данный момент его нормально делает Nvidia, а также пытаются Huawei и Google. В результате расклад сил по «железу» следующий: Nvidia, Intel, Huawei, Google и TPU.

Ситуация с развитием нейросетей в России

Наука

Главная цель научной деятельность в computer science — это публикация на топовых конференциях. Главный результат научной деятельности в computer science — это подготовка кадров.

Топовые конференции это: NeurlPS, ICML, ICLR, AAAI, CVPR, ICCV, EMNL, ACL. Самые показательные NeurlPS, ICML. Россия по публикациям с конференций находится на 15-м месте в мире. Но если сравнить с США, то расклад такой: 1677,8 публикаций в Штатах, против 19,2 в России.

Однако у нас существует национальная стратегия развития ИИ и более конкретный федеральный проект. Также реализуется программа по развитию опорных центров, выделены деньги, и есть надежда, что наука будет развиваться. Средства направлены в правильные места, в шесть научных центров: ВШЭ, МФТИ, Сколтех, Иннополис, ИТМО и Академия наук. Это позволит ученым больше получать и делать больше публикаций.

Кадры

С кадрами у нас беда. Есть проблема утечки кадров, как и во всем мире, кроме США — там они притекают, а у нас утекают. Во сфере технологий есть некая элита — это люди от которых зависит, то каким получится сервис. Такой кадровой элиты нужно не очень много, но у нас и готовится ее очень немного. И стоят такие люди очень дорого.

Государство и его регулирование

Во всем мире государство начинает регулировать технологии. В обществе существует недоверие к новым технологиям, и власти в ответ говорят: спокойно, сейчас мы всё отрегулируем и ограничим. В России ситуация с регулированием более-менее хорошая, в отличие, например, от Европы. Там в результате технологии развиваются медленнее и, по сути, нет технологических лидеров. Они есть в США, Китае, Южной Корее, у нас — Яндекс, Mail.ru, Сбер — и всё, в Европе сложно кого-то выделить.

Беспилотники начнут ездить первыми не в той стране где их разработают, а в той стране, где их разрешат. И это точно будет не Европа. Я уверен, что в России беспилотники поедут раньше, чем в Европе, но позже чем в Китае.

«Железо»

С «железом» мы понятно, где находимся. Я верю, что мы в состоянии делать какие-то устройства для эмбединга, мы можем даже собирать сервера и строить платы на основе существующих Nvidia GPU. Но если по нам ударят санкции и нам полностью запретят поставки, скажем Nvidia, то весь наш ИИ встанет колом, потому что заместить это будет нечем. И я говорю не только о железе, а также и о программно-аппаратной области — комбинации «железа» и программного слоя — который очень важен. Если какая-то компания в России думает о создании конкурентного отечественного чипа для ускорения работы ИИ, то просто сделать «железку» — этого недостаточно, необходимо обеспечить поддержку широкого софтового набора современных технологий ИИ и библиотек, чтобы настройка такого ускорителя и дальнейшее сопровождение осуществлялась в ногу с индустрией. К сожалению, текущая настройка майндсета наших компаний, занимающихся разработкой подобных устройств не содержит в себе данного понимания.

 

Более детально обо всем этом смотрите и слушайте в лекции, которая размещена в материалах статьи в самом верху страницы.

Будь первым, кто оставит комментарий

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

    ПОДПИШИСЬ НА НАШУ ТЕХНО-РАССЫЛКУ
    ПОДПИШИСЬ
    НА НАШУ ТЕХНО-РАССЫЛКУ