Прогноз с приставкой «нейро»: можно ли научить искусственный интеллект быть естественным

обновлено

Российский ученый Иван Оселедец — один из ведущих специалистов по искусственному интеллекту. В научном мире он известен как автор прорывных нейросетевых методов решения многомерных задач на стыке физики, химии, биологии и анализа данных. В этой статье эксперт в сфере интеллектуальных технологий отвечает на вопрос, как развитие нейросетей связано с изучением мозга человека и почему на данный момент ИИ не способен работать в режиме многозадачности.

За окном XXI век. Искусственный интеллект (ИИ) проникает во все сферы жизни. Умные устройства уже способны понимать естественные языки, генерировать контент, обрабатывать изображения, сжимать данные и решать задачи моделирования физических процессов. Нейросети изучают ведущие исследователи во всем мире, и несмотря на это, мало кто на самом деле понимает, что такое искусственный интеллект. Для меня — человека, который работает в этой области, — термины не очень важны. Важно, чтобы методы, которые условно называются методами ИИ, были полезны для решения практических задач. Но без детального понимания сущности нейросетей добиться этого невозможно. Попробуем же разобраться в этом феномене.


Умные модели


На мой взгляд, сегодня понятие «искусственный интеллект» неоправданно часто используется в маркетинговых целях. Есть даже совсем анекдотичные случаи, когда на холодильнике, например, пишут «Режим ИИ», и заключается он в том, что в морозилке просто поддерживается постоянная температура. Также часто говорят о так называемом общем ИИ (AGI), который способен выполнять разные задачи, но которого в принципе ещё не существует.


Наиболее близкими к AGI сегодня являются методы, связанные с обработкой естественного языка. Реальная же технология — это, в первую очередь, машинное обучение (machine learning) или глубокое обучение (deep learning). То есть создание математических моделей, которые могут обучаться разными способами. Самый простой и стандартный — обучение с учителем, когда у нас есть большой размеченный дата-сет с правильными ответами, и мы создаем модель, которая на этой выборке учится определять, что есть что, а уже после обучения в виде программы отличает, например, котов от собак.


Как правильно обучать машины


В основе машинного обучения всегда лежат алгоритмы. По сути, у такой системы есть данные на входе, и на выходе формируется предсказание, то есть результат. Предсказанием может быть, например, текстовое описание картинки или наоборот — создание картинки по текстовому описанию.

В студии Артемия Лебедева, например, работает нейродизайнер, который по текстовому описанию рисует логотипы, — за 2020 год выполнил 20 коммерческих проектов. Нейросеть зовут Николай Иронов, и у неё даже есть свое портфолио на сайте студии. Так что алгоритмы уже проникают в области, где требуются исконно человеческие навыки — креатив, воображение. Оказывается, если показать сети огромное число логотипов, она поймёт, что это такое, и научится связывать эти мультимодальные данные — текст и изображение — между собой.

Однако здесь есть один важный момент, на который пока нет однозначного ответа: запоминает ли нейросеть то, на чём её учили, или же она выделяет какие-то важные признаки, которые действительно отличают одно изображение от другого? Наверное, естественный интеллект всё-таки не запоминает миллион картинок, просто доставая из памяти похожую, а разбивает процесс распознавания на более-менее понятные части. Но, с другой стороны, мы до сих пор толком не знаем, как работает даже наш собственный мозг.


В поисках лёгкой архитектуры


В целом нейросеть — это математическая модель, которая умеет решать задачи. На мой взгляд, сейчас идет процесс унификации и поиска оптимальных архитектур для нейросетей. Потому что, во-первых, архитектура должна давать высокую точность, а во-вторых, быть не очень тяжёлой. Я выделю пять типов современных нейросетей и кратко опишу каждую из них.

Типы

Многослойная нейросеть, или персептрон

Это первая модель нейронной сети. Её рабочий алгоритм построили советские ученые Алексей Ивахненко и Валентин Лапа. Говоря простыми словами, это композиция линейных преобразований: несколько слоёв искусственных нейронов, где связь есть как между двумя слоями, так и между каждым из нейронов.

Свёрточная нейросеть

Такие сети в основном используются для обработки видеоизображений. В них каждый нейрон сначала распознает какую-то небольшую область картинки, а потом соседнюю. Таким образом мы в архитектуре сети кодируем, что смотреть надо не на всю картинку целиком, а только на близкие области.

ResNet (residual neural network)

В этих сетях используется skip connection (быстрый доступ), то есть связь между одним слоем и слоем более дальним. По сути, это улучшенная версия свёрточной нейросети.

Рекуррентная нейросеть

В такой сети используется память, которую она применяет для обработки последовательностей произвольной длины.

Трансформеры

Сегодня большинство новых архитектур является некой вариацией трансформеров. Такие нейросети появились в 2017 году, в них закодирован важный механизм — внимание. На основе архитектуры трансформеров работает, например, модель BERT для распознавания естественного языка. Сейчас трансформерные архитектуры продолжают захватывать мир, и уже используются для работы с изображениями.

Кроме того, есть так называемая нейроморфная архитектура — спайковые (spike) или импульсные нейросети. Несмотря на то, что они считаются более физиологически обоснованными, до сих пор никакого улучшения относительно обычных нейросетевых моделей с помощью них получить не удаётся. Поэтому нейроморфные архитектуры носят пока более теоретический характер.


Искусственный и естественный интеллект: в чём отличия


Отличий, конечно, больше. На мой взгляд, кроме того, что создание нейросетей изначально было вдохновлено принципами работы мозга, и недавнего добавления механизма внимания в сети-трансформеры, особых сходств и нет.


На данный момент основная проблема заключается в том, что мы не понимаем, как реализовать многозадачность. Сейчас огромные дата-сеты «скармливаются» гигантским нейросетям в надежде, что они выучат разные концепты. И есть предположение, что, оставляя начало такой нейросети и меняя ее конец, мы сможем быстро адаптировать её под решение разных задач. В принципе, с моделями для естественного языка нечто подобное получается. Но других результатов пока нет.


Ещё одно важное отличие искусственных нейросетей от мозга состоит в том, что мозг существенно более энергоэффективен. Это может быть связано как с тем, что «железо», которое мы используем, хуже нашей биологической системы, так и с внутренней структурой алгоритмов. Потому что естественная нейросеть (не только наша, но даже мыши, например) может решать много разных задач.


Обеспечение энергоэффективности для задач распознавания, мне кажется, может быть реализовано с помощью биологически подобного механизма.

Во-вторых, существует проблема с обобщаемостью. Говоря простыми словами, нет теории о том, почему вся эта история вообще должна работать. Даже если вы собрали большой дата-сет, то размер выборки всё равно меньше, чем число параметров, но при этом система работает. Большой вопрос как.


В-третьих, все модели нейросетей имеют вид чёрного ящика, и мы не знаем, почему было принято одно решение, а не другое. Это вопрос интерпретируемости предсказаний.


Кроме того, современные нейросети очень неустойчивы к специально созданным возмущениям: взломам или вбросам. Есть отличный пример с моделью для определения рака легких по снимкам. В выборке изображений, на которых обучали нейросеть, не было снимков лёгких пациентов, пострадавших от COVID-19, и во время пандемии алгоритм каждому второму человеку начал ставить диагноз «рак лёгких». Но так быть не должно. Если таких снимков сеть не видела, она должна сообщить об этом, а не давать неправильный результат.


И последнее — энергоэффективность. Нужны модели, которые не будут потреблять такое количество вычислительных ресурсов. Алгоритмы обучаются сотни дней и уже наносят ущерб окружающей среде. Конечно, этот вред не сравнится с вредом от нефтяных гигантов с точки зрения выделения углекислого газа, но он есть. Есть большая разница между энергоэффективностью человека, который потребляет (условно) 30 Вт, и моделями распознавания, которые потребляют мегаватты при обучении и ещё больше — при использовании. Решения этой проблемы также пока не существует.


Какие смежные сферы развивает интерес к ИИ


В связи с тем, что нерешённых проблем в сфере искусственного интеллекта много, сейчас, на мой взгляд, идет активный поиск тех математических результатов, которые могут быть полезны для улучшения алгоритмов, понимания того, как они работают, и создания новых архитектур.


Мне кажется, за счёт этого развиваются такие области компьютерных наук, как топология, потому что данные — это сложная геометрическая структура, и достаточно сложные топологические подходы позволяют эту структуру понимать, анализировать и сравнивать. Также развивается вычислительная линейная алгебра и тензорные методы, потому что всё машинное обучение построено вокруг линейных преобразований. Наконец, статистика и теория вероятности. Статистическая теория машинного обучения говорит о том, что выучить надёжную модель, имея огромное количество данных и ещё большее число параметров, нельзя. Но сейчас почему-то всё учится и работает. То есть нужна новая статистическая теория машинного обучения, так как на данный момент теория довольно сильно отстаёт от экспериментальных работ.


Как происходят открытия в сфере машинного обучения


Как и во всех науках, открытия в области машинного обучения подтверждаются публикациями. Оценивая их, научное сообщество определяет новизну результатов. Часто бывает так, что, если результат интересный, его обязательно «откроют» несколько раз. Таких примеров в истории науки довольно много. Поэтому любой ученый обязан отлично знать современное состояние той области, которую он изучает. Исходя из этого он формулирует основную проблему и решает её. По итогам исследования ученый публикует научную статью, которую затем оценивают рецензенты.


Признание результата выражается в цитировании работы. Причём машинное обучение сейчас развивается настолько быстро, что статья может выйти и уже через несколько месяцев получить сотни цитирований. И ещё, конечно, важный момент — это внутренняя самооценка и радость от того, что ты решил задачу, которую считал нерешённой.


Кто занимается развитием нейросетей в России


В нашей стране компьютерные науки долгое время находились на положении бедного родственника. Даже если посмотреть на специальности, по которым можно было защищать диссертации, то ещё не так давно компьютерных наук в этом списке не было.


В целом в последние годы в России в области нейросетей произошел, как говорят, «взрывной рост». Научные группы сегодня есть в Сколтехе, ВШЭ, «Яндексе». Всего их примерно 15 по всей стране. Этого мало, конечно, но по сравнению с тем, что было раньше, — значительный прогресс. Кроме того, недавно Минэкономразвития провело конкурс — будет создано еще шесть исследовательских центров. Также в нашей стране в этой сфере существует много стартапов.


Мне кажется, сейчас нужно стремиться получать результаты мирового уровня, решать прикладные задачи для индустрии и бизнеса. В сфере нейросетей есть стек технологий: зрение, естественный язык, обработка сигналов, обучение с подкреплением и другие. И все эти технологии — набор компетенций, из которых можно собрать решение практически для любой бизнес-задачи. Поэтому развивать нужно их все.

Также по теме