Прогноз с приставкой «нейро»: можно ли научить искусственный интеллект быть естественным

За окном XXI век. Искусственный интеллект (ИИ) проникает во все сферы жизни. Умные устройства уже способны понимать естественные языки, генерировать контент, обрабатывать изображения, сжимать данные и решать задачи моделирования физических процессов. Нейросети изучают ведущие исследователи во всем мире, и несмотря на это, мало кто на самом деле понимает, что такое искусственный интеллект. Для меня — человека, который работает в этой области, — термины не очень важны. Важно, чтобы методы, которые условно называются методами ИИ, были полезны для решения практических задач. Но без детального понимания сущности нейросетей добиться этого невозможно. Попробуем же разобраться в этом феномене.

На мой взгляд, сегодня понятие «искусственный интеллект» неоправданно часто используется в маркетинговых целях. Есть даже совсем анекдотичные случаи, когда на холодильнике, например, пишут «Режим ИИ», и заключается он в том, что в морозилке просто поддерживается постоянная температура. Также часто говорят о так называемом общем ИИ (AGI), который способен выполнять разные задачи, но которого в принципе ещё не существует.

Наиболее близкими к AGI сегодня являются методы, связанные с обработкой естественного языка. Реальная же технология — это, в первую очередь, машинное обучение (machine learning) или глубокое обучение (deep learning). То есть создание математических моделей, которые могут обучаться разными способами. Самый простой и стандартный — обучение с учителем, когда у нас есть большой размеченный дата-сет с правильными ответами, и мы создаем модель, которая на этой выборке учится определять, что есть что, а уже после обучения в виде программы отличает, например, котов от собак.

В основе машинного обучения всегда лежат алгоритмы. По сути, у такой системы есть данные на входе, и на выходе формируется предсказание, то есть результат. Предсказанием может быть, например, текстовое описание картинки или наоборот — создание картинки по текстовому описанию.

Однако здесь есть один важный момент, на который пока нет однозначного ответа: запоминает ли нейросеть то, на чём её учили, или же она выделяет какие-то важные признаки, которые действительно отличают одно изображение от другого? Наверное, естественный интеллект всё-таки не запоминает миллион картинок, просто доставая из памяти похожую, а разбивает процесс распознавания на более-менее понятные части. Но, с другой стороны, мы до сих пор толком не знаем, как работает даже наш собственный мозг.

В целом нейросеть — это математическая модель, которая умеет решать задачи. На мой взгляд, сейчас идет процесс унификации и поиска оптимальных архитектур для нейросетей. Потому что, во-первых, архитектура должна давать высокую точность, а во-вторых, быть не очень тяжёлой. Я выделю пять типов современных нейросетей и кратко опишу каждую из них.

Кроме того, есть так называемая нейроморфная архитектура — спайковые (spike) или импульсные нейросети. Несмотря на то, что они считаются более физиологически обоснованными, до сих пор никакого улучшения относительно обычных нейросетевых моделей с помощью них получить не удаётся. Поэтому нейроморфные архитектуры носят пока более теоретический характер.

Отличий, конечно, больше. На мой взгляд, кроме того, что создание нейросетей изначально было вдохновлено принципами работы мозга, и недавнего добавления механизма внимания в сети-трансформеры, особых сходств и нет.

На данный момент основная проблема заключается в том, что мы не понимаем, как реализовать многозадачность. Сейчас огромные дата-сеты «скармливаются» гигантским нейросетям в надежде, что они выучат разные концепты. И есть предположение, что, оставляя начало такой нейросети и меняя ее конец, мы сможем быстро адаптировать её под решение разных задач. В принципе, с моделями для естественного языка нечто подобное получается. Но других результатов пока нет.

Ещё одно важное отличие искусственных нейросетей от мозга состоит в том, что мозг существенно более энергоэффективен. Это может быть связано как с тем, что «железо», которое мы используем, хуже нашей биологической системы, так и с внутренней структурой алгоритмов. Потому что естественная нейросеть (не только наша, но даже мыши, например) может решать много разных задач.

Обеспечение энергоэффективности для задач распознавания, мне кажется, может быть реализовано с помощью биологически подобного механизма.

Во-вторых, существует проблема с обобщаемостью. Говоря простыми словами, нет теории о том, почему вся эта история вообще должна работать. Даже если вы собрали большой дата-сет, то размер выборки всё равно меньше, чем число параметров, но при этом система работает. Большой вопрос как.

В-третьих, все модели нейросетей имеют вид чёрного ящика, и мы не знаем, почему было принято одно решение, а не другое. Это вопрос интерпретируемости предсказаний.

Кроме того, современные нейросети очень неустойчивы к специально созданным возмущениям: взломам или вбросам. Есть отличный пример с моделью для определения рака легких по снимкам. В выборке изображений, на которых обучали нейросеть, не было снимков лёгких пациентов, пострадавших от COVID-19, и во время пандемии алгоритм каждому второму человеку начал ставить диагноз «рак лёгких». Но так быть не должно. Если таких снимков сеть не видела, она должна сообщить об этом, а не давать неправильный результат.

И последнее — энергоэффективность. Нужны модели, которые не будут потреблять такое количество вычислительных ресурсов. Алгоритмы обучаются сотни дней и уже наносят ущерб окружающей среде. Конечно, этот вред не сравнится с вредом от нефтяных гигантов с точки зрения выделения углекислого газа, но он есть. Есть большая разница между энергоэффективностью человека, который потребляет (условно) 30 Вт, и моделями распознавания, которые потребляют мегаватты при обучении и ещё больше — при использовании. Решения этой проблемы также пока не существует.

В связи с тем, что нерешённых проблем в сфере искусственного интеллекта много, сейчас, на мой взгляд, идет активный поиск тех математических результатов, которые могут быть полезны для улучшения алгоритмов, понимания того, как они работают, и создания новых архитектур.

Мне кажется, за счёт этого развиваются такие области компьютерных наук, как топология, потому что данные — это сложная геометрическая структура, и достаточно сложные топологические подходы позволяют эту структуру понимать, анализировать и сравнивать. Также развивается вычислительная линейная алгебра и тензорные методы, потому что всё машинное обучение построено вокруг линейных преобразований. Наконец, статистика и теория вероятности. Статистическая теория машинного обучения говорит о том, что выучить надёжную модель, имея огромное количество данных и ещё большее число параметров, нельзя. Но сейчас почему-то всё учится и работает. То есть нужна новая статистическая теория машинного обучения, так как на данный момент теория довольно сильно отстаёт от экспериментальных работ.

Как и во всех науках, открытия в области машинного обучения подтверждаются публикациями. Оценивая их, научное сообщество определяет новизну результатов. Часто бывает так, что, если результат интересный, его обязательно «откроют» несколько раз. Таких примеров в истории науки довольно много. Поэтому любой ученый обязан отлично знать современное состояние той области, которую он изучает. Исходя из этого он формулирует основную проблему и решает её. По итогам исследования ученый публикует научную статью, которую затем оценивают рецензенты.

Признание результата выражается в цитировании работы. Причём машинное обучение сейчас развивается настолько быстро, что статья может выйти и уже через несколько месяцев получить сотни цитирований. И ещё, конечно, важный момент — это внутренняя самооценка и радость от того, что ты решил задачу, которую считал нерешённой.

В нашей стране компьютерные науки долгое время находились на положении бедного родственника. Даже если посмотреть на специальности, по которым можно было защищать диссертации, то ещё не так давно компьютерных наук в этом списке не было.

В целом в последние годы в России в области нейросетей произошел, как говорят, «взрывной рост». Научные группы сегодня есть в Сколтехе, ВШЭ, «Яндексе». Всего их примерно 15 по всей стране. Этого мало, конечно, но по сравнению с тем, что было раньше, — значительный прогресс. Кроме того, недавно Минэкономразвития провело конкурс — будет создано еще шесть исследовательских центров. Также в нашей стране в этой сфере существует много стартапов.

Мне кажется, сейчас нужно стремиться получать результаты мирового уровня, решать прикладные задачи для индустрии и бизнеса. В сфере нейросетей есть стек технологий: зрение, естественный язык, обработка сигналов, обучение с подкреплением и другие. И все эти технологии — набор компетенций, из которых можно собрать решение практически для любой бизнес-задачи. Поэтому развивать нужно их все.