Голосовые помощники легко считывают вербальные команды: по вашей просьбе подскажут прогноз погоды и напомнят записаться к врачу. В некоторых магазинах уже можно оплатить покупку буквально «взглядом» — по биометрическим данным, если вы подключили сервис распознавания по лицу в банковском приложении.
Пахнет жареным: как нейронные сети помогают связать мир запахов и технологий
![Нейросеть чувствует запахи](https://engineer.yadro.com/wp-content/uploads/2024/02/ai-smells-1536x1024.png)
Из пяти базовых чувств человека, в числе которых зрение, осязание, слух, вкус и обоняние, технологии искусственного интеллекта неплохо освоили три. Рассказываем, как они подступаются к четвертому, непростому в освоении человеческому умению — распознавать как базовые, так и сложносоставные ароматы.
![Нейросеть чувствует запахи](https://engineer.yadro.com/wp-content/uploads/2024/02/ai-smells-1536x1024.png)
В отличие от них «осязательные» способности технологий пока не так далеко ушли из лабораторий. Исследователи Массачусетского технологического института ещё в 2019 году научили нейросеть по внешнему виду объекта предсказывать тактильные ощущения, которые могут возникнуть от прикосновения к нему. Это позволит роботам безопаснее и точнее взаимодействовать с объектами — например, аккуратнее сжимать хрустальный бокал или мягкий томат, не превращая его в гаспачо. Однако массового применения технология пока не получила.
Так что современные разработки уже могут «видеть», «слышать» и «слушать», а также уверенно прогрессируют в умении «осязать», основанном на компьютерном зрении. Этот успех во многом обусловлен тем, что мы научились «оцифровывать» изображения и звуки, переводить в понятный машинам вид. Сделать подобное со всеми существующими запахами в разы сложнее, поэтому пока «обоняние» — очень ограниченно доступное электронным устройствам свойство. Но с развитием технологий, которые дают возможность проводить статистический анализ закономерностей в больших наборах данных, появляются смелые исследования по «картированию» запахов.
Проекты «с душком»
Говорить о том, что все попытки научить программируемые устройства распознавать запахи — дело последних пары лет, нельзя. С начала 1980-х годов исследователи разрабатывают «электронные носы», которые помогают обнаруживать определенные химические соединения в воздухе. Некоторые из них активно используются в промышленности. Однако всех их объединяет ограниченная применимость и узкая направленность — идентифицируют только определенные запахи.
Помимо решений для промышленности, были и идеи создания пользовательских гаджетов. Так, в 1999 году компания DigiScents iSmella разрабатывала картридж с USB-подключением для настольных компьютеров. Предполагалось, что он будет кодировать, а затем воспроизводить для пользователя ароматы, данные о которых собраны в интернете. Однако в 2001 году компания закрылась из-за отсутствия финансирования.
Уже в более «зрелом» технологическом мире компания Vapor Communications представила идею устройства oPhone. Этот странный девайс, похожий на ингаляционную станцию, должен был подключаться к iPhone или iPad и позволять отправлять ароматы вместе с сообщениями. Несмотря на заманчивую возможность вдохнуть запах свежесваренного кофе вместе с пожеланием доброго утра, продукт так и не вышел на рынок.
![Девайс oPhone](https://engineer.yadro.com/wp-content/uploads/2024/02/img-1-ophone-1024x590.jpg)
Источник
В чём сложность оцифровки запахов
Что же мешает исследователям и разработчикам связать мир запахов и технологий?
Учёные насчитывают около 350 типов обонятельных рецепторов в носу среднестатистического человека, а в общей сложности их примерно от 6 до 10 миллионов. То есть обоняние способно классифицировать в среднем 350 вариантов окружающих нас запахов. Для сравнения: человеческий глаз по сути использует всего три классификации, которые соответствуют трём основным цветам спектра: красный, зеленый и синий. Три против 350 — разница драматическая.
Осложняет задачу в целом непростой биологический механизм распознавания запахов. Нос среднестатистического человека через рецепторы воспринимает огромное количество молекул, находящихся в воздухе. Затем рецепторы отправляют нейронные сигналы в мозг, интерпретирующий, что это за запах — кофе, бензина, пота и так далее. При этом точного понимания, как именно мозг кодирует эти сложные сигналы, у учёных всё еще нет.
Дополнительный вызов состоит в том, что химическая структура и качественное восприятие запаха человеком не связаны напрямую. На интерпретацию аромата влияет много переменных, включая личный опыт, контекст, генетические особенности обонятельных рецепторов. Например, один и тот же парфюм может вызывать совершенно полярные чувства у разных людей — от любви до ненависти.
Так что воспринимать запахи, как человек, устройствам будет очень непросто. Но целые исследовательские команды не теряют надежды, что к этой цели можно приблизиться. Например, стартап Osmo AI, дочерняя компания Google Research.
Фокус разработок стартапа
Команду Osmo AI возглавляет Алекс Вильчко, руководивший командой цифрового обоняния в Google Research. Одна из главных задач его команды — это создание карты основных запахов (Principal Odor Map, или POM), которая успешно сопоставляет молекулярную структуру запаха с его восприятием. В задаче преуспела графовая нейронная сеть (GNN), которая обучалась на двух больших наборах данных. Один из них — база данных Leffingwell PMP 2001, которая содержит описание запаха 3523 молекул. Дескрипторы вполне человечные: запахи молекул определяют как «сладкие», «жжёные», «цветочные», «листовой зелени», «сирени», «миндаля» и другие.
В итоге обученная модель не уступает в точности описания запаха человеку: на выборке из 400 новых одорантов профиль запаха, сгенерированный моделью, в 53% случаев приближался к среднему описанию группы, а не отдельного участника. Это говорит о том, что нейросети успешно удалось уловить взаимосвязь «структура молекулы — запах». Principal Odor Map, которая получилась в результате, далека от привычных представлений о бумажной, двухмерной карте. Модель разместила молекулы запахов в системе координат на основе 256 измерений — атрибутов, которые, по мнению алгоритма, можно использовать для различения молекул.
![Составленная карта запахов](https://engineer.yadro.com/wp-content/uploads/2024/02/img1-network-odors-1024x590.jpg)
Источник
Для исследователей эта модель означает переход к более точным, основанным на цифрах средствам описания вселенной запахов.
Дальнейшие шаги
Создание карты и обучение модели — лишь начало пути к «оцифровке» запахов. Несмотря на то, что теперь технологии ИИ могут угадать человеческое восприятие запахов, полагаясь не на слова, а на интерпретацию молекул, исследователи всё ещё не могут перевести их на универсальный язык цифр. Кроме того, новая модель не готова выходить в реальный мир запахов, поскольку большинство из них представляют собой сложные молекулярные смеси. Так, запах новорожденного может состоять из «коктейля» запахов детской присыпки, грудного молока и увлажняющего крема.
Создание карты и обучение модели — лишь начало пути к «оцифровке» запахов. Несмотря на то, что теперь технологии ИИ могут угадать человеческое восприятие запахов, полагаясь не на слова, а на интерпретацию молекул, исследователи всё ещё не могут перевести их на универсальный язык цифр. Кроме того, новая модель не готова выходить в реальный мир запахов, поскольку большинство из них представляют собой сложные молекулярные смеси. Так, запах новорожденного может состоять из «коктейля» запахов детской присыпки, грудного молока и увлажняющего крема.
Следующие шаги в «оцифровке» ароматов стартап Osmo AI видит так:
- преобразование молекул запаха в цифровые сигналы;
- определение того, как эти сигналы связаны между собой и как воспринимаются с точки зрения чувств (задачу можно сравнить с классификацией звуков по частоте);
- обратная конверсия цифровых сигналов в молекулы запаха.
Если у команды стартапа и её последователей всё получится, это откроет большие возможности для создания новых полезных устройств, в том числе более технологически совершенных «электронных носов».
Впрочем, озвученные препятствия не мешают развиваться целому ряду биотехнологических стартапов в области работы с запахами, основанной на работе с AI. Так, компания Crunchbase выделила 20 компаний, получивших финансирование своих идей. Среди них есть как социально значимые — например, технологии, которые могут «учуять» рак, незаконно перевозимые запрещенные вещества или определить опасные выхлопы производства, так и более развлекательные. Например, компания Perfumeo создает умный диффузор, который подберет запах под ваше настроение — успокоит лавандой, если вы встревожены, или взбодрит нотками лимона, если вы клюете носом во время работы.