Оживляя машину: пять технологических перформансов, которые дадут представление о жанре
с помощью нейросети
Переплетение искусства, научного знания и современных технологий существует в бесконечном множестве вариаций. Год назад мы уже говорили о взаимообогащении этих сфер. Сегодня же сфокусируемся на конкретной форме — технологического перформанса. Вместе с Ольгой Ремнёвой, арт-консультантом, специалистом по Art&Science и автором Telegram-канала «Мы вернёмся к красоте», мы рассмотрим несколько достойных внимания российских технологических перформансов. Они задействуют разные технологии (робототехника, виртуальная реальность, DIY-устройства) и поднимают разные проблемы: от отношений человека и машины до «расширения» человека за счет технологий.
Что такое перформанс
Зачастую подразумевается взаимодействие между перформером и зрителем, но это не обязательно. Исполнителем перформанса может выступать как его автор, так и специально приглашенный человек или группа людей. Ключевое отличие от театральной постановки — в отсутствии детального сценария, есть только предполагаемый: художник прогнозирует, как будет разворачиваться действие перформанса и как он будет вести себя в процессе, но всегда с учетом значительных допущений и изменений.
Для формы перформанса как таковой важна открытость эксперимента, когда действие, пусть и подготовленное, разворачивается в режиме реального времени на глазах у зрителя.
А значит, всегда остается вариативность в исполнении и живая материя жизни. Это создание ситуации коллективного вопрошания, когда художник, зритель и технологический агент взаимодействуют и влияют друг на друга.
Нам интересен феномен перформанса как плацдарма для экспериментального применения технологии, как места расширения степеней свободы в обращении с ней. Используя то или иное техническое решение для реализации творческой идеи, художники демонстрируют нам неочевидные возможности технологий, показывают их с другой стороны.
Актуальные технологические перформансы
Рассмотренные ниже проекты можно считать кураторской селекцией. Иными словами, как автор статьи я полагаюсь на свой профессиональный вкус. Из множества реализованных проектов здесь выделены те, что, как мне кажется, хорошо дополняют друг друга. В выборке представлены перформансы только российских авторов, изначально реализованные в пределах российской художественной сцены. Каждый перформанс работает со своей уникальной технологической составляющей, и желание показать варьируемые опции применения разных технологий — еще один критерий выбора проектов.
Синтетическая морфология, 2024
Перед нами — носимые робопротезы. Гибридное существо, расположенное на границе антропоморфного и зооморфного, «естественного» и «технологического».
Перед нами — перформер, надевший тентакли и превратившийся в гидру. «Синтетическая морфология» — это визуальные и развернутые во времени рассуждения о мире за пределами человека, о животном в нем.
Звериная природа людей передается Анастасией Алёхиной через технологические расширения, а хореография и звуковое сопровождение создают до определенной степени жуткое зрелище. Ожившее человекосущество движется по специфической траектории под скрежещущие звуки, будто ящерица.
Носимые робопротезы — тентакли — управляются через специально разработанный интерфейс и программный алгоритм. Они созданы в смешанной технике: 3D-печать, формовка, композиты, DIY-электроника.
Готовя проект, художница общалась с людьми с протезами, вникала в особенности их взаимодействия с миром, исследовала вместе с ними ограничения и возможности (креативного) протезирования. В этом смысле эти расширения для нее — исследование в области альтернативной архитектуры тела и попытка прорвать такие бинарные оппозиции, как «человеческое / нечеловеческое», «природное / культурное», «естественное / искусственное», «нормальное / патологическое». Перед авторами не стоит задача напугать зрителя, скорее, наглядно проявить «серые зоны» нормативности. В них часто попадают люди с инвалидностью, и в оптике этого проекта они приобретают абсолютную значимость.
Работа над проектом заняла полгода, и, как отмечает художница, последние три месяца она работала 10−12 часов в сутки без выходных.
Инженер Лев Лосев разработал 3D-модель тентаклей и внутреннюю механическую часть для управления ими. Внутрь помещена гильза (часть, в которую помещается рука) с четырьмя сервомоторами, управляемыми одной платой. Питание автономное, на аккумуляторах. К каждому сервомотору подключены два троса. Эти восемь тросов нужны для большей вариативности изгибов тентаклей: по трем плоскостям и симультанно в две стороны. Итого получаются два ведущих режима изгиба: C-shape (более выпуклый изгиб в одном направлении) и S-shape (разбитый на две части изгиб, когда кончик поворачивается в одну сторону, а основание — в другую).
Управление разрабатывал программист Михаил Тарбеев. Подбором электроэлементов, расчетами и паянием занималась сама Анастасия Алёхина. Точность ее расчета позволила протезам быть максимально износостойкими и способными длительное время держать заряд. Помимо этого, художница много экспериментировала с пластиком, чтобы придать носимой технологии наиболее эстетичный и футуристичный вид, а также максимальную эргономичность. Как шутит она сама: «Теперь у меня есть специальная технология формования пластика в духовке. Есть трогательные фотографии, где я, как хозяюшка, стою на кухне и запекаю пластик».
Внутри протеза расположен джойстик для управления протезами — иными словами, художница своими руками прямо в момент перформанса определяет движение «искусственных рук» (тентаклей).
Что примечательно, Анастасия отмечает ощущение «сращивания» с этим протезом, становление с ним единым целым. Подобно водителю автомобиля, ощущающего свое тело с учетом габаритов машины, человек в этом перформансе действительно становится некой гидрой, и уже не может полностью отделить свои руки от их технологических продолжений.
Аугментации тела — это еще и попытка работать с образами будущего. Какими мы можем быть, если технологически можем быть любыми? Если модификации тела становятся более доступны, то где граница, за которую мы не перейдем как социум (и как это будет регулироваться)? А чем ограничится фантазия отдельного человека, если технологических ограничений у него нет?
Перед нами, безусловно, один из ключевых проектов текущего года.
Повтори моё имя, 2021
Этот проект — перформативное исследование отношений человека и машины.
Действие перформанса разворачивалось параллельно на двух площадках в течение трех суток. В пространствах «Севкабель Порта» в Санкт-Петербурге и дизайн-завода «Флакон» в Москве выстроили по прозрачной комнате. В каждую поместили человека, два промышленных робота-манипулятора, элементы повседневности и немного еды и воды. Перформеры Мария Рожковская в Петербурге и Илья Карпель в Москве не покидали пределы прозрачных комнат (к слову, очень условные) даже ночью, когда локации закрывались для посетителей. С ними оставались только тишина индустриального пространства и гул роботов, продолжавших движение.
В течение нескольких дней зрители могли наблюдать за этой живой конструкцией, однако вмешиваться во взаимодействие перформеров с роботами им было нельзя. Наблюдение за этим «аквариумом» с людьми и машинами — очень созерцательная практика.
Технически было очень важно, чтобы роботы делали одни и те же движения: плавный поворот, поднятие роборуки вверх-вниз, сгибание-разгибание, перемещение по диагонали влево-вправо и другие неторопливые действия. При этом каждую ночь в программу роботов вносили незначительные изменения, чтобы перформеры не привыкали. Вариативность и отсутствие тотальной запрограммированности были прицельны: Мария и Илья, находившиеся в весьма специфических условиях, не должны были терять бдительность. Генерация ошибки осуществлялась в программе vvvv. Для безопасности все новые движения проверялись на симуляторе, поскольку, словами их «укротителя» Дмитрия Масаидова, «Роботы — опасные и бездушные „животные“, которые могут причинить вред и даже этого не заметить. В этом особая холодная мистика происходящего».
Все четыре роботические руки (две производства Hyundai и две — Fanuc) были запрограммированы инженером и робохореографом на определенный спектр движений, известный перформерам лишь частично. Благодаря вносимым в процессе изменениям из проекта исключили предзаданность. Рукам намеренно были предписаны достаточно спокойные движения: Hyundai и Fanuc весят по полторы тонны и могут перемещать огромный вес на пугающих скоростях. А здесь они делят территорию в несколько квадратных метров с живым человеком.
На двух площадках развернулись абсолютно разные сценарии, сыграл «человеческий фактор»: при одинаково запрограммированных и синхронно движущихся роботах перформеры выстраивали диаметрально противоположную драматургию. Отстраненный, замерший, медитирующий Илья, практически не взаимодействовал с роботами или смотрел на них холодно, даже немного с вызовом. И активная, буквально горящая диалогом с машиной Мария, которая седлала роборуку, обнимала ее, вовлеченно контактировала с ней.
Эксперимент длился более 80-ти часов, в течение которых участники круглосуточно тестировали себя на прочность. В этом смысле проект «Повтори моё имя» попадает в традицию искусства выживания: художник проверяет свои лимиты, создавая сложную или даже опасную ситуацию.
Это было исследование парадокса технологического одиночества и моделей поведения в абсолютном столкновении с машиной. Как говорит Дмитрий, «этих комнат не две, а два миллиарда двести двадцать две». В этом эксперименте принципиально важна повторяемость, подчеркнутая зеркальность. Мы можем наблюдать только двух персонажей, но мы кожей чувствуем, что эти сценарии разворачиваются снова и снова в каких-то параллельных реальностях.
Midzaru, 2024
Ничего не вижу, ничего не слышу, ничего не говорю. Мидзару, Кикадзару, Ивадзару. Прямая метафора проекта Midzaru («ничего не вижу») — «слепо доверять» искусственному интеллекту.
Готовы ли мы вверить искусственному интеллекту траекторию нашего движения? А нашу жизнь? В перформансе раскрывается тема доверия ИИ, моделируется попытка воспринимать мир его глазами. В контексте беспилотных автомобилей, дистанционных хирургических операций и вычислительных способностей суперкомпьютеров слепое следование за машиной оказывается для нас желанным и беспокоящим одновременно. Перформанс поднимает вопрос о точке восприятия этого мира самим ИИ и об искажении нашей реальности под его влиянием: человек доверяется нейросети и позволяет вести его вслепую.
После звукового сигнала, оповещающего о начале, перформер Яника Колобаева закрывает глаза повязкой, надевает наушники и сумку с камерой. В центральном зале стоит телевизор, на котором зрители наблюдают трансляцию с камеры перформера и текстовое описание нейросети. Перформер перемещается по пространству, ориентируясь на свои внутренние ощущения и описание, которое транслирует нейросеть через наушники. После звукового оповещения об окончании действия перформер останавливается, снимает повязку и наушники, возвращаясь в обычное состояние.
Проект нельзя назвать зрелищным, но он весьма нетривиален с точки зрения технической реализации. В зале, где разворачивался перформанс, стояли мощный ПК с видеокартой RTX 4070 и роутер Wi-Fi. Перформер носила на себе смартфон с направленной вперед камерой и по Wi-Fi отправляла получаемую картинку в компьютер. То есть показывала нейросетям, что впереди.
ПК применялся для запуска сразу нескольких предобученных нейросетей. Первая описывала текстом другой нейросети, что находится на изображениях от смартфона. Вторая, в свою очередь, анализировала текст и пыталась понять, где находится перформер, после чего текст переводился в голос. Все происходящее в компьютере транслировалось на большой телевизор. Туда же транслировался голос нейросети и фотографии с камеры смартфона.
Софт по большей части был написан под перформанс. Всем управляла программа на Python, которую написал сам автор проекта. Программа соединяла нейросети воедино. Для визуальной части использовалась готовая программа Silly Tavern. Ответ нейросеть генерировала довольно быстро: порядка 5 секунд с момента получения фото. Но фотографии посылались реже — так нейросеть успевала проговорить все, что думает, не перебивая себя из-за новых инструкций.
Проект заставляет задуматься, насколько слиты мы с окружающими нас технологиями. Мы едем на машине, и когда в тоннеле отключается навигатор, мы можем пропустить нужную развязку. Мы ищем ресторан для встречи со старым знакомым и полагаемся на то, как ведет нас телефон. Мы увидели красивое здание, и тут же смотрим на карту, чтобы узнать подробности о нем в интернете. Вот такие ситуации демонстрирует нам Midzaru в несколько гиперболизированной форме.
Яника отмечает: «В целом, слепое следование указке нейросети — также аллегория и на человеческие взаимоотношения, где важна суперкоммуникация как ведомой стороне перформанса (умение слушать, доверять и понимать), так и ведущей стороне (умение говорить — не просто извлекать звуки из себя, но и верно доносить смысл сказанного)».
И — за скобками, невидимо — в проекте мерцает размышление об инклюзии: насколько уверенно слабовидящие люди смогут полагаться на составленное таким образом описание окружающего мира? Насколько мы доверяем не столько технологиям, сколько самим себе? И каков он, этот мир, глазами технологии?
MINIM, 2022
Образы, созданные художницей, концептуально связаны с минималистичными паттернами, из которых состоит музыкальное произведение «Canto Ostinato» Симеона Тен Хольта, импровизационно исполненное Ярославом Коваленко и Владиславом Федоровым. Название отсылает нас к значению «половинная нота». Есть и другое значение: «minim» — это слово-палиндром, оно читается одинаково в обе стороны, что подчеркивает симметричность складываемого паттерна. Перформанс Надежды Бей — это визуальное размышление об эволюции развития жизни из простейших форм.
Процесс создания паттернов был полностью импровизированным. Каждый паттерн создан художницей в виртуальном пространстве при помощи VR-шлема и контроллеров. Все они похожи на живые организмы со своей динамикой и строением, а вместе составляют визуальный симбиоз в проекции на потолок зала, где каждый новый элемент встраивается в общую картину. В течение почти полутора часов перформанса разнообразие этих паттернов растет, их формы усложняются, но на последних минутах происходит резкий разворот и расщепление образов, в результате которого визуальное поле вновь возвращается к исходной точке — пустоте.
Технический сетап проекта следующий: VR-шлем подключался к компьютеру по Quest Link, так что картинка обрабатывалась мощностями компьютера, а не шлема. Оттуда же она сразу передавалась на проектор через NDI. В VR художница использовала приложение Open Brush — это бесплатное и довольно простое приложение, позволяющее от руки рисовать в виртуальном пространстве. Там есть функция внутренней камеры, которая позволяет транслировать изображение немного со стороны и статично. Это позволило сделать весь перформанс более визуально стабильным, поскольку пространство рисунка не сдвигалось при движении перформера. Позади камеры разместили двойное зеркало из стандартного набора инструментов приложения, с ним все нарисованное сразу же множилось на четыре стороны, создавая внутреннюю симметрию в каждом рисуемом объекте.
Технически авторам проекта не пришлось кодить с нуля, больший упор был сделан на импровизационное взаимодействие с созданными объектами в процессе перформанса. Но, очевидно, чтобы хорошо импровизировать под музыку, надо было прослушать ее много раз, определить ключевые акценты во времени. Это Надежда обсуждала заранее с музыкантами, исполнившими «Canto Ostinato».
Перформанс MINIM — это медитативное действие. Оно медленное, тягучее, расплывающееся по потолку узорами. Визуальный ряд переплетается со звуковым, соединяясь в удивительную цветную симфонию. Зритель оказывается в ситуации включенного наблюдения или отстраненного созерцания. В таком же ощущении обнаружила себя и сама художница: «Перед началом я переживала, что быстро устану стоять и держать руки на весу, а к концу полутора часов перформанса руки совсем „отвалятся“. Но, как только мы начали, действие погрузило меня в состояние внимательной, но спокойной концентрации на моменте и более острого чувствования музыки. Время прошло почти незаметно. А усталость навалилась всем своим весом минут через 20 после окончания перформанса».
Это красивая и весьма показательная заметка о том, что такое перформанс как форма искусства в целом: художником создается ситуация, в которую полностью погружен он сам и его зрители. Тем самым формируется единое для всех пространство, внутри которого происходит магия не только технологическая, но и человеческая.
Last Breath, 2019
Проект представляет собой кастомное устройство. Оно автономно и зависит только от исполнителя. Музыкальный инструмент — носимый орган — закрепляется на голове перформера и управляется его дыханием. Звук генерируется в зависимости от силы и интенсивности дыхания. Смена паттерна вдохов-выдохов влечет за собой изменение звукового рисунка.
Генерация звука, управление сенсорами и общее программирование осуществлялось при помощи программного обеспечения Pure Data. В качестве hardware-части использовалась кастомная электроника, самодельный контроллер дыхания, Arduino Nano и карманный компьютер. Все детали собственного производства: художник создал их на станках или вручную в мастерской. Например, за основу был взят респиратор, и Дмитрий его модифицировал. В качестве данных для формирования звука использовались давление воздуха, количество углекислого газа, остаточного кислорода и ряда других параметров. Звук через динамик подавался в прозрачные трубки, а оттуда — в металлические органоподобные трубы, которые выполняли функцию резонаторов, и выходил вверх.
Как пишет сам художник в пояснительной записке к проекту, Last Breath относится к категории «пассивных инструментов», концепт которых он разрабатывает. То есть инструментов, требующих не столько управления ими, сколько «сосуществования» с ними.
У работы постапокалиптическое звучание. Стилистика и подача перемещают нас в мир победившего киберпанка, где хактивисты в комнатах полузаброшенных промышленных зданий собирают дикие технологические артефакты. Я наблюдала исполнение этого перформанса на фестивале Ars Electronica: индустриальное помещение, тусклый свет, гул пустого пространства и скрежещущие звуки, издаваемые художником.
Отдельно отмечу, что проект создан до вспышки ковида, но в пандемию приобрел дополнительное измерение, пожалуй, еще более мрачное.
На уточняющий вопрос о возникших в ходе проектирования и реализации технических сложностях художник говорит: «Любая работа предполагает технические сложности, но каких-то радикальных в данном случае не было. Эта работа реализована ровно так, как задумывалась у меня в голове. Предыдущий опыт позволяет жонглировать отдельными устройствами и сопрягать их, чтобы в итоге все функционировало так, как нужно, передавая заложенную идею». Система оказалась прогнозируемо чувствительной к дыханию автора, и, хоть звуковой рисунок вписан в заданный фрейм, сохранялась его большая вариативность.
Как только дыхание пропадает, инструмент перестает играть. Таков путь художника: создавать искусство до последнего вздоха.
А что дальше?
Если размышлять над будущим технологического перформанса, можно уверенно предположить дальнейшее развитие существующих тенденций. Художники, как это происходит и сейчас, будут включать в свои проекты обновляющиеся и новые технологии. То есть в самом факте обновления технологий заложен потенциал развития перформативных практик. Часть этих практик, к слову, весьма успешно находится на границе культурной и коммерческой деятельности: они представлены не в исключительно музейных пространствах, но и на конференциях, посвященных инновациям (цифровым, промышленным
Искусство — один из способов продемонстрировать нам альтернативные реальности, в том числе исключительно технологические.
Технологический трек в современной культуре занял отдельное, крайне значимое место, поскольку она не только неотделима от внедрения новых технологий, но и напрямую формируется технологической повесткой. При этом технологические инновации всякий раз вызывают весьма смешанные чувства у значительной части потребителей. В этом смысле через сценарии, создаваемые художниками, мы можем прикоснуться к манящему или пугающему будущему. Технологический перформанс — пространство осмысления технологической повестки и технологии per se.