Создание визуального контента — одна из самых востребованных задач в сфере информационных технологий. Даже если речь идёт о музыке, яркий видеоряд становится в современном мире лучшим промо для любой композиции или концерта. Работы родоначальников российского видеомэппинга — московской студии Sila Sveta — позволяют взглянуть на этот тренд одновременно через призму инженерии и искусства. В портфолио студии десятки световых перформансов, таких как мультимедиаспектакль в чаше гигантского радиооптического телескопа в Армении, видеоинсталляция на темы «Лебединого озера» на фасаде Большого театра или 3D-реконструкция гробницы Тутанхамона на площади 1200 м2 в Мадриде. У технического директора команды Дмитрия Напольнова мы спросили, из чего соткана высокотехнологичная магия его проектов, какие технологические перемены ожидаются в мультимедийном арте и что нового готовит студия для российской аудитории.
- с чего начался видеомэппинг в России
- какие качества следует развивать инженерам, планирующим карьеру в мультимедиа
- какие технологии в скором времени изменят индустрию мультимедиаарта
- как ещё можно использовать ChatGPT
Александр Ус и Алексей Розов основали студию в 2008-м, когда начали экспериментировать со слайдовыми проекторами. Я присоединился к ребятам спустя три года. Помню маленькую студию на Бадаевском заводе рядом с клубом «Крыша мира». Внутри — буквально несколько человек, и ещё никакой широкой известности, но уже была некая система взаимопомощи между клубом и студией: «Крыша» предоставляла офис, взамен мы организовывали на площадке клуба различные световые «приколы» и помогали визуально оформлять мероприятия. Я тогда работал на киностудии, занимался программированием специальных эффектов. Команде требовался как раз такой технический специалист для помощи в подготовке первого большого коммерческого проекта с видеопроекциями на три купольных экрана. С инженерной точки зрения это была совсем не тривиальная задача, и готовых инструментов тогда никаких не существовало. Но именно эта сложность и привлекала. В тот момент я искал свой путь и думал, чем бы новым заняться в жизни. Традиционное корпоративное IT, которым я в те годы зарабатывал на жизнь, меня с каждым днём всё меньше интересовало. Офис, монотонные задачи… Словом, мне не хватало драйва.
На тот момент никаких технологий для занятия видеомэппингом не было, и что это вообще такое, никто не знал. Не было никаких медиасерверов, которые сейчас так облегчают процесс. Всё упиралось в собственные технологические разработки, свои способности, «наколеночный» код. Программное обеспечение мы писали сами и решения искали тоже самостоятельно.
Но мы нашли талантливых ребят из Воронежа и с их помощью соорудили некий сетап для трекинга. В итоге всё получилось! А спустя девять лет вдруг появилась такая технология, как XR-студия, которая сейчас очень популярна среди телевизионщиков. Суть её в том, что артиста помещают в пространство на фоне диодных экранов, а контент на этих экранах подстроен под камеру. Она движется, и человек идеально вписывается в некий виртуальный ландшафт.
Дополнительной популярности этой технологии придала пандемия с её фокусом на онлайн — когда все перестали вживую проводить мероприятия, нужно было как-то виртуальные среды развивать. И их развитием так увлеклись, что технологически довели процесс до очень высокого уровня. Но мы то же самое делали уже очень давно, только другими инструментами. И конечно, на это приходилось тратить намного больше времени и усилий.
То же самое касается непосредственно видеомэппинга, потому что мы программировали все свои инструменты на TouchDesigner ещё с 2011 года, но спустя пять лет начали появляться серверы, в которых подобный инструментарий предлагается как утилита. Сегодня это уже распространяется серийно.
Сегодня в мире есть немало компаний, которые по профилю похожи на Sila Sveta. Они тоже монетизировали свои таланты: делают лончи, концерты, крупные мероприятия. Стоит упомянуть, наверное, Balich Wonder Studio — одну из самых известных, которая способна провести шоу уровня Олимпиады. Канадская Moment Factory тоже молодец. Но Sila Sveta занимает на этой вершине особое положение. Не хочу рассуждать в традициях русского гигантизма о том, кто сделал самый большой проект, кто первый и как нам перегнать кого-то, но мы в этой компании точно не в рядах догоняющих. По каким-то параметрам мы, скорее, опережаем.
Фестиваль «Круг света» был одним из наших любимых. Я говорю «был», потому что мне кажется, что к сегодняшнему дню эта история изжила себя. Те годы, когда его проводили, для нас стали эпическими, ведь мы были одними из первых, кто занялся 3D-мэппингом, и тут такой масштаб! На это даже обратили внимание в московской мэрии. Не знаю деталей, как именно это всё согласовывалось, но фестиваль получился классный и очень всех вдохновлял: и тех, кто в нём участвовал, и тех, кто его посещал.
Последняя работа, которую мы делали в рамках «Круга света», была показана, если не ошибаюсь, на ВДНХ. Отличный проект в конструктивистском стиле под стихи Маяковского. Но сейчас, как мне кажется, это уже не вызвало бы таких сильных эмоций, потому что сам по себе видеомэппинг за эти годы стал обыденностью. Как технологией им уже никого не удивишь. В 2023 году это стало одним из множества приёмов подать визуальный контент, постоянным элементом масштабных городских мероприятий.
Новый тренд — ломать голову не над тем, как что-то подсветить, а над тем, что подсветить.
Современный рынок не сравнить с тем, что был лет 15 назад. Он стал более зрелым. Появились новые инструменты, быстрые серверы, коммуникационные решения. Всё это позволяет делать эффекты любой сложности, что называется, из коробки. Разумеется, производители серверов Disguise и Watchout конкурируют между собой, как и ранее. Но у производителей шоу уже достаточно инструментария для воплощения самых безумных идей, и главная конкуренция между ними — как раз в креативности, в том, насколько творчески хорошо и эстетически красиво ты можешь решить задачу. И у Sila Sveta и здесь, как мне кажется, сильные позиции. Мало у кого в портфолио есть такие примеры, как торжественная церемония закрытия чемпионата мира в Катаре.
Также у нас большой опыт работы со звёздами западного шоу-бизнеса. Конечно, кто-то может сказать, что сейчас непростое время и западный вектор не в фаворе, но если мы говорим о творчестве и эстетике, то должны признать международную, объединяющую силу этих понятий. У нас остаётся офис на Кипре, и мы продолжаем работать интернациональной командой. Сложности есть: курс рубля, параллельный импорт, усложнение логистики — как и у многих. Но работы, слава богу, всем хватает. И что ещё важнее — впереди много планов и много новых вызовов.
Как и во многих высокотехнологичных областях, в производстве шоу сегодня главный тренд — использование нейросетей. Мы все предвкушаем, когда искусственный интеллект научится адекватно генерировать видео, потому что это станет настоящим прорывом. Мы уже видели, на что способна, скажем, Midjourney, но одно дело создать статическое изображение, другое — целую анимационную сцену. То, что генерируется сейчас, ещё не отвечает требованиям серьёзного продакшена, но прогресс не стоит на месте. И у нас уже есть проекты, в которых мы делали графику полностью на нейросетях. Например, Videocittà в Риме, где мы натянули большую проекционную сетку, разместили её на историческом объекте и транслировали видеоконтент, который был изначально сгенерирован нейросетями. Правда, мы его всё-таки дообрабатывали после генерации.
Проекция стремительно теряет популярность, уступая место диодным экранам, о которых мы немного уже упоминали выше. Связано это с тем, что диодные экраны, во-первых, сильно подешевели. Во-вторых, их научились делать с очень маленьким шагом пикселей. В-третьих, их теперь можно гнуть каким угодно образом. Иными словами, вы можете заказать диодный экран практически любой формы. Проекции сейчас остаются только в тех областях, где востребованы чрезвычайно сложные декорации.
Изображение на диодном экране отличается от проекционного — оно более резкое, цифровое, в то время как проектор выдаёт более ламповую, тёплую картинку. Любители «ламповости», конечно, могут посетовать на прогресс, но преимущества диодных технологий неоспоримы — не нужно искать место для установки проектора, нет необходимости просчитывать, где светлая зона, а где возможно образование тени. Наконец, можно не опасаться, что в объектив проектора попадёт лазер и сожжёт матрицу.
Полное погружение: как устроены современные шоу и музыкальные сцены
Учитывая всё вышесказанное, думаю, не будет натяжкой назвать диодный экран большим скачком в технологиях, и не только в границах нашей индустрии. В ближайшем будущем, я уверен, это коснётся почти каждого потребителя. К примеру, домашние телевизоры через несколько лет, скорее всего, будут выпускаться с диодными экранами: технология LCD доживает свои года, как и проекторы.
Ещё одно преимущество диодных экранов заключается в том, что они собираются из кабинетов. Не мне пояснять инженерам, что это значит, — вы можете, по сути, скомпоновать сколько угодно кабинетов в один гигантский экран. Другое дело, что для его применения пока ещё просто-напросто нет контента. Но, как показывает практика, контент хоть и запаздывает, тем не менее всегда приходит вслед за технологией. Так, когда-то Full HD сменил HD, а ему на смену пришёл 4К. Сейчас есть уже 8К, и объём контента в этом формате постепенно увеличивается.
Я уже отмечал, какой прорывной стала бы для всех шоумейкеров возможность генерировать с помощью нейросетей не просто картинки, а анимацию. Однако настоящей революцией в производстве шоу, без сомнения, станет появление функции генерирования графики в реальном времени. И следующий этап — умение этой графики работать в паре с музыкой. Для того чтобы такое было реальным, нужны не только обученные нейросети, но и сверхбыстрые серверы. И мы видим, что «железо» из года в год становится всё быстрее. Таким образом, всё идёт к тому, что в какой-то момент можно будет просто сказать компьютеру, какие ты хочешь визуалы, и он их моментально сгенерирует. Или, может быть, вскоре он сам будет понимать, что играет, скажем, романтическая мелодия, а это значит, что самое время создавать и транслировать более утончённую графику. Бесконечный генератор контента — кто мог бы представить себе такое ещё несколько десятилетий тому назад!
Sila Sveta — такая студия, которая привыкла делать визуально и эстетически яркие проекты, поэтому я думаю, что портфолио проектов пополнится различными иммерсивными выставками. Передо мной поставлена задача развития музейного департамента до размеров не меньших, чем основное подразделение.
Это перспективное направление. С нулевых годов в мире наблюдается музейный бум, и Россия тут не исключение. Люди вдруг снова полюбили музеи, и музеи тоже себя осознали в новом качестве. В разных уголках планеты сегодня то и дело открываются центры современного искусства.
Устойчивая тенденция — интеграция мультимедиатехнологий в классические музейные пространства.
В музейном сообществе есть общее понимание, что на выставки уже никто не ходит для того, чтобы посмотреть чучело лисы. Необходим нарратив, история, посетителю что-то нужно рассказать, чем-то удивить, попытаться найти с ним контакт.
Один из таких проектов — Музей российских железных дорог в Санкт-Петербурге на Балтийском вокзале. Большой комплекс на 50 тыс. кв. м. Мы сделали там то, что никто никогда не делал. Например, инсталляцию, представляющую собой виртуальный разрез тепловоза и виртуальный разрез вагона. Это пятиметровая видеостена в высоту, которая ездит по рельсам и показывает, как всё устроено. Могу показаться нескромным, но считаю, что эта инсталляция сама по себе является произведением инженерного искусства. Мы очень тщательно её проектировали и собирали из самых лучших на тот момент немецких комплектующих. Там стоят приводы Beckhoff, создан контур безопасности на датчиках SICK, который останавливает инсталляцию, если кто-то из посетителей вдруг пересёк траекторию её движения. И всё это работает как швейцарские часы — за пять лет ни одной жалобы.
Также для этого музея мы сделали инсталляцию «Стрелки времени». Она представляет собой большой поворотный, как в телепередаче «Поле чудес», стол-барабан. Вращая его, можно выбирать исторические периоды, про которые хочется узнать. Когда стрелка барабана останавливается на одном из секторов, на проекционных арках включается большое проекционное шоу.
Есть ещё инсталляция «Зона будущего» — посетитель попадает в эту зону через специальную арку, как через телепорт: открываются двери, он заходит в цилиндрическую комнату с купольным экраном, и там запускается шоу-контент, имитирующий процесс телепортации. Потом открываются другие двери, и посетитель выходит в некую зону будущего, где ему рассказывают о возможном локомотиве будущего и так далее.
Есть и такие инсталляции, где можно попробовать себя в роли конструктора — выбрать на экране из определённого ассортимента несколько виртуальных деталей и нажать кнопку «Собрать». После этого два робота в соответствии с этой выборкой соберут модель — только уже не виртуально, а в реальности, так как к каждой виртуальной детали заготовлен физический прототип.
Работы много, и скоро можно будет оценить, как мы с ней справились. Прежде всего хотел бы упомянуть наш проект на ВДНХ, где прямо в основании колеса обозрения «Солнце Москвы» мы строим большой и очень классный иммерсивный Музей света. Шесть или семь залов, каждый со своей атмосферой, на территории 3,5 тыс. кв. м. Помимо этого, мы сейчас разрабатываем дизайн Музея транспорта города Москвы, который заработает в будущем на Новорязанской, 27, за Казанским вокзалом. Под него отвели большое здание — бывший Мельниковский гараж с Шуховскими фермами. Также мы сейчас работаем над созданием Музейно-просветительского центра Банка России, который будет заниматься помимо нумизматических экспозиций ещё и финансовым просвещением. И наконец, мы трудимся над созданием Центра промышленного прогресса в Выксе — историческом месте недалеко от Нижнего Новгорода, где когда-то братья Баташёвы строили свой первый металлический завод и чугунно-литейные цеха. Это будет рассказ о развитии человечества через призму приручения металла. Все площадки должны открыться не позднее 2027 года.
Всё так. С одной стороны, на инженерное образование всё больше будет повышаться спрос в непрофильных сферах: культурной и социальной. С другой — особо востребованы в будущем окажутся те инженеры, которые обладают креативным мышлением и творческими навыками.
На сто процентов. Потому что чем больше вокруг инструментов, которыми он может пользоваться, избавляя себя от необходимости выполнять рутинные, шаблонные операции, тем больше у него остаётся времени непосредственно на творческий процесс. И речь не только про инженеров даже.
Любая профессия будущего — это профессия креативная, потому что всё некреативное будет заменено инструментами. А чего не могут инструменты — это быть людьми.
Никакой ChatGPT-4 вам не подскажет сценарий действительно классной инсталляции, потому что у человека есть те нейронные связи, которых нет у нейронных сетей. Эти связи позволяют ему как-то свою бренность в этом мире осознавать и творчески во что-то интересное и значимое перерабатывать — в идею, которая всегда первична. А вот когда уже есть интересная идея, когда придумана некая музейная экспозиция, можно обратиться к ChatGPT-4 и спросить: «Слушай, у меня инсталляция такая-то, рассказывающая про то-то, то-то и то-то. Можешь набросать мне сценарий какого-то конкретного объекта?» И он набросает черновик, на основе которого можно будет расписать детальнее.
Моя мечта — это нейросеть, которая рисовала бы по моему заданию, потому что сам я это делать вообще не умею, нет у меня от природы таких талантов. В работе между тем нередко требуется изобразить задуманное в виде графики. В таких случаях мне приходится искать художника, пояснять ему задачу, вести за ним надзор и так далее. Когда будет достаточно развита нейросеть, я смогу делегировать ей эти задачи, что высвободит у меня много времени.
Как раз на придумывание! Это же самое интересное — моменты инициации, когда ты придумываешь экспозиции, пытаясь сконструировать собственный опыт.