Юлия Вергазова
Николай Ульянов
Svan/Nectar
Информация о работе
Опираясь на научные исследования в области восприятия растениями аудио- и видеоконтента, авторы создали фильм, предназначенный в первую очередь для слуха и зрения.
Известно, что растения реагируют на звуки насекомых-опылителей, увеличивая концентрацию сахара в своем нектаре. В фильме воспроизводится звуковой диапазон одиночного парения медоносной пчелы с пиковой частотой 200-500 Гц, на которую активнее всего откликаются растения.
Пчеловодами всего мира особенно высоко ценятся кавказские медоносные пчелы, поэтому в качестве саундтрека к фильму авторы выбрали микротональные сванские песни: Элиа Лрде, Кристе Агсдга и Дале Коджас. Первая песня — бессмысловой гимн, основанный на слогах и гласных. Вторая — пасхальный гимн. Третья — баллада о роковой богине Дал с золотыми волосами, живущей в высокогорье Грузии (и в основном в Сванетии). Особенности этих песен (3 голоса, 4 куплета, алгоритмически выстроенная сетка нот на основе оригинальных аккордов) воспроизводятся и проигрываются на семплах звуков жужжания и опыления.
Видеоряд, сгенерированный в соответствии с музыкой, состоит из выходных данных нейронной сети BigGAN — первой нейронной сети, которая может генерировать изображения из разнообразного количества доменов, выбираемых из 1000 классов (подклассов датасета ImageNet). Авторы выбрали типы изображений, относящиеся к пчелам и растениям, которые они опыляют. Всего их 9: пчела, ромашка, башмачок мелкоцветковый, шиповник, рапс, апельсин, лимон, клубника, огурец.
Чтобы адаптировать изображение к «зрению» растений художники использовали принцип оптического потока (optical flow) — метод машинного обучения для обработки видеоконтента. Результаты его работы по цвету напоминают спектр фотолампы, а сам принцип такого зрения — спекулятивный вариант зрения пчелы. Например, видны только области, находящиеся в движении, или температурные карты. Взяв за основу видеодокументацию опыления пчелами растений, автор подсчитали оптические потоки, составили датасет на 330 картинок и обучили нейросеть pix2pix, которая переосмыслила первоначально сгенерированное видео от BigGAN’а и максимально приблизила его к варианту, подходящему для растительного кинотеатра.
Информация об авторе
Юлия Вергазова — художница, куратор. В работах задействует различные медиумы, такие как инсталляция, живопись, видео, фотография, исследует концепты реального и ирреального, подсознательно-ассоциативного и технологического.
Выпускница Школы Родченко (2016-2019). В 2014-2015 обучалась в «Свободных мастерских» школы Московского музея современного искусства по направлению «Теории и философии современного искусства». По первому образованию – математик-программист (Пензенский государственный университет, 2004-2009 годы). В 2019 прошла Лабораторию художественной критики Винзавода и курс в Salzburg International Summer Academy of Fine Arts.
Николай Ульянов – художник, музыкант, поэт, программист. Член Коинсидентального института, создатель шумового синтезатора сред для 12-го фестиваля «Подготовленные среды».