На ВЭФ-2023 впервые в мире прозвучит концерт для ИИ с оркестром с помощью технологий Сбера

Симфонию № 1, написанную музыкантом и композитором Петром Дрангой и получившую название «Космос», нейросеть от Сбера исполнит вместе с Большим симфоническим оркестром на Приморской сцене Мариинского театра. Концерт пройдёт в рамках культурной программы VIII Восточного экономического форума.

Произведение написано в классической структуре и состоит из четырёх частей. В первой и второй частях солирующую партию исполнят музыканты-виртуозы из Китая, будут звучать заранее записанные партии. В них нейросетевая модель от Сбера SymFormer будет управлять экспрессивностью исполнения непосредственно на сцене с помощью виртуального синтезатора. В третьей и четвёртой частях зрители услышат настоящую импровизацию от SymFormer в режиме реального времени.

Пётр Дранга предложил нейросети переосмыслить симфонию, изменяя и дополняя её. Так искусственный интеллект стал полноценным участником творческого процесса и соавтором композиции. Этот уникальный проект демонстрирует передовые технологии и разработки в сфере искусственного интеллекта, созданные в России.

Дополнительный элемент выступления — арт-объект, символизирующий нейромузыканта, — техно-матрёшка. Центром музыкальной инсталляции станет SberBoom — мощная «умная» колонка с виртуальным ассистентом «Салют». Она продемонстрирует гостям мероприятия, насколько глубоко технологии ИИ проникли в сферу творчества и искусства.

SymFormer — модель для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста. Она разработана на основе архитектуры Performer. Для обучения SymFormer использовалась платформа ML Space на базе суперкомпьютера Christofari и датасета из более чем 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. Создание музыкальных композиций при помощи SymFormer происходит в два этапа. Вначале нейросеть получает информацию о стиле и генерирует несколько вариантов структуры будущей композиции. На втором этапе создаётся несколько вариантов произведения, соответствующих заданному стилю. Затем модель-ранжировщик выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.