Исследователи разработали технологию генерации текстов для песен в реальном времени

Музыкальные исполнители теперь могут найти вдохновение и новые творческие направления для написания своих песен с помощью технологии, разработанной исследователями Ватерлоо. LyricJam, система реального времени, которая использует искусственный интеллект (ИИ) для создания лирических строк для живой инструментальной музыки, была создана сотрудниками Лаборатории обработки естественного языка университета. Лаборатория, возглавляемая Ольгой Вечтомовой, профессором инженерного дела Ватерлоо, получившим перекрестное назначение в области компьютерных наук, уже несколько лет занимается исследованиями творческих применений искусственного интеллекта. Первоначальная работа лаборатории привела к созданию системы, которая изучает музыкальные выражения артистов и генерирует тексты в их стиле. Недавно Вечтомова вместе с аспирантами Ватерлоо Гауравом Саху и Дхрувом Кумаром разработала технологию, которая опирается на различные аспекты музыки, такие как последовательность аккордов, темп, инструментовка, чтобы синтезировать тексты песен, отражающие настроение и эмоции, выражаемые живой музыкой. Когда музыкант или группа играет инструментальную музыку, система непрерывно получает необработанные аудиоклипы, которые нейронная сеть обрабатывает для генерации новых лирических строк. Затем артисты могут использовать эти строки для создания собственных текстов песен. «Цель системы не в том, чтобы написать песню для исполнителя», — объясняет Вечтомова. — Вместо этого мы хотим помочь музыкантам реализовать их собственное творчество. Система генерирует поэтические строки с новыми метафорами и выражениями, потенциально ведя музыканта в творческих направлениях, которые они ранее не исследовали.» Нейронная сеть, разработанная исследователями, узнает, какие лирические темы, слова и стилистические приемы связаны с различными аспектами музыки, запечатленными в каждом аудиоклипе. Например, исследователи заметили, что тексты, созданные для эмбиентной музыки, сильно отличаются от текстов для оптимистичной музыки.
Источник: factstore.ru