Новый ИИ от Google превращает текст в музыку

Для обучения ИИ использовали более 280 тысяч часов музыки, чтобы система могла генерировать песни «значительной сложности» (например «очаровательный джаз» или «берлинское техно 90-х»). 

MusicLM способна уловить такие нюансы описания, как инструментальные риффы, мелодии и даже настроение. Она может создать мелодию, которая вызывает «ощущение пребывания в космосе» или «основной саундтрек аркадной игры». Однако компания пока не будет открывать доступ к нейросети.

Исследователи отметили, что система также может взять несколько описаний (например, «время медитировать», «время просыпаться», «время бежать», «время выложиться на 100%»), чтобы создать мелодическую «историю» продолжительностью до нескольких минут.

А ещё MusicLM можно инструктировать с помощью комбинации изображения и подписи.

Тем не менее, некоторые мелодии имеют искажения как неизбежный побочный эффект тренировочного процесса. Например, большая часть «текстов» сегодня сводится к набору звуков, которые исполняют синтезированные голоса. А также есть проблема, связанная с нарушением авторского права – во время эксперимента ученые обнаружили, что около 1% музыки было просто отрывками из песен, на которых обучалась нейросеть.