SPOTLIGHT  
06/07

В MIT создали ИИ, который различает звуки музыкальных инструментов на видео

Share

Инженеры Массачусетского технологического института (MIT) создали нейросеть PixelPlayer, которая способна различать звуки музыкальных инструментов на видео по пикселям. Это может быть полезно, например, для улучшения качества старых концертных записей, пишет Engadget.

В основе разработки сразу три алгоритма: первый распознает видеоряд, второй — звук, третий — синхронизирует эти данные. Таким образом нейросеть узнает, какой звук издает каждый инструмент на видео, и может усиливать его громкость, подавляя окружающие.

Подобные технологии создавались и ранее, однако PixelPlayer уникален тем, что его обучали спонтанным методом. Это исключило человеческий фактор и ускорило процесс тренировки алгоритмов. На обучение ушло 60 часов, и теперь PixelPlayer с высокой точностью идентифицирует примерно 20 музыкальных инструментов.

Правда, у PixelPlayer пока еще случаются промахи: он иногда путает близкие по классу инструменты, например, альт- и тенор-саксофон.

умеем отправлять интересные дайджесты на почту раз в неделю

введите чей-нибудь мэйл

Сайт использует IP адреса, cookie и данные геолокации Пользователей сайта, условия использования содержатся в Политике по защите персональных данных.

© 2018 This Is Media

Издание «ThisIsMedia» зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций ( Роскомнадзор ) 20.07.2017 за номером ЭЛ №ФС77-70378
Учредитель: ООО "ОрденФеликса", Главный редактор: Суслопаров С. А.

Для лиц старше 18 лет