Представлен новый мультимедийный API от Mozilla

Компания Mozilla представила черновой проект веб-стандарта MediaStream Processing API и созданную на его основе тестовую сборку браузера Firefox. Благодаря новой разработке, JavaScript сможет обрабатывать аудио- и видео-потоки в реальном времени.

Предложенный API делает возможной реализацию в браузере целого ряда операций, как-то: наложение аудио/видео эффектов, микширование звуковых дорожек, синтез звука, динамическое выравнивание громкости, захват видео и анализ видео-потока. Например, последнее позволит распознавать лица и QR-коды, а также записывать содержимое элемента canvas в видео.

В отличие от Web audio API и ряда других интерфейсов, представленных ранее, MediaStream Processing API более тесно интегрируется с параллельно внедряемыми веб-стандартами. Так, поддержка WebRTC позволяет наладить общение в режиме онлайн, getUserMedia – захватывать видео и аудио с веб-камеры и микрофона, Web Workers – организовать обработку данных в многопоточном режиме. На текущий момент ведется начальное развитие MediaStream Processing API, связанное с проблемами обработки звука. Возможность работать с видео будет реализована после обеспечения доступа к графическим API посредством Web Workers.

Новый функционал будет доступен пользователям Firefox по завершению работы над кодом и внедрения WebRTC в браузер. Когда спецификация будет полностью доработана, пользователи смогут активировать MediaStream Processing API (в настройках по умолчанию новый API будет отключен).