Портфолио

Анализатор аудио и видеоконтента

Решение для PR-агентств, маркетологов и аналитиков, автоматизирующее анализ теле- и радиоэфира. Система обеспечивает преобразование речи в текст, идентификацию спикеров, семантическую сегментацию контента и распознавание лейблов, предоставляя структурированные данные для медиамониторинга и аналитики.

Заказчик

Австралийская PR-платформа

Развиваем проект с 2019 года

Основная проблема

Ручной мониторинг и анализ огромных объемов видео- и аудиоконтента теле- и радиостанций крайне трудоемок, медлителен и подвержен ошибкам. Отсутствие автоматизированных инструментов для точной расшифровки речи, идентификации говорящих, обнаружения известных лиц в кадре, разделения эфира на смысловые блоки (сюжеты, реклама) и извлечения текстовых элементов (субтитры, лейблы) делает невозможным оперативное получение исчерпывающей аналитики и масштабирование медиа-анализа.

Ключевая задача

Разработать платформу для автоматического сбора, обработки и анализа эфирного контента. Обеспечить высокоточное распознавание речи, идентификацию спикеров по голосу и лицу, автоматическую сегментацию потока на смысловые единицы по заданным правилам, распознавание текста в кадре (нижняя треть) и создание удобного инструмента для просмотра и работы с обработанными данными. Создать централизованную базу данных спикеров для накопления и использования образцов.

Анализатор медиа с видеоплеером, звуковой волной и распознанным текстом

Плеер для просмотра теле- и радиостанций

Удобный веб-интерфейс для просмотра и навигации по обработанным записям теле- и радиопередач. Плеер интегрирует результаты анализа: отображает расшифровку речи синхронно с воспроизведением, выделяет сегменты (сюжеты, рекламные блоки), помечает распознанных спикеров, показывает распознанный текст нижней трети. Позволяет быстро переходить к интересующим фрагментам на основе метаданных.

Распознавание спикеров

Двойная технология идентификации спикеров в видео- и аудиопотоке: по уникальным характеристикам голоса (голосовые отпечатки) и по визуальным признакам лица. Система автоматически размечает смену говорящих в диалогах (диаризация) и сопоставляет их с записями в базе данных спикеров, обеспечивая точную атрибуцию высказываний.

Распознавание текста нижней трети (лейблов)

Функция автоматического обнаружения и распознавания текста, накладываемого в нижней части экрана (субтитры, бегущие строки, имена спикеров, названия сюжетов, логотипы). Позволяет извлекать дополнительную контекстную информацию, имена, названия организаций, ключевые слова, которые могут не звучать в эфире, для более полного анализа и индексации контента.