Audio Analytics: From Sound Capture to Edge AI Events

Нещодавно аудіоаналтика означала офлайн обробку записаних кліпів для пошуку ключових слів, вимірювання рівнів або позначення подій після факту. Сьогодні індустрія рухається швидше у напрямку Edge Analytics з використанням штучного інтелекту (AI) для виявлення ключових звуків без потреби аудіострімінгу.

Наприклад, система охорони будівлі може використовувати аудіоаналтику для виявлення ненормальних звуків, таких як розбиття скла або крики, що викликають миттєві попередження. Оскільки система класифікує звуки замість зберігання сирого аудіо, це знижує ризики щодо приватності та дозволяє швидко втрутитися.

Edge-аналітика стимулює зрушення, яке вимагає системного мислення, адже робота виходить далеко за межі розробки алгоритмів. Розгляньте це як конвеєр аудіоаналтики, що поєднує звук, відео, сенсори Інтернету речей (IoT) та edge-виконання, дозволяючи камерам та розумним мікрофонам обробляти події в реальному часі та надсилати лише потрібні дані.

Конвеєр аудіоаналтики

Аудіоаналтика з’являється у багатьох середовищах, але базовий конвеєр послідовний. Система захоплює звук, цифрово його репрезентує та локально аналізує, щоб генерувати корисні події. Розгляньте цей конвеєр аудіоаналтики у відеодзвінку.

Етап 1: Захоплення та нормалізація звуку

Під час відеодзвінка мікрофон не може відрізнити голос користувача від гавкоту собаки на задньому плані. Він просто виявляє один змінний патерн тиску повітря.

На цьому першому етапі мікрофон перетворює зміни тиску повітря на електричний сигнал, напруга збільшується або зменшується відповідно до загального рівня звуку.

Передня частина аудіо застосовує прості фільтри для видалення низькочастотного дзижчання та високочастотних перешкод. Установка посилення такова, щоб нормальна мова лежала вище фону шуму, але не була настільки високою, щоб гучні звуки викривляли сигнал.

Після того як фільтри «очистили» сигнал, аналогово-цифровий перетворювач (ADC) перетворює його у потік цифрових зразків, які система може обробляти (Рис. 1).

Етап 2: Витягання аудіоособливостей

Цифрові зразки чисті, але просто переглядати кожне значення зразка самостійно недостатньо. Натомість система поділяє сигнал на маленькі часові відрізки та для кожного відрізку обчислює узагальнені ознаки, такі як загальна амплітуда, розподіл енергії за частотами та кількість енергії в діапазоні частот, типовому для людської мови.

Кожен відрізок стає компактним вектором ознак, і програмне забезпечення використовує ці вектори, щоб розрізняти мову від звуків, таких як гавкіт собаки, та виявляти початок або закінчення мовлення. З використанням цих більш високорівневих ознак пристрій може виконувати ексклюзію ехо, приглушення шуму та виявлення активності голосу в реальному часі (Рис. 2).

Етап 3: Перетворення ознак на події

Як тільки з’являється потік ознак, починається розмітка. Системі потрібно визначити, які учасники говорять, і коли змінювати фокус відео, одночасно розмічуючи та фільтруючи фоновий шум, щоб відрізнити його від мовлення. Але що якби реалізація була більш досконалою, скажімо, у кол-центрі?

Реалізація у кол-центрі вимагала б інших вимог. У такому випадку керівники хочуть знати, чи користувач розчарований. Моделі покладаються на ознаки, такі як гучність, тональність і швидкість мовлення, аби прогнозувати емоційні стани та напруженість мовлення. З розвитком системи вивід збільшується від простих оглядів сигналів до вищого рівня подій, що формують панелі інструментів та робочі процеси (Рис. 3).

Де запускається конвеєр: Edge проти Cloud

Як вже згадувалося, такі системи аудіоаналтики більше не залежать лише від високопродуктивних процесорів та хмарної інфраструктури. Складні моделі для повної транскрипції, розширеного аналізу настрою та моніторингу тенденцій у довгостроковій перспективі все ще працюють на ПК та серверах, але вони тепер починаються з потоку ознак та подій, що походять з пристрою. У багатьох сучасних шоломах, розумних колонках та конференційних звукових панелях мікрофон надсилає сигнали до мікроконтролерів з DSP (обробкою цифрового сигналу) або спеціальних DSP-чапів. Ці пристрої обробляють передню частину, витягують ознаки та приймають базові рішення щодо присутності мови ще до того, як дані покинуть апаратне забезпечення.

Чому вибір фронтенду визначає ефективність аналітики

Для інженерів-електронників ці вибори фронтенду визначають, як добре працює увесь конвеєр аналітики. Кожне наступне рішення залежить від того, що надає фронтенд. Вибір мікрофона та його розміщення, конфігурація аналогового посилення, фільтрація та налаштування перетворювача визначають рівень шуму, діапазон експлуатації та затримку, що впливає на всі аналітичні операції.

Коли ці елементи реалізовано добре, одна й та сама апаратна платформа може підтримувати усе — від простого зменшення шуму у споживчих пристроях до аналітики в реальному часі у гарнітурах, розумних динаміках та відеокамерах.

Виявлення подій здоров’я без запису мовлення

Як один з прикладів сценарію, розглянемо систему, встановлену на стелі, що призначена виявляти кашлі в ліжку пацієнта в лікарняній палаті. Передня частина обробки звуку повинна витягувати сигнали кашлю із звуків кімнати, що включають шум від обладнання та систем обігріву, вентиляції та кондиціювання (HVAC), та має працювати постійно. Через суворі закони про приватність пацієнтів система повинна бути побудована для inference на пристрої так, щоб передавати лише дані подій, а не безперервний сирий аудіопотік.

Таку систему може забезпечувати невеликий масив мікрофонів MEMS із низьким рівнем споживання, щоб забезпечити адекватне покриття. Посилення встановлюють так, щоб тихі кашлі виділялися на фоні шуму, й щоб гучні, несподівані звуки не спричиняли клипування сигналу. Передня частина фільтрує дзижчання та гул HVAC, зберігаючи частоти, пов’язані з кашлем. Механічні конструктори розташовують мікрофони подалі від різьбових з’єднань та вентиляційних отворів, щоб уникнути вібраційних та повітряних артефактів.

Низькопотужний, завжди-слухаючий етап моніторить сигнал на наявність зразків, подібних до кашлю, що потім запускає більш потужний процесор для аналізу коротких кліпів. Ця можливість утримує пристрій в рамках енергетичних та теплових обмежень, тоді як політики лікарні забезпечують передачу лише даних події (наприклад, час, номер кімнати, виявлений кашель).

Слухаємо сигнали стресу в аудіо кол-центру

У сценарії кол-центру гарнітура входить до системи, що попереджає керівників, коли окремі дзвінки починають погіршуватись, аби вони могли швидко втрутитися. Передня частина аудіо повинна захоплювати чітку мову у шумній кімнаті, працювати постійно на низькопотужному пристрої та підтримувати контроль приватності, аби аналітика переважно працювала з похідними сигналами, а не з сирим аудіо.

Мікрофон розташований біля рота агента, а аналоговий шлях обробки розроблено так, щоб мова залишалася чіткою, а шум в офісі залишався на задньому фоні. Параметри підсилення та пригнічення шуму налаштовані так, щоб голоси агента та абонента зберігали розбірливість без клипування, коли хтось позаду підвищує голос або поруч спрацьовує гучний звук.

Передня частина обробляє сигнал та передає його легковагим аналітикам, що працюють на процесорі шолома. Замість моніторингу кожного слова система відстежує баланс гучності між учасниками, зміни пані та тону, тривалість мовчання та переривання. Потім кожен дзвінок перетворюється на три метрики або оцінки — стрес клієнта, переривання агентом та тривала тривога.

Пристрій надсилає ці компактні оцінки разом із стислим аудіо дзвінка, щоб керівники могли помітити підйом рівня стресу, не слідкуючи за сирими потоками мікрофона.

Що далі для пристроїв з інформуванням у режимі “постійного прослуховування”

Узагальнені вузли з постійним прослуховуванням стають стандартом для моніторингу здоров’я, безпеки та розумних середовищ, але це працює лише тоді, коли аудіоаналтика ефективна на краю. Користувачі очікують, що їхні пристрої розпізнають вимовлені команди та акустичні події, тому кожен вхід мікрофона повинен живити надійну конвеєрну лінію аудіоаналтики замість простого аудіопотоку до хмари.

Для дизайнерів це підштовхує більшу роботу до низькопотужного обладнання, яке може постійно слухати у лікарняних палатах, промислових підприємствах, транспортних засобах та будівлях без перегріву або розряджання батарей. Передня частина виконує безперервний контроль gain, фільтрацію та простий виявлення за малими процесорами та ескалює до більш складної обробки лише коли потрібно.^[2]

Ці очікування роблять аналітичні можливості ключовою вимогою для інженерів-електронників, а не майбутнім доповненням. Успішні дизайни поєднують мікрофони з низьким рівнем шуму з ефективними та надійними аудіопередніми лініями, щоб команди розробників ПО могли додавати нові навички прослуховування протягом життєвого циклу пристрою без зміни апаратного забезпечення.

Залучення аудіоаналтики у рішення дизайну з нульового дня

Аудіоаналтика більше не є лише офлайн-інструментом після події; вона тепер живе у пристроях з постійним прослуховуванням. Багато систем локально аналізують звук, щоб ідентифікувати конкретні події, пов’язані з безпекою, здоров’ям або операційною якістю, зменшуючи потребу потокового передавання сирого аудіо з пристрою. Незалежно від застосування, той самий конвеєр — захоплення, ознаки, події — перетворює сирий звук у рішення без потокової передачі кожної форми хвилі у хмару.

Інженери з електричного дизайну повинні відповісти на такі питання при створенні нового аудіодизайну:

• Які звуки мають значення в події?
• Що кваліфікує як подія?
• Де розміститься цей вузол?
• Які енергетичні, теплові та приватні обмеження слід враховувати у середовищі?
• Скілька частини конвеєра може розташовуватись у фронт-енді низького споживання?
• Які функції потребують обробки на рівні сервера?

Дизайни, що відповідають на ці питання на початку та поєднують мікрофони з низьким рівнем шуму з ефективними та надійними аудіопередніми лініями, надають командам розробників простір для постійного додавання нових навичок слухання протягом життя пристрою без повторного звернення до апаратного забезпечення.

---

Джерела

[1] https://ift.tt/LPT3mfr
[2] https://ift.tt/dp2hgzG

Про автора

Трейсі Браун є визнаним та поважаним журналістом і письменницею, що спеціалізується на виробництві та промислових застосуваннях з акцентом на новітні технології, інженерію, робототехніку та IIoT. Вона публікувалася в Robotics Business Review, NextBot Magazine, Compoundings Magazine, Plumbing & Mechanical Engineer, Intel IQ, Professional Mariner та Municipal Sewer and Water Magazine, серед інших. Також писала для провідних постачальників хмарних платформ та сервісів, виробників робототехніки та глобальних технологічних компаній.