Мультимодальна регресія емоцій з багатокритеріальної оптимізації та аудіододатковим моделюванням на основі VAD для треку EMI ABAW 10-й рік
https://ift.tt/31j67QY
Ми взяли участь у 10-му виклику ABAW, зосередившись на треку оцінки інтенсивності емоційного міміку (EMI) на наборі даних Hume-Vidmimic2. Це завдання полягає у прогнозуванні шести безперервних емоційних вимірювань: захоплення, розвага, рішення, емпатичний біль, збудження та радість. Шляхом систематичного мультимодального дослідження попередньо навчених високорівневих ознак ми встановили, що за нашого налаштування попередньо навчених ознак пряме конкатенування ознак перевершує більш складні стратегії злиття, які ми тестували. Це емпіричне спостереження підштовхнуло нас до розробки систематичного підходу, побудованого на трьох основних принципах: (i) збереження ознак, специфічних для модальності, через конкатенування на рівні ознак; (ii) підвищення стабільності навчання та відповідності метрик за допомогою багатокритеріальної оптимізації; та (iii) збагачення акустичних репрезентацій за рахунок латентного пріори, натхненного VAD. Наша фінальна структура інтегрує конкатенаційне мультимодальне злиття, спільну регресійну лінію з шістьма вимірами, багатокритеріальну оптимізацію з MSE, кореляцією Пірсона та додатковою лінією нагляду, EMA для стабілізації параметрів і латентний пріор, натхненний VAD, для акустичної гілки. На офіційному валідаційному наборі запропонована схема досягла нашого найкращого середнього коефіцієнта кореляції Пірсона 0.478567.
HI-FI News
через штучний інтелект https://ift.tt/GdxBr46
19 березня 2026 року, 05:01 за літнього часу переведено на українську. тільки поверніть текст, який було перекладено.
March 17, 2026 at 05:01AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.