Загальна концепція аудіо-візуальної навігації з використанням уваги на відмінності за бінеуральним слухом та прогнозом переходів дій
https://ift.tt/0YUgSuz
У завданнях аудіо-візуальної навігації (AVN) агентам потрібно локалізувати джерела звуку у невідомих 3D-середовищах за допомогою візуальних та слухових сигналів. Проте існуючі методи часто стикаються з проблемою узагальнення в невідомих сценаріях, оскільки схиляються до перенавчання на семантичних ознаки звуку та конкретних навчальних середовищах. Задля подолання цих труднощей ми пропонуємо рамку \textbf{BDATP} — Бінеуральна увага за різницею з прогнозом переходів дій (Binaural Difference Attention with Action Transition Prediction), яка спільно оптимізує сприйняття та політику. Зокрема, модуль \textbf{Binaural Difference Attention (BDA)} явно моделює міжвухові різниці, щоб покращити просторову орієнтацію, зменшуючи залежність від семантичних категорій звуку. Одночасно задача \textbf{Action Transition Prediction (ATP)} вводить допоміжну ціль прогнозу дій як регуляризаційний член, що пом’якшує перенавчання на середовищах. Ретельні експерименти на наборах Replica та Matterport3D демонструють, що BDATP можна плавно інтегрувати у різні провідні базові моделі, забезпечуючи стабільні та значні покращення продуктивності. Особливо, наша рамка досягає стану на передньому плані за ступенями успіху у більшості налаштувань, з вражаючим абсолютним покращенням до 21.6 процентних пунктів у наборі Replica для невідомих звуків. Ці результати свідчать про високу здатність BDATP до узагальнення та її стійкість у різних архітектурах навігації.
HI-FI News
через штучний інтелект https://ift.tt/eFEgbf2
8 квітня 2026 р. о 05:12 ранку
April 8, 2026 at 05:12AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.