DASH: Динамічне семантичне чанкування, кероване аудіо, для ефективного омнімодального стиснення токенів
https://ift.tt/geiTAd6
Omnimodal великі мовні моделі (OmniLLMs) спільно обробляють аудіо та візуальні потоки, але в результаті виходять тривалі багато-модальні послідовності токенів, які роблять висновок надзвичайно витратним. Існуючі методи стиснення зазвичай покладаються на фіксоване розділення на вікна та обрізання за увагою, що игнорують поетапну семантичну структуру аудіо-відео сигналів і стають крихкими під агресивним зменшенням кількості токенів. Пропонуємо динамічне аудіо-кероване семантичне чанкування (DASH), навчанням не потребуючу рамку, яка узгоджує стиснення токенів із семантичною структурою. DASH розглядає аудіо-вбудування як семантичну якорю та виявляє кандидати на межі через дисконтинуї cosine-подібності, індукуючи динамічні, змінні за довжиною сегменти, що наближують внутрішню поетапно-узгоджену організацію послідовності. Ці межі проєктуються на токени відео, щоб встановити явну сегментацію across-модуля. У кожному сегменті збереження токенів визначається трьохсигнальним оцінювачем важливості, який поєднує вказівки структурних меж, відокремлення_representation та увагу-нагортання, пом’якшуючи упередженість розрідженості току лише за увагою. Таке структурно-свідоме розподілення зберігає токени критичних переходів, одночасно зменшуючи зайві регіони. Широкі експерименти на AVUT, VideoMME та WorldSense демонструють, що DASH утримує високу точність при більш високих коефіцієнтах стиснення порівняно з попередніми методами. Код доступний за адресою: https://ift.tt/2dv6CIE.
HI-FI News
через Штучний Інтелект https://ift.tt/GdxBr46
18 березня 2026 р. о 04:13 ранку
March 18, 2026 at 04:13AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.