Розділити спочатку, об’єднати пізніше: зменшення перехресного впливу між модальностями у аудіовізуальних LLM-ах із мисленням, що залежить від модальності
Розуміння з використанням ланцюга думок, специфічного для модальності
https://ift.tt/i0qksv3
Аудіо та зображення надають взаємодоповнюючі докази для аудіовізуального відповідання на запитання, однак сучасні аудіовізуальні великі мовні моделі можуть страждати від перехресного впливу між модальностями: інформація з одної модальності може ввести в оману інтерпретацію іншої, що призводить до галюцинацій. Ми приписуємо цю проблему неконтрольованим міжмодальним взаємодіям під час проміжного мислення. Щоб пом’якшити це, ми пропонуємо Separate First, Fuse Later (SFFL) — рамку аудіовізуального мислення, розроблену для зменшення міжмодального перехресного впливу. SFFL примушує мислення за модальностями бути ланцюгом думок, специфічним для кожної модальності, створюючи окремі ланцюги мислення для аудіо та зору та інтегруючи докази для відповіді. Ми формуємо мітки переваг модальності через дані-пайплайн за різних налаштувань введення модальності. Ми використовуємо ці мітки як додаткову винагороду в підкріплювальному навчанні, щоб заохочувати залежну від прикладу перевагу модальних підказок під час відповіді. Також вводимо механізм мислення, специфічний для модальності, який зберігає ізоляцію модальностей під час окремого етапу мислення, одночасно дозволяючи повний доступ до крос-модального інформаційного матеріалу на етапі злиття доказів. Експерименти демонструють послідовні покращення як за точністю, так і за надійністю, даючи середнє відносне збільшення на 5.16% на загальних AVQA-бенчмарках та 11.17% на бенчмарку з галюцинаціями між модальностями.
HI-FI News
через Штучний Інтелект https://ift.tt/5b4wZGf
12 травня 2026 року, 06:29
українською. Відповідь містить лише перекладений текст.
May 12, 2026 at 06:29AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.