Гієрархічне аудіо-візуально-пропріоцептивне злиття для прецизійної робототехнічної маніпуляції
https://ift.tt/JY4q7W8
Існуючі методи маніпуляцій у робототехніці здебільшого покладаються на візуальні та пропріоцептивні спостереження, які можуть зіштовхнутися з труднощами у висновуванні станів взаємодії, пов’язаних із контактом, у частково спостережуваних реальних умовах. Акустичні ознаки, навпаки, природно кодують багату динаміку взаємодії під час контакту, але залишаються недоступними в нинішній літературі з мультимодального злиття. Більшість підходів мультимодального злиття неявно припускають однорольність між модальностями, та тому розробляють плоскі та симетричні структури злиття. Проте це припущення невідповідне для акустичних сигналів, які за своєю природою розріджені та зумовлені контактом. Щоб досягти прецизійної робототехнічної маніпуляції через розпізнавання на основі акустичних ознак, ми пропонуємо ієрархічну рамку злиття представлень, яка поступово інтегрує звук, зір та пропріоціепцію. Наш підхід спочатку кондitouє візуальні та пропріоцептивні представлення на акустичних ознаках, а потім явно моделює вищі рівні міжмодального взаємодії з метою захвату доповнювальних залежностей між модальностями. Злите представлення використовується політикою на основі дифузії для прямого генерація неперервних дій робота з багатомодальних спостережень. Поєднання end-to-end навчання та ієрархічної структури злиття дозволяє політиці використати акустичну інформацію, що має значення для завдання, водночас зменшуючи вплив менш інформативних модальностей. Запропонований метод було оцінено на реальних завданнях маніпуляцій роботом, включаючи наливання рідини та відкривання шафи. Розгорнуті експериментальні результати демонструють, що наш підхід стабільно перевершує сучасні рамки мультимодального злиття, особливо у сценаріях, де акустичні ознаки надають інформацію, релевантну для завдання, яка не доступна лише з візуальних спостережень. Крім того, проведено аналіз взаємної інформації для інтерпретації впливу аудіо-підказок у роботототехнічній маніпуляції через мультимодальне злиття.
HI-FI News
через штучний інтелект https://ift.tt/rqsToPt
17 лютого 2026 р. о 04:58 за часом UTC
February 17, 2026 at 04:58AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.