Новий дослідження Apple показує, що LLM можуть зрозуміти, що ви робите, з аудіо- та рухових даних
Дослідники Apple опублікували дослідження, яке вивчає, як LLM можуть аналізувати аудіо та рухові дані, щоб отримати краще уявлення про діяльність користувача. Ось деталі.
Вони в цьому хороші, але не в тривожний спосіб
Нова стаття під назвою “Використання LLM для пізньої обробки мульти модальних сенсорних даних для розпізнавання дій” пропонує уявлення про те, як Apple може розглядати можливість включення аналізу LLM поряд з традиційними сенсорними даними для більш точного розуміння активності користувача.
Вони стверджують, що це має великий потенціал зробити аналіз активності більш точним, навіть у ситуаціях, коли недостатньо сенсорних даних.
Від дослідників:
“Дані сенсорних потоків надають цінну інформацію про дії та контекст для подальшого використання, хоча інтеграція додаткової інформації може бути складною. Ми показуємо, що великі мовні моделі (LLM) можуть бути використані для пізньої обробки для класифікації дій на основі аудіо та рухових часових рядів. Ми підібрали підмножину даних для різноманітного розпізнавання діяльності в різних контекстах (наприклад, домогосподарські справи, спорт) з набору даних Ego4D. Оцінені LLM досягли значно вищих оцінок F1 для класифікації у 12 класах без явного навчання. Класифікація з нульовим зразком через об’єднання на основі LLM з моделей специфічних для модальності може дати можливість мультимодальних тимчасових застосунків, де недостатньо спільних навчальних даних для освоєння спільного простору вкладок. Крім того, об’єднання на основі LLM може дозволити розгортання моделі без необхідності в додатковій пам’яті та обчисленнях для миттєво специфічних мультимодальних моделей.”
Іншими словами, LLM насправді досить добре вміють вгадувати, що робить користувач, з базових аудіо та рухових сигналів, навіть коли вони не були спеціально навчені для цього. Більше того, при наданні лише одного прикладу їхня точність покращується ще більше.
Одне важливе уточнення – у цьому дослідженні LLM не отримав фактичну аудіозапис, а скоріше короткі текстові описи, згенеровані аудіомоделями та IMU-моделлю руху (яка відстежує рух за допомогою даних акселерометра та гіроскопа).
Заглиблюючись у деталі
У статті дослідники пояснюють, що вони використовували Ego4D, величезний набір даних медіа, знятих з перспективи першої особи. Дані містять тисячі годин реальних середовищ і ситуацій, від домогосподарських завдань до активностей на свіжому повітрі.
З дослідження:
“Ми підібрали набір даних повсякденної діяльності з набору даних Ego4D, шукаючи дії щоденного життя протягом наданих описів наративу. Сформований набір даних включає 20-секундні зразки з дванадцяти високорівневих дій: пилососіння, приготування їжі, прання, їжа, гра в баскетбол, гра у футбол, гра з домашніми тваринами, читання книги, використання комп’ютера, миття посуду, перегляд телевізора, тренування/важка атлетика. Ці дії були обрані, щоб охопити різноманітні домогосподарські та фітнес-завдання, і на основі їхньої поширеності у великому наборі даних.”
Дослідники пропустили аудіо та рухові дані через менші моделі, які генерували текстові підписи та прогнози класів, а потім подали ці виходи до різних LLM (Gemini-2.5-pro та Qwen-32B), щоб побачити, як добре вони можуть ідентифікувати діяльність.
Потім Apple порівняла продуктивність цих моделей у двох різних ситуаціях: одна, в якій їм було надано список з 12 можливих дій для вибору (закрита група), та інша, де їм не давали жодних варіантів (відкритий кінець).
Для кожного тесту їм було надано різні комбінації аудіо підписів, аудіо міток, даних прогнозів активності IMU та додаткового контексту, і ось як вони виступили:
В кінці дослідники зазначають, що результати цього дослідження пропонують цікаві інсайти в те, як поєднання кількох моделей може вигідно позначитися на даних про діяльність і здоров’я, особливо в випадках, коли лише необроблені сенсорні дані недостатні для отримання чіткого уявлення про активність користувача.
Можливо, ще важливіше, Apple опублікувала додаткові матеріали разом з дослідженням, включаючи ID сегментів Ego4D, часові мітки, підказки та приклади з одного разу, які використовувалися в експерименти, щоб допомогти дослідникам, яких цікавить повторення результатів.
November 21, 2025 at 10:57PM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.