Meta Platforms трансформує редагування звуку за допомогою сегментації звуку на основі запитів
Meta Platforms Inc. впроваджує редагування звуку на основі запитів у світ звукових технологій за допомогою нової моделі під назвою SAM Audio, яка може сегментувати окремі звуки з комплексних аудіозаписів.
Нова модель, доступна з сьогоднішнього дня через Segment Anything Playground Meta, має потенціал трансформувати редагування звуку в спрощений процес, який є набагато більш плавним, ніж громіздкі інструменти, які використовуються сьогодні для досягнення тієї ж мети. Так само, як раніше моделі Segment Anything значно спростили редагування відео та зображень за допомогою запитів, SAM Audio робить те ж саме для редагування звуку.
Компанія зазначила в блозі, що SAM Audio має неймовірний потенціал для таких завдань, як створення музики, подкастинг, телебачення, кіно, наукові дослідження, доступність та багато інших випадків, що пов’язані зі звуком.
Наприклад, він дозволяє взяти запис гурту і ізолювати вокал або гітару за допомогою одного запиту на природній мові. Або, когось, хто записує подкаст у місті, може знадобитися фільтрувати шум трафіку – вони можуть зменшити гучність проходячих автомобілів або повністю усунути їх звук. Модель також може бути використана для видалення не вдалого моменту, коли собака починає гавкати у ідеальній відеопрезентації, яку хтось тільки що записав.
SAM Audio є найновішим доповненням до колекції моделей Segment Anything від Meta. Раніше випущені моделі, такі як SAM 3 та SAM 3D, були зосереджені на використанні запитів для маніпулювання зображеннями, але до теперішнього часу редагування звуку завжди було набагато більш складним. Як пояснила Meta, контент-крітери не мали вибору і змушені були працювати з різними громіздкими та важкими у використанні інструментами, які часто можна було застосовувати лише для однорідних випадків використання. Як єдина модель, SAM Audio здатна ідентифікувати та редагувати будь-який вид звуку.
Основна інновація в SAM Audio – це Perception Encoder Audiovisual engine, який побудований на відкритій моделі Perception Founder від Meta, випущеній раніше цього року. PE-AV можна вважати “вухами” SAM Audio, пояснила Meta, що дозволяє моделі розуміти звук, описаний користувачем у запиті, ізолювати його в аудіофайлі, а потім видалити без впливу на інші звуки.
SAM Audio – це мультимодальна модель, яка підтримує три види запитів. Найбільш стандартний спосіб використання полягає в текстових запитах – наприклад, хтось може ввести “гавкіт собаки” або “співочий голос”, щоб ідентифікувати конкретний звук у своїй аудіодоріжці.
Вона також підтримує візуальні запити, тож коли користувач редагує аудіо у відео, він може натиснути на особу або об’єкт, що виробляє звук, щоб модель ізолювала чи видалила його, не переймаючись проблемою введення тексту. Це може бути корисним у ситуаціях, коли користувачові важко чітко окреслити природу звуку.
Нарешті, модель також підтримує “поширені запити”, що є абсолютно новим видом режиму, який дозволяє користувачам позначити часовий сегмент, де певний звук вперше виникає. Meta зазначила, що три типи запитів можуть використовуватися окремо або в будь-якій комбінації, що дає користувачам надзвичайно точний контроль над тим, як вони ізолюють і розділяють різні звуки. “Ми бачимо багато потенційних випадків використання, включаючи ізоляцію звука, фільтрацію шуму і більше, щоб допомогти людям втілити їхні креативні ідеї в життя, і ми вже використовуємо SAM Audio для створення більш креативних інструментів у наших додатках,” – написала Meta в блозі.
Як звучить?
Хоча SAM Audio не є першою ІІ моделлю, зосередженою на редагуванні звуку, дисципліна розділення звуку все ще на ранніх стадіях. Але Meta сподівається розвинути цю область, і для цього вона створила новий еталон для моделей цього типу, званий SAM Audio-Bench.
Еталон охоплює всі основні аудіо домени, включаючи мову, музику та загальні звукові ефекти, разом із текстовими, візуальними та типами запитів за часом, зазначила Meta. Метою є об’єктивна оцінка всіх моделей розділення звуку та надання розробникам можливості точно вимірювати їхню ефективність. Виходячи з результатів, Meta заявила, що SAM Audio представляє собою значний прогрес в галузі ІІ розділення звуку, перевершуючи своїх конкурентів у багатьох завданнях:
“Оцінки продуктивності показують, що SAM Audio досягає найкращих результатів у специфічних для модальності завданнях, при цьому змішане модальне запитування (таке як поєднання текстових та часових введень) демонструє ще більші результати, ніж підходи з однією модальністю. Зокрема, модель працює швидше, ніж у реальному часі (RTF ≈ 0.7), ефективно обробляючи аудіо в масштабі від 500M до 3B параметрів.”
Заяви Meta про те, що SAM Audio є найкращою моделлю у своєму класі, не є несподіванкою, але компанія визнала деякі обмеження. Наприклад, вона не підтримує запити на основі звуку, що є необхідною можливістю для таких моделей, і також не може виконати повне розділення звуку без запиту. Вона також має труднощі з “схожими аудіо подіями”, такими як ізоляція окремого голосу з хору або інструмента з оркестру, тобто ще є багато простору для вдосконалення.
SAM Audio вже доступний для спроб у Segment Anything Playground разом із усіма раніше випущеними моделями Segment Anything для редагування зображень і відео.
Meta заявила, що сподівається зробити реальний вплив завдяки SAM Audio, особливо з погляду доступності. З цією метою вона працює з виробником слухових апаратів Starkey Laboratories Inc., щоб дослідити, як SAM Audio може бути використаний для покращення можливостей її пристроїв для людей із порушеннями слуху. Вона також співпрацює з 2gether-International, стартап-інкубатором для людей з інвалідністю, щоб дослідити інші способи використання SAM Audio.
December 16, 2025 at 05:17PM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.