smol-audio: Колекція з нотаток Colab для доопрацювання Whisper, Parakeet, Voxtral, Granite Speech та Audio Flamingo 3
https://ift.tt/5SMjIY0
Audio AI пережив проривний рік. Автоматичне розпізнавання мови стало значно кращим завдяки моделям на кшталт Whisper від OpenAI, Parakeet від NVIDIA та Voxtral від Mistral. Розуміння аудіо зробило крок вперед з моделями на кшталт Audio Flamingo 3 від NVIDIA. Розмово-орієнтований синтез мовлення з’явився завдяки Dia-1.6B від Nari Labs. І Meta випустила Perception Encoder Audiovisual (PE-AV), багатомодальний енкодер, здатний навчати спільний простір вбудовування для аудіо, відео та тексту. Пр frontier рухається швидше ніж будь-коли.
Зміст? Практичні знання, які потрібні для фактичної роботи з цими моделями — як доопрацювати їх, адаптувати до нових мов або запускати ефективний висновок — розсіяні по GitHub issues, дослідницьким блогам та приватним нотаткам, які ніколи не бачать світло дня. Якщо ви ML-інженер, який просто хоче доопрацювати Whisper під нову доменну область або запустити нульовий зір відео з PE-AV, часто доводиться починати з нуля.
Саме цей розрив прагне закрити smol-audio.
Що таке smol-audio ?
Випущено під ліцензією Apache-2.0 командою Deep-unlearning, smol-audio — це плоске репозиторій самодостатніх нотаток Jupyter, кожна з яких зосереджена на одному практичному завданні аудіо AI. Кожна нотатка призначена для відкриття безпосередньо у Google Colab, не вимагає локальної настройки GPU і побудована повністю на екосистемі Hugging Face — зокрема transformers, datasets, peft та accelerate. Більшість рецептів поміщається в 16 ГБ середовище Colab, тобто безкоштовний або стандартний рівень Colab підходить для більшості завдань.
“Плоска репозиторна” концепція — свідомий вибір. Замість того щоб обгорнути рецепти у фреймворк або сховати складність за зручними функціями, smol-audio відкриває кожен крок. Ви можете прочитати цикл навчання, зрозуміти конвеєр даних та змінювати конфігурацію без зворотного інжинірингу бібліотеки. Для інженерів на ранньому етапі це прозорість, яка дійсно навчає.
Доопрацювання ASR: Whisper, Parakeet, Voxtral та Granite Speech
Найбільша категорія репо на сьогодні охоплює доопрацювання ASR у чотирьох різних сімей моделів. Кожна потребує суттєво різного підходу.
Нотатка Whisper охоплює доопрацювання за допомогою transformers та datasets, що пояснює адаптацію архітектури енкодера-декодера під власну мову або вузьку доменну область. Whisper використовує підхід послідовність-до-послідовності, генеруючи транскрипти покроково — знайома територія для тих, хто працював з мовними моделями.
NVIDIA’s Parakeet використовує архітектуру CTC (Connectionist Temporal Classification), а не секвенцію-до-секвенції. CTC швидша та легша для висновку, але вимагає вирівнювання між аудіо-кадрів та вихідними токенами, а не авторедокування. Нотатка smol-audio охоплює як повне доопрацювання, так і LoRA (Low-Rank Adaptation) для Parakeet, що важливо, бо повне доопрацювання великих CTC-моделей може бути вимогливим до пам’яті.
Voxtral від Mistral архітектурно відрізняється від Whisper та Parakeet. Замість традиційного ASR енкодера-декодера Voxtral побудований на базі великої моделі мови — Ministral 3B для Voxtral Mini та Mistral Small 3.1 24B для Voxtral Small — тобто це модель розуміння мови на основі LLM. Нотатка smol-audio обробляє доопрацювання ASR з використанням підстановки підказок (prompt masking), підтримуючи як повне доопрацювання, так і LoRA. Підстановки підказок тут важливі саме через таку архітектуру LLM: коли модель приймає текстові підказки разом з аудіо входом, зазвичай не бажано обчислювати втрати по самих токенах підказки — лише по згенерованій транскрипції. Неправильний підхід призводить до зниження динаміки навчання, тому наявність робочої референс-реалізації зберігає багато часу на відлагодження.
Granite Speech від IBM має окрему нотатку, спрямовану на італійське ASR із використанням набору даних YODAS-Granary. Це корисний приклад не лише щодо моделі: він демонструє доменно- та мовно-специфічне доопрацювання на реальному багатомовному корпусі розмовної мови, типовому для виробництва.
Audio Understanding з Audio Flamingo 3 від NVIDIA
Audio Flamingo 3, розроблений NVIDIA, є Large Audio Language Model (LALM) для розуміння та розуміння між мовленням, звуком та музикою. Нотатка smol-audio тонко налашовує його саме під завдання аудіо-опису — створення природного мовного опису аудіо- уривку, що корисно для інклюзивних інструментів, індексації контенту та систем отримання інформації. Нотатка охоплює як повне доопрацювання, так і LoRA-базоване доопрацювання, надаючи практикам вибір між максимальною продуктивністю та ефективністю використання пам’яті.
LoRA, для тих, хто новачок у параметрично-ефективному доопрацюванні, працює шляхом заморожування ваг оригінальної моделі та вставляння малих навчальновливих матриць ранжерного розкладу в певні шари. Для великих мультимодальних моделей на кшталт Audio Flamingo 3 LoRA може зменшити вимоги до пам’яті GPU на порядок порівняно з повним доопрацюванням, дозволяючи ітерацію на звичайному обладнанні.
Діалогове TTS з Dia-1.6B
Нотатка Dia-1.6B розглядає діалоговий стиль текст-у-мову, де мета полягає не лише у синтезі одного спікера, а у створенні природних діалогових обмінів. Dia — це 1.6-мільярдна параметрична модель TTS від Nari Labs, здатна генерувати багатомовний діалог, що робить її релевантною для розробників голосових агентів, інструментів створення подкастів або розмовних інтерфейсів.
Багатодомашинна інференція з PE-AV від Meta
Можливо, найпередовіша нотатка з поточного релізу охоплює інференцію з Perception Encoder Audiovisual (PE-AV) від Meta. PE-AV — багатомодальний енкодер, який навчає єдиному спільному простору вбудовування для аудіо, відео та тексту — що дозволяє виконувати класифікацію відео без специфічного підлаштовування під завдання (zero-shot), та пошук за аудіо текстовими запитами на таких бенчмарках як AudioCaps. Оскільки всі три модальності потрапляють у однаковий простір вбудовування, міжмодальні запити, такі як пошук аудіо за описом тексту, працюють за допомогою простої подібності за точковим добутком.
Нотатка демонструє, як запускати ці конвеєри інференції безпосередньо, що є цінним, оскільки багатомодальні моделі з спільними аудіо-відео-текстовими енкодерами архітектурно складніші за моделі з однією модальністю і зазвичай потребують ретельної передобробки кількох входних модальностей.
Перегляньте репозиторій тут. Також можете слідкувати за нами у Twitter та приєднатись до нашого130k+ ML SubReddit та підписатись нанаш News-ліст. Чекайте! Ви також на Telegram? Тепер ви можете приєднатися до нас у Telegram.
Потрібна співпраця з нами for просування вашого GitHub Repros або Hugging Face сторінки або продуктового релізу або вебінару тощо? Зв’яжіться з нами
Публікація smol-audio: Колекція нотаток Colab для доопрацювання Whisper, Parakeet, Voxtral, Granite Speech та Audio Flamingo 3 спочатку з’явилася на MarkTechPost.
HI-FI News
via MarkTechPost https://ift.tt/PCKjtqm
29 квітня 2026 року о 09:37 GMT
April 29, 2026 at 09:37AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.