Оцінювання семантичної ламкості в системах генерації текст–до–звуку за контрольованимиperturbaciy promptів
https://ift.tt/kpKiwhc
Останні досягнення в генерації текст–до–звуку дозволяють моделям перетворювати опис природною мовою на різноманітний музичний вихід. Проте стійкість цих систем за семантично еквівалентними варіантами підказок залишається мало дослідженою. Невеликі лінгвістичні зміни можуть призвести до суттєвих варіацій згенерованого аудіо, що викликає занепокоєння щодо надійності у практичному використанні. У цьому дослідженні ми оцінюємо семантичну ламкість систем текст–до–звуку за контрольованими perturbaciy підказок. Ми обрали MusicGen-small, MusicGen-large та Stable Audio 2.5 як репрезентативні моделі, і оцінювали їх за Minimal Lexical Substitution (MLS), Intensity Shifts (IS) та Structural Rephrasing (SR). Пропонований набір даних містить 75 груп підказок, розроблених для збереження семантичного наміру при введенні локалізованої лінгвістичної варіації. Згенеровані результати порівнюються за допомогою доповнюючих спектральних, часових та семантичних міри подібності, що дозволяє аналіз стійкості на кількох представницьких рівнях. Експериментальні результати показують, що більші моделі досягають покращеної семантичної послідовності: MusicGen-large досягає косинусної подібності 0.77 за MLS та 0.82 за IS. Проте акустичний та часовий аналіз виявляє стійке розхилення для всіх моделей, навіть коли вбудоване відношення подібності залишається високим. Ці висновки свідчать, що ламкість переважно виникає під час семантичної реалізації в акустичний сигнал, а не під час узгодження мультимодальних векторних подань. Наше дослідження вводить контрольовану рамку для оцінювання стійкості в генерації текст–до–звуку та підкреслює потребу в багаторівневій оцінці стабільності в системах генеративного аудіо.
HI-FI News
via Artificial Intelligence https://ift.tt/GdxBr46
March 17, 2026 at 05:01AM
March 17, 2026 at 05:01AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.