Break-the-Beat! Контролювана синтезована аудіо-реалізація барабанів MIDI до Drums Audio
https://ift.tt/JTpLUtw
Поточні методи створення аудіо барабанних плівок у цифровому музичному виробництві, такі як використання сінглів чи ресемплінг, часто вимагають нетривіальних зусиль від творців. Хоча останні генеративні моделі досягають високої вірності та відповідають тексту, їм бракує специфічного контролю, необхідного для подібного завдання. Існуючі дослідження символічного до аудіо зазвичай зосереджені на окремих, тональних інструментах, залишаючи без уваги виклик поліритмічного ударного синтезу. Ми заповнюємо цю прогалину, представляючи „Break-the-Beat!“, модель, здатну відтворювати барабанний MIDI з тембром референсного аудіо. Вона побудована шляхом донавчання попередньо натренованої моделі text-to-audio за допомогою нашого запропонованого контентного енкодера та ефективного гібридного механізму умінь (conditioning). Щоб це забезпечити, ми створюємо новий датасет парних цільових та референсних барабанних аудіо з наявних датасетів барабанів. Експерименти демонструють, що наша модель генерує високоякісне барабанне аудіо, яке слідує за високороздільним барабанним MIDI, досягаючи сильної продуктивності за показниками якості аудіо, ритмічної синхронії та неперервності біту. Це надає продюсерам новий контрольований інструмент для творчого виробництва. Демонстраційна сторінка: https://ik4sumii.github.io/break-the-beat/
HI-FI News
через Штучний Інтелект https://ift.tt/X7B3hVZ
15 травня 2026 року об 05:23
УКРАЇНСЬКОЮ.
May 15, 2026 at 05:23AM
Залишити відповідь