I’m a professional music producer and content creator – my perspective on AI hype and trying (mostly failing) to find a use for it

Привіт усім. Я завжди був великим прихильником погляду Еда і ціную кожне інтерв’ю з ним, яке бачив. Я згоден з переважною більшістю думок, висловлених у обговореннях тут. Хотів додати свій голос до розмови, бо в мене, здається, є деяка унікальна перспектива. Це буде ДОВГИЙ пост, перепрошую заздалегідь — але я думаю, що фанати Еда люблять читати глибші матеріали. Якщо не маєте бажання читати — без образ. Але фінал —… сподівальний, головно. Отже, якщо вам треба трохи такого, читайте далі.

Для контексту: я кар’єрний музичний продюсер, композитор і контент-створювач, уже понад 15 років працюю на повну ставку. Я працював у всіх сторонах музичної індустрії — як гастрольний виконавець, керування комерційною звукозаписною студією, створення контенту для музичних брендів та YouTube, компіляція саундтреків для короткометражок та інді-ігор. У середині 2024 року мене накрило не настільки дрібною кризою, і я впав у fairly темну спіраль doom щодо своєї кар’єри. За хайпом, усі ці речі мали бути «чисто» замінені генеративним ШІ за декілька місяців. Нам говорили, що люди слухатимуть лише персоналізовані плейлісти з музики, дивитимуться виключно індивідуалізований контент на основі ШІ і грають повністю згенеровані ШІ-ігри. Це мало замінити кожне творче заняття та кар’єру. Я думав, щось там уже «приготували», як кажуть діти.

Два роки потому я більш зайнятий, ніж колись. Наразі у мене 4 гри та 4 альбоми у активному продакшні, і ще багато роботи чекає на себе. Мій телефон не перестає дзвонити — навпаки. Є багато причин цього, які я докладно розпишу нижче. Але я завжди був технічно налаштованим хлопцем, і коли стало ясно, що мої 20 років досвіду НІКОГО не замінять погано сформульованим запитом, я повільно прийшов до ментальності: «це очевидно хайп, але напевно ця технологія має бути корисною У ЯКОМУСЬ ВІДНОШЕННІ, так?» Отже — за останній рік я розмовляв із клієнтами та експериментував із різними моделями, дуже намагаючись знайти будь-яке практичне використання «ШІ» для себе або для добрих людей, які наймають мене за свої послуги.

Тож я подумав зробити невелике пояснення того, що я знайшов, і моїх поглядів на те, як галузі, в яких я працюю, піддаються впливу. Я не торкатимусь питань авторських прав/IP, використаної навчальної бази даних та впливу на довкілля — це зовсім окремі (і надзвичайно важливі) проблеми. У рамках цього посту я говорю виключно про свій досвід щодо життєздатності інструментів genAI у творчих застосуваннях на професійному рівні.

Музичне генерування

Це була сфера, яка найбільше мене лякала. Хоча справді більшість людей не відрізняють ШІ-музику від справжньої, навчене вухо миттєво відчуває різницю. Але це не зовсім про те. Те, що більшість людей не розуміє, — сама дія «створити пісню» — це лише одна частина того, чим є артист або музичний продюсер.

Я прийшов до висновку, що єдині люди, які б із задоволенням слухали музику ШІ або використали її у своїй грі/контенті/що-завгодно, ніколи не підтримували б «індустрію» спочатку. Вони не купують альбоми, не підписуються на Patreon артиста, не наймають композитора, не ходять на концерти і не підтримують музикантів якось значущим чином. Найкраще — їм байдуже; у гіршому — вони активно суперечать і, здається, насолоджуються знищенням мистецтва людей. В будь-якому випадку це те, що справді підтримує кар’єри на кшталт моєї — віра в мистецтво, яке не зникне під впливом ШІ. Навпаки. Я нещодавно дізнався, що вони зараз продають вініл у Target та Walmart. Люди підтримують артистів, бо у них є історія. У них є перспектива, спосіб поглянути на світ, естетика. Вони мають великих, майже міфічних персонажів і дають своїм фанатам спільноту, до якої можна належати. Усе це потребує автентичності. Мені байдуже, чи говоримо ми про Dua Lipa, Johnny Cash чи ICP. Це стосується всіх них — і хоча багато хто намагається, це те, що ШІ просто не може відтворити, принаймні без прямих маніпуляцій.

Але з боку продакшну кілька моїх клієнтів сказали мені прямо, що вони наймають мене саме тому, що вони не хочуть користуватися ШІ. Насправді, з’явилася дуже дивна нішова індустрія, яка схожа на SWEs, що роблять «очистку вайб-коду» — люди пишуть пісню Suno, але розуміють, що вона звучить погано, і наймають реальних музикантів, щоб переробити її або відтворити її до різних ступенів. Не зовсім надихаюча робота, але в одному випадку у мене друг добре на цьому заробляє. У мене є клієнти (зокрема розробники ігор), які час від часу використовують ШІ-музичний фрагмент як орієнтир. Вони дають Suno той самий запит, що й мені, і діляться ним разом із іншими «реальними» піснями або саундтреками до ігор як зразками стилю. У мене є кілька друзів, які експериментували з ним, щоб отримати ідеї для гармоній або мелодій. Окрім явних проблем із IP та навчальними даними, концептуально я не маю заперечень проти цього. Це недалеко від багатьох інших ресурсів, як зразкові та петлі бібліотеки або просто прослуховування музики за натхненням.

У мене є більше професійних музикантів та продюсерів, ніж можу порахувати, і я не знаю жодного з них, кого звільнило б через ШІ. Продаж музичного обладнання зараз на рекордно високому рівні, що багато говорить (ха). ШІ-музика вплине на фінальні бібліотеки музики на кшталт Epidemic Sound, а деякі фріланс-платформи на кшталт Fiverr стали менш життєздатними для здобуття досвіду. Напевно «muzak» у роздрібних магазинах буде мати кілька випадкових пісень у плейлісті. Але загалом… ми поки що майже не постраждали.

Відео-генерація

Будь-хто, хто думає, що Sora (добре, що пішов) або будь-який інший інструмент відео на основі ШІ може замінити повноцінне традиційне контент-створення, на кшталт історій чи іншого, ніколи не працював у продакшені або не торкався реальної знімальної майданчика. Чи може воно створювати неякісні TikTok-відео? Так. Чи може воно генерувати безликий пояснювальний відео для YouTube? Без сумніву. Є кілька рекламних агентств для великих корпорацій, які використовують генероване відео, і зазвичай це виглядає досить жахливо. У власному досвіді з генеруючими моделями відео — як локальними, так і комерційними — відсутня послідовність, що робить це абсолютно невиправданим інструментом для 90% ситуацій. Поки отримаєш придатний фрагмент без дивних артефактів, ти пройшов через десятки або сотні генерацій, витративши години або дні та стільки грошей на токени. І це за те, щоб отримати 5-секундний фрагмент чогось дуже простого. Якщо потрібна серйозна узгодженість персонажа, точний вигляд продукту, контроль над виконанням, дизайном сету або костюмів — забудь. До того, як ти отримаєш 60 секунд придатного матеріалу з генеративної моделі, ти витратиш не менше часу та коштів, ніж якби знімав традиційно. ШІ-«редагування» настільки ж марне — воно може переглядати матеріал і намагатися прибрати «ем» з інтерв’ю, і може спробувати зібрати довгий матеріал у зрозумілий короткий, але воно повністю провалюється у 90% випадків, а виправлення його помилок значно більше часу, ніж зробити це правильно з самого початку.

Існують певні випадки використання — створення раскадровок, презентаційних матеріалів, концептування. Робочі процеси VFX точно змінились і стануть набагато ефективнішими. Псевдореалістичні кадри («глибоке фейк») уже використовують для омолодження акторів та зроблення ADR більш всебічним та спрощеним, і розробляються абсолютно нові техніки захвату руху та перенесення виконання. Це речі не зовсім «ШІ», як ми про нього говоримо. Так само, як із музичним обладнанням, продажі висококласних камер зараз на рекордному рівні — не те, що очікуєш від індустрії, яка має «змінитися». І переважна більшість фриланс-відео-профі або на профспілковій основі працюють у телебаченні/кіно, або з документальними роботами чи весільними подіями — у цьому дивному місці під назвою «реальність». Я якось не думаю, що пари готові платити 5 тисяч доларів за відео їхнього весілля з ШІ.

Щоденна організація та «щоденна робота»

Багато часу я витрачаю не на виробництво — це організація файлів, обговорення правок, пошук нових клієнтів, створення трекерів проєктів та підтримка моєї нескінченної бібліотеки плагінів та програмного забезпечення. Я випробував стільки багато різних способів використати LLM для прискорення цього, але вони просто… не допомагають. Мої трекери проєктів індивідуальні для кожного проєкту, і до того, як я сформулюю запит для потрібного, я міг би зробити це сам… удвічі. Я спробував використати просту локальну систему «агентного» типу, щоб оптимізувати щоденне навантаження та узагальнити електронні листи, повідомлення в Discord, запити на правки та нотатки проєктів у список щоденних завдань. Воно галюцинує, додає деталі, яких там немає, і легко втрачає відстеження активних проєктів. Налаштування та підтримка всього цього забирають набагато більше часу, ніж просто записати все на блокнот. Я намагався використати ChatGPT, щоб допомогти написати описи для відео на YouTube. Воно звучить нормально — якщо ви дилетант, який не розуміє тему. Але знову ж таки, воно галюцинує, формулює речі дивними способами і з’єднує несумісні концепти у «салат з слів». Я намагався використати його для планування стратегії в соцмережах для просування проєкту — все, що воно зробило, це сказати, що я геніальний, і повторити загальні поради з Reddit про «послідовність публікацій» та «бути лідером думок». Мило звучить від алгоритму, який не є послідовним і не мислить.

Дизайн і кодинг ігор

Час від часу бачу пости на кшталт «генеративні світові моделі» і як вони нібито повністю замінять традиційну розробку ігор. Знову ж таки, як і з відео — хтось, хто вважає це легітимним, НІКОЛИ не розумів, як створюється відеогра. У порівнянні з музикою, я вважаю, що genAI може принести більше змін у геймдев. Більшість розробників дійсно використовують LLM для генерації та перевірки коду з різною ступінню успіху. Низькорівневі ролі озвучення через TTS-моделі стають дефіцитнішими. Є дійсно вражаючі моделі, які можуть генерувати riggable 3D-моделі з 2D-зображень, і ігри з «генераційних зображень» заповнюють Steam дуже швидко. Але тут є дві обнадійливі річі — по-перше, AAA-студії, що приймають ШІ, зараз знищуються, а арт-інді-ігри здаються майбутнім індустрії. Я працюю з цими розробниками щодня, і, незважаючи на те, що вони визначено знаходять використання genAI у своїх процесах, вони — одержимі художники, і більшність глибоко віддана використанню реального мистецтва та музики у своїх іграх. Але окрім цього — геймери НЕНАВИДЯТЬ ШІ майже більше за будь-яку іншу групу, яку я бачив. Найменший запах чого-небудь genAI викликає миттєві вимоги прибрати когось з посади, майже настільки, що я називаю це надмірною реакцією. Але це надихає і дарує надію на майбутнє.

Але що стосується чистого кодування — це одна сфера, де я насправді, нарешті, якось знайшов легітимне застосування для цього всього. Декілька місяців тому я почав працювати з Claude, щоб зібрати простий плагін, який дозволяє шаткувати лупи та семпли крутим способом за допомогою одного з моїх MIDI-контролерів. Я не дуже вмію кодувати, і це єдине, чим мене дійсно вразив LLM. Я розглядаю це як переклад з англійської на мандарин — даю точні вимоги, перетворюю це на блоки C++, йду рядок за рядком, збираю та тестую ретельно, як і коли з цим працюю. Після понад сотні годин інтенсивної «відданості», купи планування та надзвичайно обережного та ретельного формулювання запитів, думаю, зможу насправді створити щось цікаве та напівкорисне, що можу розмістити на своєму сайті за 10 доларів. Так що це якось цікаво, думаю.

Підсумок — я все життя провів у світі продакшну, випробував майже всі інструменти, що нібито «замінять усе». Так само, як і решта цих психотичних хайп-куполів, це переважно шум, пух та байки. Єдині випадки, коли генAI-контент — чи то музика, ігри чи відео — має успіх — а) як суто новизна, або б) коли людей навмисно обманюють взаємодіяти з ним. Він не має тривалої стійкості і рідко втілює автентичність — або запах фальші. Більшість людей ненавидить його. Чи має він якісь обмежені застосування у конкретних виробничих процесах? Так — врешті-решт це інструмент, як і будь-який інший. Але я не хвилююся за свою кар’єру, чи за кар’єри друзів, чи за ці індустрії в цілому. Музика пережила загибель фізичної дистрибуції, відео — появу камери на телефоні, і ігри переживуть загибель AAA. Ми будемо в порядку.

І, до речі — я зробив прикольний маленький плагін з Claude Code, який майже працює «як-ось», і це зайняло лише сотню годин, щоб дійти туди! Це, мабуть, коштує $6 трильйонів… чи не так?