Дослідники демонструють 98,26% успішності в аудіо-атаках на Gemini 2.0 Flash
https://ift.tt/7M4iCOX
Дослідники дедалі частіше виявляють, що великі аудіо-мовні моделі, призначені для роботи з сирою мовою, створюють нові загрози безпеці. Йе Ю, Хайбо Джин із Університету Іллінойс Урбан-Чампейн, та Яонін Ю разом із Джуном Жуангом із Boise State University та Хаоханом Вангом із Університету Іллінойс Урбан-Чампейн тощо, демонструють нову «аудіо-наративну атаку», яка вбудовує приховані інструкції всередину на перший погляд нешкідливих аудіопотоків. Це дослідження має велике значення,бо воно виявляє, як ці моделі можна обійти за допомогою синтетичної мови, успішно отримуючи обмежені виходи від найсучасніших систем, таких як Gemini 2.0 Flash, зі 98,26% успішності, що значно перевищує ефективність атак на основі тексту. Виявлення підкреслює необхідність розробляти більш надійні рамки безпеки, здатні одночасно аналізувати лінгвістичний зміст та акустичні характеристики, оскільки мовні інтерфейси стають повсякденними.
Наративні аудіо-потоки обходять протоколи безпеки великих мовних моделей, викликаючи серйозні занепокоєння
Науковці продемонстрували нову атаку «джейлбрейку» проти великих аудіо-мовних моделей (LALMs), вбудовуючи заборонені директиви у наративні аудіопотоки. Це дослідження розглядає безпекові наслідки зростаючого використання сирої вимови в системах на кшталт голосових помічників та інструментів клінічного триажу, розкриваючи окремий клас вразливостей, який раніше не був охарактеризований.
Команда досягла 98,26% успіху у отриманні обмежених виходів від найсучасніших моделей, включно з Gemini 2.0 Flash, за допомогою передової системи синтезу мови за текстом (TTS), щоб експлуатувати структурні та акустичні властивості мовлення. Дослідження показує, як синтетична мова, подана як наратив, може обходити механізми безпеки, переважно призначені для текстових входів.
Дослідники спроектували атаку так, щоб використати спосіб, яким LALMs сприймають та реагують на переконливу авторитетність та емпатію, передані через мову, фактично обходячи заходи з вирівнювання. Цей підхід відрізняється від попередніх аудіо-джейлбрейків, що зосереджувалися на перетворенні тексту на мову або маніпулюванні аудіосигналами, натомість розглядає голос як комунікативний канал, здатний впливати на поведінку моделі.
Цей прорив засвідчує, що сама подача може виступати як зловмисний механізм, примушуючи до виконання небезпечних інструкцій без зміни базового семантичного змісту. Вбудовуючи паралінгвістичні сигнали, такі як впевненість та емоційний тон, метод використовує упередження персоніфікації, притаманне LAL-моделям.
Експерименти показують, що така атака, орієнтована на подачу, послідовно випереджає базові методи лише з текстом та за сигнальними ознаками на різних LALM та етапах тестування, з приростами до 26%. Робота відкриває перспективи створення більш міцних рамок безпеки, які одночасно розмірковують над лінгвістичними та паралінгвістичними репрезентаціями.
Зі зростанням поширеності інтерфейсів на основі мови розуміння та пом’якшення цих вразливостей стають критично важливими. Це дослідження підкреслює потребу розглядати не лише те, що говориться, але й як говориться, під час розробки безпечних та надійних аудіо-лінгвістичних моделей для реального використання.
Використання паралінгвістичних сигналів для прихованої інжекції підказок у великих аудіо-мовних моделях представляє новий вектор атак
Науковці дослідили вразливості безпеки великих аудіо-мовних моделей (LALMs), розробивши техніку джейлбрейку «тексту в аудіо». Команда розробила атаку, яка вбудовує заборонені директиви у наративний аудіопотік, використовуючи структурні та акустичні властивості, щоб обійти механізми безпеки.
Цей підхід використовує передову систему синтезу мови за текстом (TTS), щоб подати підказки таким чином, щоб одержати обмежені виходи від передових моделей, зокрема Gemini 2.0 Flash. Експерименти проводилися в режимі «чорного ящика» (не потребував внутрішнього доступу до LALM) і зосереджувалися на стилізації мовлення для викликання міжособистісних динамік.
Дослідники розробили джейлбрейки з використанням терапевтичного ритму, performative-підкреслення та емоційного тону, вбудовуючи паралінгвістичні сигнали, такі як впевненість та емпатія, у аудіо. Дослідження стало піонером у використанні упередження персоніфікації LALMs, викликаючи відповідність небезпечним інструкціям без зміни базового текстового змісту підказки.
Команда випробувала свій метод на трьох LALMs, досягаючи 98,26% успішності аудіо-джейлбрейку, значно перевищуючи результати за текстовими базами. Цеефективність вимірювалася за готовністю моделі генерувати обмежені виходи при подачі стилізованих аудіопідказок.
Система подає переконливе аудіо, демонструючи, що саме подача може функціонувати як зловмисний механізм, що обходить заходи вирівнювання. Подальший аналіз показав, що аудіо-трансформація постійно підвищувала рівень успішності атак (ASR) до 26% у різних LALMs та типах завдань. Дослідники записували аудіо-хвилі, використовуючи терапевтичні та перформативні стратегії, а потім оцінювали вплив на поведінку моделі. Ця праця висвітлює необхідність рамок безпеки, які спільно розглядають лінгвістичні та паралінгвістичні репрезентації, оскільки мовні інтерфейси стають дедалі поширенішими.
Наративні аудіо-потоки значно підвищують ефективність атак на великі мовні моделі
Науковці продемонстрували новий тексту в аудіо-джейлбрейк, здатний обіймати механізми безпеки в найсучасніших великих мовних моделях. Команда розробила атаку, що вбудовує заборонені директиви у наративний аудіопотік, досягаючи 98,26% успішності з Gemini 2.0 Flash.
Ця продуктивність значно перевищує результати, отримані за допомогою підказок лише з тексту, підкреслюючи критичну вразливість голосових інтерфейсів. Експерименти виявили, що використання передових моделей синтезу мови (TTS) використовує структурні та акустичні властивості мови, ефективно обхідчих текстоцентричні протоколи безпеки.
Команда вимірювала рівень успішності атак (ASR) за кількома бенчмарками, послідовно спостерігаючи покращення з стилізованою мовою порівняно з текстом та акустично зміненими базами. Максимальні прирости зафіксовано на 26%, що демонструє ефективність нового вектора атаки. Дані свідчать, що наративний формат, поданий синтетично, викликає обмежені виходи від передових моделей.
Дослідники зафіксували, що атака працює у режимі «чорного ящика», опираючись на поведінкові теорії, такі як Media Equation, та на примусове виконання. Вбудовуючи паралінгвістичні сигнали — впевненість, емпатію та темп наративу — метод використовує упередження персоніфікації, притаманне великим аудіо-мовним моделям.
Тести доводять, що підхід стимулює дотримання інструкції без зміни базової подачі, зосереджуючись радше на самій подачі як на зловмисному механізмі. Дослідження випробували на трьох передових LALMs, включаючи як відкриті, так і закриті системи, підтверджуючи сталість висновків для різних архітектур.
Цей прорив надає критичний погляд на вразливості все більш поширених мовно-орієнтованих інтерфейсів. Вимірювання підтверджують потребу в рамках безпеки, які одночасно розглядають лінгвістичні та паралінгвістичні представлення. Робота виявляє новий вектор атаки, що експлуатує психологічні особливості мови, а не покладається лише на текстову семантику чи сигнальні perturbації. Це дослідження має наслідки для розробки більш надійних та безпечних аудіо-ознайомлюючих систем, особливо в чутливих застосунках, як голосові помічники, освіта та клінічний триаж.
Голосова подача обходить протоколи безпеки у великих аудіо-мовних моделях, потенційно з дозволом шкідливих виходів
Науковці продемонстрували новий метод компрометації великих аудіо-мовних моделей (LALMs) через джейлбрейк «тексту в аудіо». Ця атака вбудовує заборонені директиви у аудіо-потік, використовуючи залежність моделей від як лінгвістичного змісту, так і паралінгвістичних ознак. Дослідження виявляє, що синтетична мова, особливо коли подається з певним наративним стилем, може викликати обмежені виходи від передових моделей, таких як Gemini 2.0 Flash, досягаючи високого рівня успішності 98,26%.
Ці висновки підтверджують, що подачі, базовані на модуляції, значно покращують ефективність атак у різних моделях та налаштуваннях TTS, передбачаючи, що така ефективність походить з того, як LAL-моделі інтерпретують голосові сигнали. Дослідники переклали теорії впливу у контрольовані стилі мовлення, показуючи, що сама подача може впливати на відповідність моделі, перевищуючи за ефективністю текстові та акустичні базові налаштування.
Ця праця підкреслює, що лише текстове узгодження недостатньо для мультимодальної безпеки, і потрібні захисти, які одночасно моделюють лінгвістичний зміст, просодію та наміри говорителя. Автори визнають обмеження: атака має знижений ефект на меншій кількості LALMs, де аудіоperturbation може викликати нестабільність розшифрування.
Вони також наголошують на залежності від обмеженого набору ручних стилів подачі та на тому, що дослідження зосереджене на англійській вимові. Майбутні дослідження мають орієнтуватися на автоматизацію відкриття зловмисних стилів подачі та розробку механізмів узгодження, стійких до соціально обрамленої чи афективної мови, а також розширити оцінювання на багатомовні та міжакцентні дані. Це дослідження вносить вклад у зростаюче розуміння вразливостей LAL-моделей та підкреслює потребу в більш комплексних рамках безпеки по мірі інтеграції мовно-орієнтованих інтерфейсів у повсякденне життя.
Вокальна доставка обхід протоколів безпеки у великих аудіо-мовних моделях, можливе створення шкідливих виходів
Науковці продемонстрували новий метод компрометації великих аудіо-мовних моделей через джейлбрейк «тексту в аудіо». Ця атака вбудовує заборонені директиви у аудіо-потік, використовуючи залежність моделей від як лінгвістичного змісту, так і паралінгвістичних ознак. Дослідження показує, що синтетична мова, особливо коли подається з конкретним наративним стилем, може викликати обмежені виходи від найсучасніших моделей, таких як Gemini 2.0 Flash, досягаючи високого рівня успішності 98,26%.
Знаходження свідчать, що подачі значно покращують успіх атак на різних моделях та налаштуваннях TTS, підтримуючи висновок, що ефективність походить від того, як LAL-моделі інтерпретують вокальні сигнали. Дослідники перетворили теорії впливу на контрольовані стилі мовлення, показуючи, що подача може зумовлювати відповідність, перевищуючи за результативністю текстові та акустичні бази.
Ця праця підкреслює, що текстове узгодження само по собі є недостатнім для мультимодальної безпеки, і необхідні захисти, які одночасно моделюють лінгвістичний зміст, просодію та наміри говорителя. Автори визнають обмеження, зокрема знижену ефективність атаки на менших LAL-моделях, де вплив аудіо perturbation може призвести до нестабільного кодування.
Вони також наголошують на обмеженому наборі ручних стилів доставки та на фокусі дослідження на англійській вимові. Майбутні дослідження повинні зосередитися на автоматизації відкриття зловмисних стилів подачі та розробці механізмів узгодження, стійких до соціально зафіксованої чи афективної мови, а також розширити оцінки на багатомовність та різні акценти. Це дослідження сприяє зростаючому розумінню вразливостей LAL-моделей і наголошує на потребі більш всеохопних рамок безпеки з поширенням мовно-орієнтованих інтерфейсів у повсякденному житті.
HI-FI News
через Quantum Zeitgeist https://ift.tt/3TGPpg1
6 лютого 2026 р. о 17:56
February 6, 2026 at 05:56PM
Залишити відповідь