Edge AI Drone Detection via Audio and Vision

Виявлення дронів на краю за допомогою аудіо та візуальних даних

Історія
Цей проект досліджує підхід на основі крайового AI до виявлення дронів, використовуючи злиття сенсорних даних між аудіо та візуальними даними. Мотивація цього проекту випливає з обмежень існуючих систем виявлення дронів, які покладаються майже виключно на комп’ютерний зір, який може працювати неефективно в умовах слабкого освітлення, на великих відстанях або у візуально захаращених середовищах.

Дрони генерують характерні акустичні патерни через свої пропелери та мотори, що робить звук цінним сигналом для раннього виявлення. Цей проект використовує мікрофон для безперервного моніторингу навколишнього середовища та застосовує модель машинного навчання на пристрої для класифікації аудіо патернів, пов’язаних з дронами, в реальному часі. Виявлення на основі аудіо дозволяє системі ідентифікувати потенційні дрони ще до того, як вони стануть видимими для камери.

Коли аудіо подія класифікується як потенційний дрон, система використовує візуальний вхід для підтвердження виявлення. Камера захоплює візуальні дані, які обробляються на крайовому пристрої для перевірки присутності дрона та зменшення кількості хибнопозитивних сповіщень, спричинених навколишнім шумом чи іншими джерелами звуку. Остаточне рішення формується шляхом поєднання аудіо та візуальної інформації безпосередньо на пристрої через логіку злиття сенсорів.

Вся система розроблена для роботи локально на Arduino UNO Q із використанням Edge Impulse для збору даних, навчання моделі та розгортання. Проект навмисно розроблено поетапно, починаючи з класифікації лише за аудіо та поступово переходячи до повного злиття аудіо та візуальних сенсорів. Цей підхід дозволяє поступово перевіряти кожну модальність сенсора, демонструючи реальні переваги мультисенсорного злиття на краю.

На даному етапі проект знаходиться на стадії пропозиції та дизайну. Інтеграція апаратного забезпечення, збір набору даних та навчання моделі почнуться після вибору в Sensor Fusion Challenge.

HI-FI Новини

через Досліджуйте всі проекти – Сторінка 1 – Hackster.io

21 грудня 2025 року о 04:48.

December 21, 2025 at 04:48AM