Real-time music visualization technology

Views: 183


Music visualization technology in real time (RTMV-technology).

Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації музики в реальному часі. При прослуховуванні музичного твору, я для себе вирішив, що хочу мати такий пристрій, який би з мінімальними налаштуваннями (або взагалі без будь-яких налаштувань) для мене могло створювати світлове шоу. Я, як споживач, хочу просто прийти після роботи, включити музику, сісти на диван і відпочиваючи слухати музику і насолоджуватися світловою візуалізацією.

Я багато спілкувався зі спеціалістами з шоу-бізнесу, які займаються створенням світлових шоу, і вони мене переконують, що такі інструменти створити не можна. Але ви самі розумієте, що для мене, як для споживача, безглуздо купувати світлову консоль, щоб потім день програмувати світлову композицію, а потім сісти і 3 хвилини насолоджуватися тим, що вже реально не хочеться дивитися, ні слухати, так воно за день вже набридло .

Для мене необхідно, щоб пристрій візуалізації, скільки б разів я не прослуховував музичний трек, стільки разів створював для мене нове світлове шоу і яке б мені не набридало.

Повірте, я багато конструював різних інструментів візуалізації, і вони мене зовсім не влаштовували, я прийшов до розуміння того, що проблема криється у відсутності теорії, на основі якої можна було створювати такі інструменти. Тоді я для себе на своїх примітивних принципах розуміння музики створив для себе таку теорію. Конструюючи візуалізатори, я аналізував отриманий результат і вносив коригування в моє розуміння зв’язку світла та музики.

Саму технологію, я називаю, RTMV-technology. Спочатку RTMV-technology розроблялася як 2D варіант візуалізації. Але для створення повноцінного 2D прототипу, на сьогодні, для мене виявилося досить дорого у виготовленні. Тому було зроблено спробу спрощеного варіанта – 1D візуалізації. Ідея була в тому, щоб отримати відносно недорогий інструмент, до якого можна просто підключити аудіо сигнал і насолоджуватися світловими образами під час прослуховування музики.

Цей проект отримав назву CLUBBEST і був орієнтований спочатку на клубну музику, але як показав час, він підходить для візуалізації будь-яких музичних творів. Звичайно, є багато обмежень, пов’язаних з використанням недорогих компонентів та застосування MCU з низькою продуктивністю, але навіть у такому варіанті, я отримав та отримую позитивні відгуки. Для мене найцікавіші відгуки, коли в коментарі я прочитав: “Я побачив музику”. Так, я створював цю технологію для того, щоб побачити музику. І такі відгуки я отримую на постійно, у міру процесу розробки технології.

Технологія дозволяє створювати повністю автономні інтелектуальні електронні пристрої, які можуть у реальному часі створювати візуальне аранжування музичного твору. Для цієї технології немає потреби в попередньому створенні світлової композиції, технологія орієнтована на автоматичну обробку в реальному часі.

Моя думка, що за цією технологією можна створювати світлові консолі з зовсім іншим підходом до світловим шоу або додавши керуюче ядро в сучасні консолі, реальним чином вивести їх на новий рівень.

Для мене в першу чергу стояло завдання, щоб було видно зв’язок музики та світла, щоб глядач світлового шоу, ловив себе на думці, що звук йде не зі звукових колонок, а звук створюється самими джерелами світла.

Для популяризації цієї технології я почав записувати відео ролики, коли я підключаю візуалізацію до вже наявного музичного твору і показую для оцінки, наскільки візуалізація відповідає музичному потоку. Зверніть увагу, що я показую візуалізацію всього музичного твору, не монтую ролик, не показую вирваний якийсь вдалий момент, я показую, як технологія працює в реальному часі, з усіма її недоліками, пов’язаними з технічного та фінансового обмеження, з якими я зіткнувся.

Відразу обмовлю прототипи пристроїв були виготовлені ще два роки тому, але можливість показати їхню роботу з’явилася тільки зараз.

Я пропоную подивитися демонстраційні відео та хочу почути від суспільства відгуки, наскільки вам цікавий такий підхід.

Я вважаю найважчим варіантом для комп’ютерної обробки є обробка класичної та інструментальної музики, тут приклад, як технологія справляється з обробкою інструментальної композиції.

 

У цьому відео приклад для порівняння візуалізації написане на сучасній консолі людиною і візуалізація, створювана RTMV-технологією в реальному часі, за ті ж 3 хвилини, поки транслюється композиція.

 

Приклад візуалізації музичної композиції POP.

Більше демонстраційних відео можна побачити в подкасті тут ви можете побачити роботу прототипів двох систем – CLUBBEST M68 та CLUBBEST M100.

Спочатку я робив CLUBBEST як інструмент для свого ПК, для прослуховування музики. Але, як виявилося, його можна з успіхом застосувати і для робочого місця композитора, музиканта, DJ, а також використовувати як декоративну прикрасу для інтер’єру приміщень клубів, кафе, ресторанів, де при трансляції музики, як я вважаю, можна з успіхом використовувати цю технологію.

Я люблю дивитися стрими DJ , і я вважаю, що для DJ , які у своїй творчості орієнтуються створення живої музики, подібні інструменти їм просто необхідні. Музикант повинен зосередитись на музиці, а система візуалізації має допомагати прикрасити його твір візуалізацією та створенням осмислених візуальних образів.

Я вважаю, що на існуючому рівні розробки вже можна створити комерційний інструмент у вигляді світлодіодного бару для DJ, щоб можна було використовувати для живих виступів музикантів. Такий інструмент можна розмістити перед пультом DJ або за DJ – ліворуч та праворуч від нього. Я вважаю, що світлова інтерпретація у кілька разів посилює сприйняття музичного твору.

Особливість самої ідеї полягає в тому, щоб, дати музикантові можливість, у живому виступі зосередитися на музиці, а візуалізацію віддати електроніці.

Зараз у прототипах, кінцевим оптичним пристроєм є лінійне розташування однотипних джерел світла. Для роботи зі світловими приладами, які використовуються на сцені, необхідний конфігуратор і звичайно, зовсім інший підхід для формування даних управління.

Я зараз пробую своєю ідеєю, зацікавити виробників світлового обладнання у розвитку цієї технології та створення нових інструментів, які дозволять інакше поглянути на світлове ШОУ.

Але зараз, як я вже казав, для мене цікаво почути вашу думку, про те, наскільки така світлова візуалізація цікава, і наскільки вона близько висловлює тему музичного твору. Я, в останніх відео, на моєму каналі спробував зібрати різні стилі, щоб можна було оцінити можливість роботи алгоритмів.

Якщо у вас виникнуть питання, не соромтеся, запитуйте, я готовий надати більше технічної інформації для розуміння самої ідеї такої візуалізації.

Буду вдячний за ваші відгуки.


Це може бути цікаво!


 

  • PIC32MZ – Core Timer (библиотека)PIC32MZ – Core Timer (библиотека)
    Views: 547 Переработанные файлы от Microchip, библиотека для работы с Core Timer.
  • Четырех канальный терморегулятор ch-4000Четырех канальный терморегулятор ch-4000
    Views: 3275  Четыре независимых канала регулирования температуры, одновременно можно подключить 16 датчиков температуры DS18B20 с удалением до трехсот метров. Можно для регулировки выбрать любой датчик, подключенный к устройству. Каждый канал может работать …
  • WiFi ESP8266 – AT команды связанные с функцией Wi-FiWiFi ESP8266 – AT команды связанные с функцией Wi-Fi
    Views: 5478 AT команды связанные с функцией Wi-Fi Функции Wi-Fi подключения, запускаться из командной строки Команда Описание  1 AT+CWMODE Проверка, настройка режима работы Wi-Fi (sta/AP/sta+AP), (не рекомендуется для новых проектов). 2 …
  • Проект с использованием MCC часть 14Проект с использованием MCC часть 14
    Views: 893 С выводом данных на дисплей мы справились (но могу сразу сказать библиотеку графики к этой статьи пришлось доработать, поэтому в этом проекте она обновлена). У нас на текущем …
  • Altium Designer – подготовка документации для производства и сборки печатных платAltium Designer – подготовка документации для производства и сборки печатных плат
    Views: 3776 В процессе освоения Altium Designer много возникает вопросов по подготовке документации для производства плат, а также для её сборки. Altium Designer позволяет сделать все требуемые документы, хотя скажем …
  • ESP8266 применение в проектахESP8266 применение в проектах
    Views: 3661 (Актуально только для версий прошивки 1.хх) ESP8266 показала себя как надежное и безотказное устройство для обмена данными с применением WIFI. Я использую ESP8266 исключительно через UART, с применением AT …
  • CLUBBEST-50-LightCLUBBEST-50-Light
    Views: 329 CLUBBEST-50-LIGHT   Зміст Короткий опис проекту. 1 Опис схемотехніки візуалізатора музики. 2 Аудіо вхід. 3 MCU. 4 Цифровий вихід. 5 Схема живлення MCU. 6 Складання пристрою. 7 Список …
  • Ссылки на интересные источникиСсылки на интересные источники
    Views: 904 Сбор 3D моделей от André L’Hérault конденсаторы, резисторы, индуктивности dropbox IPC-SM-782 Surface Mount Design and Land Pattern Standard Видео уроки по Altium designer Alexey Sabunin https://www.youtube.com/channel/UCG7N5CqXpyK8nQjr1EmMgng Сергей Булавинов https://www.youtube.com/channel/UCISAMXRnN_Qw9UTjUwZI1Jw Robert Feranec https://www.youtube.com/user/matarofe …
  • Сенсорный выключатель светаСенсорный выключатель света
    Views: 13730 Хотя в настоящий момент актуальны системы управления освещением с передачей данных по электросети, но я думаю, что проекты такого рода тоже имеют право на жизнь. Анонс Три вида …
  • Емкостной сенсорЕмкостной сенсор
    Views: 3103 Изучаем изготовление емкостных сенсоров на PIC-микроконтроллере. Конструкция емкостных сенсоров имеет вид: Емкостные сенсоры строятся по схеме высокочастотного генератора, сам принцип основан на измерение частоты этого генератора. Частота зависит …

 



Поделись этим!

Catcatcat

catcatcat

Development of embedded systems based on Microchip microcontrollers.

Продолжайте читать

НазадДалее

Комментарии

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.