Real-time music visualization technology

Views: 113


Music visualization technology in real time (RTMV-technology).

Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації музики в реальному часі. При прослуховуванні музичного твору, я для себе вирішив, що хочу мати такий пристрій, який би з мінімальними налаштуваннями (або взагалі без будь-яких налаштувань) для мене могло створювати світлове шоу. Я, як споживач, хочу просто прийти після роботи, включити музику, сісти на диван і відпочиваючи слухати музику і насолоджуватися світловою візуалізацією.

Я багато спілкувався зі спеціалістами з шоу-бізнесу, які займаються створенням світлових шоу, і вони мене переконують, що такі інструменти створити не можна. Але ви самі розумієте, що для мене, як для споживача, безглуздо купувати світлову консоль, щоб потім день програмувати світлову композицію, а потім сісти і 3 хвилини насолоджуватися тим, що вже реально не хочеться дивитися, ні слухати, так воно за день вже набридло .

Для мене необхідно, щоб пристрій візуалізації, скільки б разів я не прослуховував музичний трек, стільки разів створював для мене нове світлове шоу і яке б мені не набридало.

Повірте, я багато конструював різних інструментів візуалізації, і вони мене зовсім не влаштовували, я прийшов до розуміння того, що проблема криється у відсутності теорії, на основі якої можна було створювати такі інструменти. Тоді я для себе на своїх примітивних принципах розуміння музики створив для себе таку теорію. Конструюючи візуалізатори, я аналізував отриманий результат і вносив коригування в моє розуміння зв’язку світла та музики.

Саму технологію, я називаю, RTMV-technology. Спочатку RTMV-technology розроблялася як 2D варіант візуалізації. Але для створення повноцінного 2D прототипу, на сьогодні, для мене виявилося досить дорого у виготовленні. Тому було зроблено спробу спрощеного варіанта – 1D візуалізації. Ідея була в тому, щоб отримати відносно недорогий інструмент, до якого можна просто підключити аудіо сигнал і насолоджуватися світловими образами під час прослуховування музики.

Цей проект отримав назву CLUBBEST і був орієнтований спочатку на клубну музику, але як показав час, він підходить для візуалізації будь-яких музичних творів. Звичайно, є багато обмежень, пов’язаних з використанням недорогих компонентів та застосування MCU з низькою продуктивністю, але навіть у такому варіанті, я отримав та отримую позитивні відгуки. Для мене найцікавіші відгуки, коли в коментарі я прочитав: “Я побачив музику”. Так, я створював цю технологію для того, щоб побачити музику. І такі відгуки я отримую на постійно, у міру процесу розробки технології.

Технологія дозволяє створювати повністю автономні інтелектуальні електронні пристрої, які можуть у реальному часі створювати візуальне аранжування музичного твору. Для цієї технології немає потреби в попередньому створенні світлової композиції, технологія орієнтована на автоматичну обробку в реальному часі.

Моя думка, що за цією технологією можна створювати світлові консолі з зовсім іншим підходом до світловим шоу або додавши керуюче ядро в сучасні консолі, реальним чином вивести їх на новий рівень.

Для мене в першу чергу стояло завдання, щоб було видно зв’язок музики та світла, щоб глядач світлового шоу, ловив себе на думці, що звук йде не зі звукових колонок, а звук створюється самими джерелами світла.

Для популяризації цієї технології я почав записувати відео ролики, коли я підключаю візуалізацію до вже наявного музичного твору і показую для оцінки, наскільки візуалізація відповідає музичному потоку. Зверніть увагу, що я показую візуалізацію всього музичного твору, не монтую ролик, не показую вирваний якийсь вдалий момент, я показую, як технологія працює в реальному часі, з усіма її недоліками, пов’язаними з технічного та фінансового обмеження, з якими я зіткнувся.

Відразу обмовлю прототипи пристроїв були виготовлені ще два роки тому, але можливість показати їхню роботу з’явилася тільки зараз.

Я пропоную подивитися демонстраційні відео та хочу почути від суспільства відгуки, наскільки вам цікавий такий підхід.

Я вважаю найважчим варіантом для комп’ютерної обробки є обробка класичної та інструментальної музики, тут приклад, як технологія справляється з обробкою інструментальної композиції.

 

У цьому відео приклад для порівняння візуалізації написане на сучасній консолі людиною і візуалізація, створювана RTMV-технологією в реальному часі, за ті ж 3 хвилини, поки транслюється композиція.

 

Приклад візуалізації музичної композиції POP.

Більше демонстраційних відео можна побачити в подкасті тут ви можете побачити роботу прототипів двох систем – CLUBBEST M68 та CLUBBEST M100.

Спочатку я робив CLUBBEST як інструмент для свого ПК, для прослуховування музики. Але, як виявилося, його можна з успіхом застосувати і для робочого місця композитора, музиканта, DJ, а також використовувати як декоративну прикрасу для інтер’єру приміщень клубів, кафе, ресторанів, де при трансляції музики, як я вважаю, можна з успіхом використовувати цю технологію.

Я люблю дивитися стрими DJ , і я вважаю, що для DJ , які у своїй творчості орієнтуються створення живої музики, подібні інструменти їм просто необхідні. Музикант повинен зосередитись на музиці, а система візуалізації має допомагати прикрасити його твір візуалізацією та створенням осмислених візуальних образів.

Я вважаю, що на існуючому рівні розробки вже можна створити комерційний інструмент у вигляді світлодіодного бару для DJ, щоб можна було використовувати для живих виступів музикантів. Такий інструмент можна розмістити перед пультом DJ або за DJ – ліворуч та праворуч від нього. Я вважаю, що світлова інтерпретація у кілька разів посилює сприйняття музичного твору.

Особливість самої ідеї полягає в тому, щоб, дати музикантові можливість, у живому виступі зосередитися на музиці, а візуалізацію віддати електроніці.

Зараз у прототипах, кінцевим оптичним пристроєм є лінійне розташування однотипних джерел світла. Для роботи зі світловими приладами, які використовуються на сцені, необхідний конфігуратор і звичайно, зовсім інший підхід для формування даних управління.

Я зараз пробую своєю ідеєю, зацікавити виробників світлового обладнання у розвитку цієї технології та створення нових інструментів, які дозволять інакше поглянути на світлове ШОУ.

Але зараз, як я вже казав, для мене цікаво почути вашу думку, про те, наскільки така світлова візуалізація цікава, і наскільки вона близько висловлює тему музичного твору. Я, в останніх відео, на моєму каналі спробував зібрати різні стилі, щоб можна було оцінити можливість роботи алгоритмів.

Якщо у вас виникнуть питання, не соромтеся, запитуйте, я готовий надати більше технічної інформації для розуміння самої ідеї такої візуалізації.

Буду вдячний за ваші відгуки.


Це може бути цікаво!


 

  • AD9833 – Programmable Waveform Generator – part twoAD9833 – Programmable Waveform Generator – part two
    Views: 1745 Прошло время и появилась тема, что-бы закончить проект AD9833 – Programmable Waveform Generator. Приехали печатные платы. В этот раз я печатные платы заказывал в https://jlcpcb.com/ делал это в …
  • Сумеречное релеСумеречное реле
    Views: 1446 Реле управления освещением, датчик день-ночь – одним словом фотореле для управления освещением или формирования сигнала для системы умный дом о понижении или повышении освещенности относительно заданного уровня. Реле выполнено по классической схеме, конденсаторный блок питания, от сети переменного тока …
  • Простой цифровой регулятор мощностиПростой цифровой регулятор мощности
    Views: 6474 Простой регулятор мощности с цифровой индикацией. Этот проект создан как обучающий, для ознакомления с основами построения сетевых регуляторов мощности. Устройства подобного типа можно использовать для управления освещением, скоростью …
  • Часы + Календарь + Термометр + …Часы + Календарь + Термометр + …
    Views: 2693 Часы + Календарь + Термометр + Индикатор влажности + Секундомер + Дистанционное управление на ИК лучах (пульты на RC-5 протоколе) + Автоматическая регулировка яркости + Возможность вывода данных через USB, …
  • Тестирование модуля генератораТестирование модуля генератора
    Views: 844  Тестирование модуля генератора Настройка, запуск и проверка рабочей частоты на примере PIC18F26K40. PIC18F26K40 Чтобы понять из-за чего зависит производительность микроконтроллера просто надо понять как работает его задающий тактовый …
  • Real-time music visualization technologyReal-time music visualization technology
    Views: 113 Music visualization technology in real time (RTMV-technology). Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації …
  • Ссылки на интересные источникиСсылки на интересные источники
    Views: 835 Сбор 3D моделей от André L’Hérault конденсаторы, резисторы, индуктивности dropbox IPC-SM-782 Surface Mount Design and Land Pattern Standard Видео уроки по Altium designer Alexey Sabunin https://www.youtube.com/channel/UCG7N5CqXpyK8nQjr1EmMgng Сергей Булавинов https://www.youtube.com/channel/UCISAMXRnN_Qw9UTjUwZI1Jw Robert Feranec https://www.youtube.com/user/matarofe …
  • Одноканальный емкостной сенсор – AT42QT1012Одноканальный емкостной сенсор – AT42QT1012
    Views: 2329 Описание сенсора [wpdm_file id=242] Незаконченный проект, так-как сенсор не оправдал своего назначения, не рекомендую, просто выброшенные деньги. Особенности. • Количество сенсоров – один, режим переключения ( touch-on/touch-off ), а также программируемая …
  • Индикатор кода – RC-5 Protocol PhilipsИндикатор кода – RC-5 Protocol Philips
    Views: 986 Индикатор кода – RC-5 Protocol Philips При конструировании дистанционного управления на инфракрасных лучах для контроля удобно иметь индикатор кодов передаваемых пультом. Плата ch-c3000 позволяет изготавливать устройства с возможностью …
  • Контроллер управления светодиодным освещением с дистанционным управлениемКонтроллер управления светодиодным освещением с дистанционным управлением
    Views: 2007 Все активнее светодиоды входят в нашу жизнь. Всё эффективнее становится светодиодное освещение. Всё ниже опускаются цены. Всё больше появляется возможностей получения сочных цветов, простоты в управлении. Всё чаще …

 



Поделись этим!

Catcatcat

catcatcat

Development of embedded systems based on Microchip microcontrollers.

Продолжайте читать

НазадДалее

Комментарии

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.