Visits: 93
Music visualization technology in real time (RTMV-technology).
Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації музики в реальному часі. При прослуховуванні музичного твору, я для себе вирішив, що хочу мати такий пристрій, який би з мінімальними налаштуваннями (або взагалі без будь-яких налаштувань) для мене могло створювати світлове шоу. Я, як споживач, хочу просто прийти після роботи, включити музику, сісти на диван і відпочиваючи слухати музику і насолоджуватися світловою візуалізацією.
Я багато спілкувався зі спеціалістами з шоу-бізнесу, які займаються створенням світлових шоу, і вони мене переконують, що такі інструменти створити не можна. Але ви самі розумієте, що для мене, як для споживача, безглуздо купувати світлову консоль, щоб потім день програмувати світлову композицію, а потім сісти і 3 хвилини насолоджуватися тим, що вже реально не хочеться дивитися, ні слухати, так воно за день вже набридло .
Для мене необхідно, щоб пристрій візуалізації, скільки б разів я не прослуховував музичний трек, стільки разів створював для мене нове світлове шоу і яке б мені не набридало.
Повірте, я багато конструював різних інструментів візуалізації, і вони мене зовсім не влаштовували, я прийшов до розуміння того, що проблема криється у відсутності теорії, на основі якої можна було створювати такі інструменти. Тоді я для себе на своїх примітивних принципах розуміння музики створив для себе таку теорію. Конструюючи візуалізатори, я аналізував отриманий результат і вносив коригування в моє розуміння зв’язку світла та музики.
Саму технологію, я називаю, RTMV-technology. Спочатку RTMV-technology розроблялася як 2D варіант візуалізації. Але для створення повноцінного 2D прототипу, на сьогодні, для мене виявилося досить дорого у виготовленні. Тому було зроблено спробу спрощеного варіанта – 1D візуалізації. Ідея була в тому, щоб отримати відносно недорогий інструмент, до якого можна просто підключити аудіо сигнал і насолоджуватися світловими образами під час прослуховування музики.
Цей проект отримав назву CLUBBEST і був орієнтований спочатку на клубну музику, але як показав час, він підходить для візуалізації будь-яких музичних творів. Звичайно, є багато обмежень, пов’язаних з використанням недорогих компонентів та застосування MCU з низькою продуктивністю, але навіть у такому варіанті, я отримав та отримую позитивні відгуки. Для мене найцікавіші відгуки, коли в коментарі я прочитав: “Я побачив музику”. Так, я створював цю технологію для того, щоб побачити музику. І такі відгуки я отримую на постійно, у міру процесу розробки технології.
Технологія дозволяє створювати повністю автономні інтелектуальні електронні пристрої, які можуть у реальному часі створювати візуальне аранжування музичного твору. Для цієї технології немає потреби в попередньому створенні світлової композиції, технологія орієнтована на автоматичну обробку в реальному часі.
Моя думка, що за цією технологією можна створювати світлові консолі з зовсім іншим підходом до світловим шоу або додавши керуюче ядро в сучасні консолі, реальним чином вивести їх на новий рівень.
Для мене в першу чергу стояло завдання, щоб було видно зв’язок музики та світла, щоб глядач світлового шоу, ловив себе на думці, що звук йде не зі звукових колонок, а звук створюється самими джерелами світла.
Для популяризації цієї технології я почав записувати відео ролики, коли я підключаю візуалізацію до вже наявного музичного твору і показую для оцінки, наскільки візуалізація відповідає музичному потоку. Зверніть увагу, що я показую візуалізацію всього музичного твору, не монтую ролик, не показую вирваний якийсь вдалий момент, я показую, як технологія працює в реальному часі, з усіма її недоліками, пов’язаними з технічного та фінансового обмеження, з якими я зіткнувся.
Відразу обмовлю прототипи пристроїв були виготовлені ще два роки тому, але можливість показати їхню роботу з’явилася тільки зараз.
Я пропоную подивитися демонстраційні відео та хочу почути від суспільства відгуки, наскільки вам цікавий такий підхід.
Я вважаю найважчим варіантом для комп’ютерної обробки є обробка класичної та інструментальної музики, тут приклад, як технологія справляється з обробкою інструментальної композиції.
У цьому відео приклад для порівняння візуалізації написане на сучасній консолі людиною і візуалізація, створювана RTMV-технологією в реальному часі, за ті ж 3 хвилини, поки транслюється композиція.
Приклад візуалізації музичної композиції POP.
Більше демонстраційних відео можна побачити в подкасті тут ви можете побачити роботу прототипів двох систем – CLUBBEST M68 та CLUBBEST M100.
Спочатку я робив CLUBBEST як інструмент для свого ПК, для прослуховування музики. Але, як виявилося, його можна з успіхом застосувати і для робочого місця композитора, музиканта, DJ, а також використовувати як декоративну прикрасу для інтер’єру приміщень клубів, кафе, ресторанів, де при трансляції музики, як я вважаю, можна з успіхом використовувати цю технологію.
Я люблю дивитися стрими DJ , і я вважаю, що для DJ , які у своїй творчості орієнтуються створення живої музики, подібні інструменти їм просто необхідні. Музикант повинен зосередитись на музиці, а система візуалізації має допомагати прикрасити його твір візуалізацією та створенням осмислених візуальних образів.
Я вважаю, що на існуючому рівні розробки вже можна створити комерційний інструмент у вигляді світлодіодного бару для DJ, щоб можна було використовувати для живих виступів музикантів. Такий інструмент можна розмістити перед пультом DJ або за DJ – ліворуч та праворуч від нього. Я вважаю, що світлова інтерпретація у кілька разів посилює сприйняття музичного твору.
Особливість самої ідеї полягає в тому, щоб, дати музикантові можливість, у живому виступі зосередитися на музиці, а візуалізацію віддати електроніці.
Зараз у прототипах, кінцевим оптичним пристроєм є лінійне розташування однотипних джерел світла. Для роботи зі світловими приладами, які використовуються на сцені, необхідний конфігуратор і звичайно, зовсім інший підхід для формування даних управління.
Я зараз пробую своєю ідеєю, зацікавити виробників світлового обладнання у розвитку цієї технології та створення нових інструментів, які дозволять інакше поглянути на світлове ШОУ.
Але зараз, як я вже казав, для мене цікаво почути вашу думку, про те, наскільки така світлова візуалізація цікава, і наскільки вона близько висловлює тему музичного твору. Я, в останніх відео, на моєму каналі спробував зібрати різні стилі, щоб можна було оцінити можливість роботи алгоритмів.
Якщо у вас виникнуть питання, не соромтеся, запитуйте, я готовий надати більше технічної інформації для розуміння самої ідеї такої візуалізації.
Буду вдячний за ваші відгуки.
Це може бути цікаво!
- Индикатор температурыVisits: 2651 Проект для начинающих, на демо плате BB-2T3D-01. Простой индикатор температуры. Проект никак не задумывался, просто на витрину магазин Ворон нужна была демонстрационная модель на макетной плате, чего нибудь работающего. Остановились на индикаторе …
- Altium Designer my setup system and project structureVisits: 620 Используйте только последнее обновление!!! Updates https://catcatcat.d-lan.dp.ua/altium-designer-my-libraries-project-templates-system-settings-by-catcatcat-v23-09/ Тут хочу поделиться как я настраиваю Altium Designer и как я использую файлы DXPPreferences.DXPPrf для быстрой конфигурации и получения …
- Инфракрасный датчик движения, PIR-sensorVisits: 3063 Домашняя автоматика предполагает наличие датчиков движения, которые способны контролировать движения человека. Самым простым и доступным устройством позволяющие контролировать изменения ИК-излучения, это ПИР-сенсоры. На текущий момент доступны не дорогие модели D203B, D204B, D205B. Все …
- Development Boards PIC18F47Q84Visits: 959 Microchip тішить новими мікроконтролерами. Особливістю цього MCU – це багата інтелектуальна периферія, що дозволяє вирішувати такі завдання на 8 бітних MCU, які неможливо реалізувати на деяких навіть 32 …
- Toyota Auto Fader – Модуль включения усилителяVisits: 1916 Toyota Auto Fader – Модуль включения усилителя. Часто автолюбители прибегают к замене штатного головного устройства на универсальное мультимедийное, в котором значительно расширены функциональные возможности. Если возникает желание оставить …
- Самый простой диммер для светодиодного освещенияVisits: 2973 Светодиоды все больше входят в нашу жизнь как источники освещения и как само собой разумеющееся, это вопрос регулировки яркости. Существует множество схемных решений, но в нашем варианте мы …
- APA102 – светодиоды со встроенным драйвером и SPI интерфейсомVisits: 3253 APA102 В 2014 году фирма Shenzhen Led Color Optoelectronic Co., Ltd http://www.szledcolor.com/ начала производство светодиодов на драйвере APA102. Это серия так называемых светодиодов со встроенным драйвером. Основной особенностью этих …
- Контроллер управления светодиодным освещением с дистанционным управлениемVisits: 1998 Все активнее светодиоды входят в нашу жизнь. Всё эффективнее становится светодиодное освещение. Всё ниже опускаются цены. Всё больше появляется возможностей получения сочных цветов, простоты в управлении. Всё чаще …
- Audio-bluetooth modules BK8000L (noname)Visits: 646 Еще один вариант, так сказать недоразумения Audio-bluetooth modules BK8000L (noname). Его отличительной маркировкой служат два отверстия в плате и надпись R2. Отличают его от модулей на чипе BK8000L, …
- Счетчики посетителейVisits: 1261 Вас сосчитали!? или счетчики посетителей. Для чего нужны счетчики посетителей? Какие они бывают? ТОРГОВЛЯ. Подсчитайте, сколько ваш магазин посещает человек за день. Кок много человек приходит утром, какое …
Комментарии