Real-time music visualization technology

Просмотров: 47


Music visualization technology in real time (RTMV-technology).

Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації музики в реальному часі. При прослуховуванні музичного твору, я для себе вирішив, що хочу мати такий пристрій, який би з мінімальними налаштуваннями (або взагалі без будь-яких налаштувань) для мене могло створювати світлове шоу. Я, як споживач, хочу просто прийти після роботи, включити музику, сісти на диван і відпочиваючи слухати музику і насолоджуватися світловою візуалізацією.

Я багато спілкувався зі спеціалістами з шоу-бізнесу, які займаються створенням світлових шоу, і вони мене переконують, що такі інструменти створити не можна. Але ви самі розумієте, що для мене, як для споживача, безглуздо купувати світлову консоль, щоб потім день програмувати світлову композицію, а потім сісти і 3 хвилини насолоджуватися тим, що вже реально не хочеться дивитися, ні слухати, так воно за день вже набридло .

Для мене необхідно, щоб пристрій візуалізації, скільки б разів я не прослуховував музичний трек, стільки разів створював для мене нове світлове шоу і яке б мені не набридало.

Повірте, я багато конструював різних інструментів візуалізації, і вони мене зовсім не влаштовували, я прийшов до розуміння того, що проблема криється у відсутності теорії, на основі якої можна було створювати такі інструменти. Тоді я для себе на своїх примітивних принципах розуміння музики створив для себе таку теорію. Конструюючи візуалізатори, я аналізував отриманий результат і вносив коригування в моє розуміння зв’язку світла та музики.

Саму технологію, я називаю, RTMV-technology. Спочатку RTMV-technology розроблялася як 2D варіант візуалізації. Але для створення повноцінного 2D прототипу, на сьогодні, для мене виявилося досить дорого у виготовленні. Тому було зроблено спробу спрощеного варіанта – 1D візуалізації. Ідея була в тому, щоб отримати відносно недорогий інструмент, до якого можна просто підключити аудіо сигнал і насолоджуватися світловими образами під час прослуховування музики.

Цей проект отримав назву CLUBBEST і був орієнтований спочатку на клубну музику, але як показав час, він підходить для візуалізації будь-яких музичних творів. Звичайно, є багато обмежень, пов’язаних з використанням недорогих компонентів та застосування MCU з низькою продуктивністю, але навіть у такому варіанті, я отримав та отримую позитивні відгуки. Для мене найцікавіші відгуки, коли в коментарі я прочитав: “Я побачив музику”. Так, я створював цю технологію для того, щоб побачити музику. І такі відгуки я отримую на постійно, у міру процесу розробки технології.

Технологія дозволяє створювати повністю автономні інтелектуальні електронні пристрої, які можуть у реальному часі створювати візуальне аранжування музичного твору. Для цієї технології немає потреби в попередньому створенні світлової композиції, технологія орієнтована на автоматичну обробку в реальному часі.

Моя думка, що за цією технологією можна створювати світлові консолі з зовсім іншим підходом до світловим шоу або додавши керуюче ядро в сучасні консолі, реальним чином вивести їх на новий рівень.

Для мене в першу чергу стояло завдання, щоб було видно зв’язок музики та світла, щоб глядач світлового шоу, ловив себе на думці, що звук йде не зі звукових колонок, а звук створюється самими джерелами світла.

Для популяризації цієї технології я почав записувати відео ролики, коли я підключаю візуалізацію до вже наявного музичного твору і показую для оцінки, наскільки візуалізація відповідає музичному потоку. Зверніть увагу, що я показую візуалізацію всього музичного твору, не монтую ролик, не показую вирваний якийсь вдалий момент, я показую, як технологія працює в реальному часі, з усіма її недоліками, пов’язаними з технічного та фінансового обмеження, з якими я зіткнувся.

Відразу обмовлю прототипи пристроїв були виготовлені ще два роки тому, але можливість показати їхню роботу з’явилася тільки зараз.

Я пропоную подивитися демонстраційні відео та хочу почути від суспільства відгуки, наскільки вам цікавий такий підхід.

Я вважаю найважчим варіантом для комп’ютерної обробки є обробка класичної та інструментальної музики, тут приклад, як технологія справляється з обробкою інструментальної композиції.

 

У цьому відео приклад для порівняння візуалізації написане на сучасній консолі людиною і візуалізація, створювана RTMV-технологією в реальному часі, за ті ж 3 хвилини, поки транслюється композиція.

 

Приклад візуалізації музичної композиції POP.

Більше демонстраційних відео можна побачити в подкасті тут ви можете побачити роботу прототипів двох систем – CLUBBEST M68 та CLUBBEST M100.

Спочатку я робив CLUBBEST як інструмент для свого ПК, для прослуховування музики. Але, як виявилося, його можна з успіхом застосувати і для робочого місця композитора, музиканта, DJ, а також використовувати як декоративну прикрасу для інтер’єру приміщень клубів, кафе, ресторанів, де при трансляції музики, як я вважаю, можна з успіхом використовувати цю технологію.

Я люблю дивитися стрими DJ , і я вважаю, що для DJ , які у своїй творчості орієнтуються створення живої музики, подібні інструменти їм просто необхідні. Музикант повинен зосередитись на музиці, а система візуалізації має допомагати прикрасити його твір візуалізацією та створенням осмислених візуальних образів.

Я вважаю, що на існуючому рівні розробки вже можна створити комерційний інструмент у вигляді світлодіодного бару для DJ, щоб можна було використовувати для живих виступів музикантів. Такий інструмент можна розмістити перед пультом DJ або за DJ – ліворуч та праворуч від нього. Я вважаю, що світлова інтерпретація у кілька разів посилює сприйняття музичного твору.

Особливість самої ідеї полягає в тому, щоб, дати музикантові можливість, у живому виступі зосередитися на музиці, а візуалізацію віддати електроніці.

Зараз у прототипах, кінцевим оптичним пристроєм є лінійне розташування однотипних джерел світла. Для роботи зі світловими приладами, які використовуються на сцені, необхідний конфігуратор і звичайно, зовсім інший підхід для формування даних управління.

Я зараз пробую своєю ідеєю, зацікавити виробників світлового обладнання у розвитку цієї технології та створення нових інструментів, які дозволять інакше поглянути на світлове ШОУ.

Але зараз, як я вже казав, для мене цікаво почути вашу думку, про те, наскільки така світлова візуалізація цікава, і наскільки вона близько висловлює тему музичного твору. Я, в останніх відео, на моєму каналі спробував зібрати різні стилі, щоб можна було оцінити можливість роботи алгоритмів.

Якщо у вас виникнуть питання, не соромтеся, запитуйте, я готовий надати більше технічної інформації для розуміння самої ідеї такої візуалізації.

Буду вдячний за ваші відгуки.


Це може бути цікаво!


 

  • MPLAB X IDE – управление проектамиMPLAB X IDE – управление проектами
    Просмотров: 860 Среда  MPLAB X IDE позволяет оперативно работать с несколькими проектами, например, если у вас в работе несколько проектов: Для того чтобы переключиться достаточно выбрать другой проект: Для выбора …
  • Сумеречное релеСумеречное реле
    Просмотров: 1372 Реле управления освещением, датчик день-ночь – одним словом фотореле для управления освещением или формирования сигнала для системы умный дом о понижении или повышении освещенности относительно заданного уровня. Реле выполнено по классической схеме, конденсаторный блок питания, от сети переменного тока …
  • Оптосимистор и его применениеОптосимистор и его применение
    Просмотров: 19225 Эрве Кадино “Цветомузыкальные установки” Ответ на вопрос – управление мощным тиристором или симистором, от терморегулятора. Статья в pdf[wpdm_file id=129 template=”link-template-calltoaction3.php”] Оптосимистор принадлежат к классу оптронов и обеспечивают очень хорошую …
  • PIC18F25K42 – v. A001 – выявленные баги.PIC18F25K42 – v. A001 – выявленные баги.
    Просмотров: 557 Модуль I2C Не работает при использовании в стандартной конфигурации MCC. Требует особой нестандартной конфигурации и управления для нормальной работы. Обойти Обход проблемы возможен библиотека см статью. Модуль ADC2 На …
  • PIC32MZ – прерывания (заметки)PIC32MZ – прерывания (заметки)
    Просмотров: 431 Виды формирования запоминая контекста при входе в прерывания. Компилятор представляет три варианта AUTO – когда запоминания места возврата из подпрограммы возложено на программу, т.е все создается программно. Этот …
  • PIC18 – модуль DMAPIC18 – модуль DMA
    Просмотров: 1085 Введение   Модуль прямого доступа к памяти (DMA) предназначен для обслуживания передачи данных непосредственно между различными областями памяти без вмешательства процессора. Исключив при этом необходимость в интенсивной  обработки …
  • MCC PIC24 – модуль REAL-TIME CLOCK AND CALENDAR (RTCC)MCC PIC24 – модуль REAL-TIME CLOCK AND CALENDAR (RTCC)
    Просмотров: 406 RTCC предоставляет пользователю часы реального времени и функция календаря (RTCC), точность “хода” может быть откалибрована. Основные особенности модуля RTCC: • Работает в режиме глубокого сна. • Возможность выбора источника …
  • TDA7294 part 2TDA7294 part 2
    Просмотров: 72 Це друга частина проекту TDA7294, початок дивись тут. Тут ви знайдете повністю проект високоякісного підсилювача на TDA7294, схема, 3D моделі, гербер файли для виготовлення друкованої плати. І звичайно …
  • DS18B20 – удаленный контроль температурыDS18B20 – удаленный контроль температуры
    Просмотров: 2966 Контроль температуры с использованием датчиков температуры DS18B20 и платы ILLISSI-4B-09-primum Проект позволяет подключать к плате ILLISSI-4B-09-primum до 16 датчиков температуры DS18B20, удаленных более 300 метров,  и выводить информацию …
  • WiFi ESP8266 ESP-202 (ESP-12F)WiFi ESP8266 ESP-202 (ESP-12F)
    Просмотров: 7539 Первое знакомство, сначала надо его купить… http://voron.ua/catalog/024404 Схема для подключения и тестирования По схеме ставим две кнопки, сброс и кнопку BT2, для перевода в режим обновления прошивки. Если надо сделать …

 



Поделись этим!

Catcatcat

catcatcat

Development of embedded systems based on Microchip microcontrollers.

Продолжайте читать

НазадДалее

Комментарии

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.