
Просмотров: 47
Music visualization technology in real time (RTMV-technology).
Я не музикант і я не маю спеціальної музичної освіти, я інженер розробник вбудованих систем. Але моє хобі розроблення технології візуалізації музики в реальному часі. При прослуховуванні музичного твору, я для себе вирішив, що хочу мати такий пристрій, який би з мінімальними налаштуваннями (або взагалі без будь-яких налаштувань) для мене могло створювати світлове шоу. Я, як споживач, хочу просто прийти після роботи, включити музику, сісти на диван і відпочиваючи слухати музику і насолоджуватися світловою візуалізацією.
Я багато спілкувався зі спеціалістами з шоу-бізнесу, які займаються створенням світлових шоу, і вони мене переконують, що такі інструменти створити не можна. Але ви самі розумієте, що для мене, як для споживача, безглуздо купувати світлову консоль, щоб потім день програмувати світлову композицію, а потім сісти і 3 хвилини насолоджуватися тим, що вже реально не хочеться дивитися, ні слухати, так воно за день вже набридло .
Для мене необхідно, щоб пристрій візуалізації, скільки б разів я не прослуховував музичний трек, стільки разів створював для мене нове світлове шоу і яке б мені не набридало.
Повірте, я багато конструював різних інструментів візуалізації, і вони мене зовсім не влаштовували, я прийшов до розуміння того, що проблема криється у відсутності теорії, на основі якої можна було створювати такі інструменти. Тоді я для себе на своїх примітивних принципах розуміння музики створив для себе таку теорію. Конструюючи візуалізатори, я аналізував отриманий результат і вносив коригування в моє розуміння зв’язку світла та музики.
Саму технологію, я називаю, RTMV-technology. Спочатку RTMV-technology розроблялася як 2D варіант візуалізації. Але для створення повноцінного 2D прототипу, на сьогодні, для мене виявилося досить дорого у виготовленні. Тому було зроблено спробу спрощеного варіанта – 1D візуалізації. Ідея була в тому, щоб отримати відносно недорогий інструмент, до якого можна просто підключити аудіо сигнал і насолоджуватися світловими образами під час прослуховування музики.
Цей проект отримав назву CLUBBEST і був орієнтований спочатку на клубну музику, але як показав час, він підходить для візуалізації будь-яких музичних творів. Звичайно, є багато обмежень, пов’язаних з використанням недорогих компонентів та застосування MCU з низькою продуктивністю, але навіть у такому варіанті, я отримав та отримую позитивні відгуки. Для мене найцікавіші відгуки, коли в коментарі я прочитав: “Я побачив музику”. Так, я створював цю технологію для того, щоб побачити музику. І такі відгуки я отримую на постійно, у міру процесу розробки технології.
Технологія дозволяє створювати повністю автономні інтелектуальні електронні пристрої, які можуть у реальному часі створювати візуальне аранжування музичного твору. Для цієї технології немає потреби в попередньому створенні світлової композиції, технологія орієнтована на автоматичну обробку в реальному часі.
Моя думка, що за цією технологією можна створювати світлові консолі з зовсім іншим підходом до світловим шоу або додавши керуюче ядро в сучасні консолі, реальним чином вивести їх на новий рівень.
Для мене в першу чергу стояло завдання, щоб було видно зв’язок музики та світла, щоб глядач світлового шоу, ловив себе на думці, що звук йде не зі звукових колонок, а звук створюється самими джерелами світла.
Для популяризації цієї технології я почав записувати відео ролики, коли я підключаю візуалізацію до вже наявного музичного твору і показую для оцінки, наскільки візуалізація відповідає музичному потоку. Зверніть увагу, що я показую візуалізацію всього музичного твору, не монтую ролик, не показую вирваний якийсь вдалий момент, я показую, як технологія працює в реальному часі, з усіма її недоліками, пов’язаними з технічного та фінансового обмеження, з якими я зіткнувся.
Відразу обмовлю прототипи пристроїв були виготовлені ще два роки тому, але можливість показати їхню роботу з’явилася тільки зараз.
Я пропоную подивитися демонстраційні відео та хочу почути від суспільства відгуки, наскільки вам цікавий такий підхід.
Я вважаю найважчим варіантом для комп’ютерної обробки є обробка класичної та інструментальної музики, тут приклад, як технологія справляється з обробкою інструментальної композиції.
У цьому відео приклад для порівняння візуалізації написане на сучасній консолі людиною і візуалізація, створювана RTMV-технологією в реальному часі, за ті ж 3 хвилини, поки транслюється композиція.
Приклад візуалізації музичної композиції POP.
Більше демонстраційних відео можна побачити в подкасті тут ви можете побачити роботу прототипів двох систем – CLUBBEST M68 та CLUBBEST M100.
Спочатку я робив CLUBBEST як інструмент для свого ПК, для прослуховування музики. Але, як виявилося, його можна з успіхом застосувати і для робочого місця композитора, музиканта, DJ, а також використовувати як декоративну прикрасу для інтер’єру приміщень клубів, кафе, ресторанів, де при трансляції музики, як я вважаю, можна з успіхом використовувати цю технологію.
Я люблю дивитися стрими DJ , і я вважаю, що для DJ , які у своїй творчості орієнтуються створення живої музики, подібні інструменти їм просто необхідні. Музикант повинен зосередитись на музиці, а система візуалізації має допомагати прикрасити його твір візуалізацією та створенням осмислених візуальних образів.
Я вважаю, що на існуючому рівні розробки вже можна створити комерційний інструмент у вигляді світлодіодного бару для DJ, щоб можна було використовувати для живих виступів музикантів. Такий інструмент можна розмістити перед пультом DJ або за DJ – ліворуч та праворуч від нього. Я вважаю, що світлова інтерпретація у кілька разів посилює сприйняття музичного твору.
Особливість самої ідеї полягає в тому, щоб, дати музикантові можливість, у живому виступі зосередитися на музиці, а візуалізацію віддати електроніці.
Зараз у прототипах, кінцевим оптичним пристроєм є лінійне розташування однотипних джерел світла. Для роботи зі світловими приладами, які використовуються на сцені, необхідний конфігуратор і звичайно, зовсім інший підхід для формування даних управління.
Я зараз пробую своєю ідеєю, зацікавити виробників світлового обладнання у розвитку цієї технології та створення нових інструментів, які дозволять інакше поглянути на світлове ШОУ.
Але зараз, як я вже казав, для мене цікаво почути вашу думку, про те, наскільки така світлова візуалізація цікава, і наскільки вона близько висловлює тему музичного твору. Я, в останніх відео, на моєму каналі спробував зібрати різні стилі, щоб можна було оцінити можливість роботи алгоритмів.
Якщо у вас виникнуть питання, не соромтеся, запитуйте, я готовий надати більше технічної інформації для розуміння самої ідеї такої візуалізації.
Буду вдячний за ваші відгуки.
Це може бути цікаво!
MPLAB X IDE – управление проектами
Просмотров: 860 Среда MPLAB X IDE позволяет оперативно работать с несколькими проектами, например, если у вас в работе несколько проектов: Для того чтобы переключиться достаточно выбрать другой проект: Для выбора …Сумеречное реле
Просмотров: 1372 Реле управления освещением, датчик день-ночь – одним словом фотореле для управления освещением или формирования сигнала для системы умный дом о понижении или повышении освещенности относительно заданного уровня. Реле выполнено по классической схеме, конденсаторный блок питания, от сети переменного тока …Оптосимистор и его применение
Просмотров: 19225 Эрве Кадино “Цветомузыкальные установки” Ответ на вопрос – управление мощным тиристором или симистором, от терморегулятора. Статья в pdf[wpdm_file id=129 template=”link-template-calltoaction3.php”] Оптосимистор принадлежат к классу оптронов и обеспечивают очень хорошую …PIC18F25K42 – v. A001 – выявленные баги.
Просмотров: 557 Модуль I2C Не работает при использовании в стандартной конфигурации MCC. Требует особой нестандартной конфигурации и управления для нормальной работы. Обойти Обход проблемы возможен библиотека см статью. Модуль ADC2 На …PIC32MZ – прерывания (заметки)
Просмотров: 431 Виды формирования запоминая контекста при входе в прерывания. Компилятор представляет три варианта AUTO – когда запоминания места возврата из подпрограммы возложено на программу, т.е все создается программно. Этот …PIC18 – модуль DMA
Просмотров: 1085 Введение Модуль прямого доступа к памяти (DMA) предназначен для обслуживания передачи данных непосредственно между различными областями памяти без вмешательства процессора. Исключив при этом необходимость в интенсивной обработки …MCC PIC24 – модуль REAL-TIME CLOCK AND CALENDAR (RTCC)
Просмотров: 406 RTCC предоставляет пользователю часы реального времени и функция календаря (RTCC), точность “хода” может быть откалибрована. Основные особенности модуля RTCC: • Работает в режиме глубокого сна. • Возможность выбора источника …TDA7294 part 2
Просмотров: 72 Це друга частина проекту TDA7294, початок дивись тут. Тут ви знайдете повністю проект високоякісного підсилювача на TDA7294, схема, 3D моделі, гербер файли для виготовлення друкованої плати. І звичайно …DS18B20 – удаленный контроль температуры
Просмотров: 2966 Контроль температуры с использованием датчиков температуры DS18B20 и платы ILLISSI-4B-09-primum Проект позволяет подключать к плате ILLISSI-4B-09-primum до 16 датчиков температуры DS18B20, удаленных более 300 метров, и выводить информацию …WiFi ESP8266 ESP-202 (ESP-12F)
Просмотров: 7539 Первое знакомство, сначала надо его купить… http://voron.ua/catalog/024404 Схема для подключения и тестирования По схеме ставим две кнопки, сброс и кнопку BT2, для перевода в режим обновления прошивки. Если надо сделать …
Комментарии