Будем надеятся, что в будущем создадут алгоритм способный проанализировать созвучие и выйти оставив каждый голос на своем месте.
Спасибо Вам Михаил!

При анализе, каждый голос до входа в созвучие, будет иметь свою частоту и амплитуду при каждом измерении (выборке). На основе нескольких выборок думаю можно построить вычисления общего коэффициента нарастания/уменьшения частоты и амплитуды для каждого голоса. И на основе этих коэффициентов определить голоса при выходе из созвучия

Нет никаких "созвучий", "голосов" и "основных частот". Есть очень похожий на шум сложный импульсный сигнал, именуемый музыкой, выделить из которого "голоса" просто невозможно. Мы так рассуждаем, потому что наше сознание умеет такие вещи выделять в музыке, но когда дело доходит до железа и софта, попытки анализа сигнала на таком уровне приводят только и исключительно к нейронным сетям.
Вчера смотрел видос - оказывается, производятся ПЛИС специально для целей ИИ. Именно ПЛИС, потому что для ИИ требуются адские вычислительные ресурсы. Полагаю, что не стоит в эту бодягу даже соваться - мало того, что шибко сложно, так ещё наверняка это всё космически стоит (те же отладочные наборы для данных целей).
Я бы не стал витать в облаках и исходил бы из того, что доступно на любительском уровне. Получить мы можем только амплитуды и мгновенные частоты в каналах, ну и некоторые параметры вроде "темпа" звука в каналах, ориентируясь на средние интервалы времени между пиками амплитуды. Мне лично хватило бы даже простой обычной "моргалки", но на современном уровне её можно дополнить "плавающим" цветом (в зависимости от мгновенной средней частоты в каналах или иных условий, например, текущего времени свечения канала) и "пространственными" эффектами. А последнее в огромной степени зависит от концепции свтоизлучателей. Может быть один излучатель в виде сферы, утыканный светодиодами, или излучателей может быть несколько (тоже "утыканные" сферы). Можно и механику подключить, вращая шаговиком зеркало, но лично мне это как-то не очень нравится. Прожектора (даже если их много), мне кажется, не создадут такого эффекта, как светодиодные шары (или полусферы). Светодиоды можно ставить разные - маломощные направленные и ненаправленные, а также мощные ненаправленные (возможно, с некоторым ограничением угла), что позволит получить не только цветовые области, но и мелкие пятна света (если не включать мощные светодиоды на слишком большую яркость). Например, если сделать полусферы с ориентировкой на засветку потолка и стен, по окружности каждой дать 8 RGB светодиодов (т.е. через 45 градусов), а по вертикали поставить светодиоды на 0, 30, 60 и 90 градусов, выходит 25 маломощных светодиодов, это грубо около ватта суммарной мощности, что уже немало. В промежутках между сеткой маломощных можно поставить мощные светодиоды. Такая конструкция позволила бы создавать эффекты пространственного перемещения света, не прибегая к механическим поворотным устройствам. А если сделать на каждый канал свою полусферу, общий эффект усилился бы, а чтоб не примелькалось, каналы можно менять - не только по паузам между композициям, но даже и внутри них.
Маломощные направленные светодиоды могут работать в режиме "без инерции", а мощные ненаправленные могут быть инерционными (степень инерционности тоже может меняться динамически). Таким образом, получим смешение динамично появляющихся мелких пятен с инерционной засветкой областей.
Поскольку светодиодов на один канал получается много (в варианте с излучающей полусферой на каждый канал), и всеми одновременно светить в ответ на некую мгновенную амплитуду в канале нет смысла, целесообразно по неким условиям организовать движение света, увеличивая или уменьшая мгновенную яркость светодиодов по определённым алгоритмам; нечто подобное можно проделывать и с цветом. В общем, тут есть место фантазии, однако все эти рассуждения насчёт излучателей и эффектов - чисто умозрительные, и я не уверен, что это будет выглядеть так хорошо, как представляется. Тут надо пробовать... Но задача настолько сложна, что даже не понятно, с какой стороны начинать. Да даже эти полусферы сделать - 3D-принтер нужен, знание софта и нюансов. Я потому откладываю этот проект на потом, потому что тут ещё обдумывать и обдумывать.

Guaho, сложный сигнал похожий на шум -это несколько сигналов разной частоты и амплитуды в одном проводнике не суммирующиеся и не вычитающиеся между собой.
Выше Вы упоминали и про цифровую фильтрацию

Цитата:

Сообщение от Guaho

(в зависимости от мгновенной средней частоты в каналах или иных условий, например, текущего времени свечения канала) и "пространственными" эффектами. А последнее в огромной степени зависит от концепции свтоизлучателей.

, целесообразно по неким условиям организовать движение света, увеличивая или уменьшая мгновенную яркость светодиодов по определённым алгоритмам;

Правильная формулировка. Нужна законченная концепция, и исходя из этого предпринимать шаги для её реализации.Давайте попробуем коллегиально это сделать.

Поддерживаю! Меня бы тоже и моргалка устроила, главное чтобы моргала в тему и красиво

Цитата:

Сообщение от SergeyRJ

Guaho, сложный сигнал... -это несколько сигналов разной частоты и амплитуды в одном проводнике не суммирующиеся и не вычитающиеся между собой...

Они суммируются и вычитатюся на этапе создания музыки, её записи. А нам для анализа достаются сигналы, малопригодные для этого самого анализа. Откройте любой много-инструментальный трек в звуковом редакторе - это каша всплесков совершенно хаотично горбатой формы. Применить к этому какие-то алгоритмы выделения чего-то (самим нам непонятно чего) совершенно невозможно. Да и зачем в эти дебри лезть, не вижу смысла. А цифровая фильтрация - это что-то вроде "накопления" амплитуд для определённых частот, когда за счёт задержек сигналы нужного диапазона накладываются друг на друга в фазе и за счёт этого усиливаются. Но то же самое делают аналоговые фильтры, и я бы предпочёл их, а вычислительные ресурсы процессора направил бы на создание эффектов. Не хочется без нужды лезть в STM, хорошо бы обойтись более простыми PIC / AVR.

Цитата:

Сообщение от Guaho

накладываются друг на друга в фазе и за счёт этого усиливаются

или ослабляются - разложение Фурье. "все украдено до нас".

Так нужно сначала придумать от чего будет отталкиваться программа и что будет делать

Мне кажется, начинать надо с концепции светоизлучателей. Что это будет - группа прожекторов, светодиодные ленты или что-то специфическое вроде предложенных полусфер? Или всё ж система с вращающимися зеркалами? Или "хитрые" самодельные прожектора, способные в пределах своего сектора свечения создавать отдельные перекрывающиеся участки света / цвета, для получения эффекта движения света в рамках зоны одного прожектора? Прожектора хороши тем, что их положение в пространстве можно регулировать, т.е. подстраивать при установке под параметры конкретного помещения, в отличие от застывшей геометрии предложенных полусфер. Если так, то надо думать конструкцию прожекторов, сколько и каких светодиодов должно быть в каждом, и какая оптика. От конструкции зависит и логика, и метод управления светодиодами. Не имеет смысла начинать программу, не зная, сколько будет каналов (тоже вопрос открытый), сколько светодиодов в канале и в какой конфигурации, и какой будет метод управления.
Программа - дело второе, хотя и существенно более сложное. Повторюсь, использовать мы можем только:
1. Амплитуды в каналах;
2. Мгновенные частоты в каналах;
3. Измеренное среднее время между пиками в каждом канале (порог может динамически плавать);
4. Паузы в композициях (такое случается) и между ними.
Пункты 2 и 3 не используются в "классических" ЦМУ. Это как раз то, что позволит создать более "продвинутую" ЦМУ.
Однако, лично мне пока не до этого. Участвую в обсуждении в рамках обмена идеями, выработки подходящей концепции для своей возможной конструкции. Ибо эта тема очень мне интересна. Проект очень масштабный, а времена слишком смутные сейчас, не знаешь, чего ожидать от завтрашнего дня. Да к тому же других задач куча, не успел доделать одну масштабную программу под Win, как созрел проект её существенной доработки, а работа над новой версией - это ещё несколько лет труда, с моими темпами. Так что даже не знаю, когда удастся взяться за данный проект...