способ и устройство для обработки звукового сигнала

Формула изобретения

1. Способ обработки звукового сигнала, включающий:

фильтрацию звукового сигнала с разделением его на по меньшей мере два сигнала полос частот и

формирование, для каждого сигнала полосы частот, множества сигналов субполос; при этом для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и по меньшей мере для одной другой полосы частот множество сигналов субполос формируют, используя банк фильтров субполос,

применение подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием преобразования из временной области в частотную,

применение подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием банка фильтров субполос,

объединение сигналов субполос, сформированных с использованием преобразования из временной области в частотную, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот,

объединение сигналов субполос, сформированных с использованием банка фильтров субполос, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот, и

объединение по меньшей мере двух обработанных звуковых сигналов полос частот, включая первый и второй обработанные звуковые сигналы полос частот, для формирования обработанного звукового сигнала.

2. Способ по п.1, в котором преобразование из временной области в частотную включает по меньшей мере одно из следующего:

быстрое преобразование Фурье,

дискретное преобразование Фурье и

дискретное косинусное преобразование.

3. Способ по п.1, в котором банк фильтров субполос выполнен в виде косинусно-модулированного банка фильтров.

4. Способ по п.1, в котором фильтрация звукового сигнала с разделением его на по меньшей мере два сигнала полос частот включает:

высокочастотную фильтрацию звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот,

низкочастотную фильтрацию звукового сигнала для получения низкочастотного отфильтрованного сигнала

и понижение частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот.

5. Способ по п.4, в котором понижение частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот выполняют с коэффициентом 2.

6. Способ по п.1, в котором объединение сигналов субполос, сформированных с использованием преобразования из временной области в частотную, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот включает формирование первой из по меньшей мере двух обработанных полос частот с использованием преобразования из частотной области во временную, а объединение сигналов субполос, сформированных с использованием банка фильтров субполос, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот включает суммирование сигналов субполос, сформированных с использованием банка фильтров субполос.

7. Способ по п.1, в котором объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала включает:

повышение частоты дискретизации одного из по меньшей мере двух обработанных сигналов полос частот;

низкочастотную фильтрацию упомянутого одного из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации и

объединение упомянутого низкочастотного отфильтрованного одного из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации с другим из по меньшей мере двух обработанных сигналов полос частот для формирования обработанного звукового сигнала.

8. Способ по п.7, в котором повышение частоты дискретизации одного из по меньшей мере двух обработанных сигналов полос частот выполняют с коэффициентом 2.

9. Способ по п.7 или 8, в котором объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала также включает задержку другого из по меньшей мере двух обработанных сигналов полос частот так, чтобы синхронизировать низкочастотный отфильтрованный один из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации с другим из по меньшей мере двух обработанных сигналов полос частот.

10. Способ по п.1, также включающий, перед объединением по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала, обработку сигналов субполос, включающую регулировку уровня сигналов субполос.

11. Способ по п.4, также включающий конфигурирование фильтров, которые включают:

первый фильтр для высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот;

второй фильтр для низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала; и

третий фильтр для низкочастотной фильтрации первого из обработанных сигналов полос частот с повышенной частотой дискретизации.

12. Способ по п.11, в котором конфигурирование первого множества фильтров включает:

конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров посредством минимизации энергии полосы заграждения для первого и второго фильтров только с одним искажением.

13. Способ по п.12, в котором конфигурирование первого множества фильтров включает:

выполнение, для по меньшей мере одной итерации, операций конфигурирования по меньшей мере одного параметра фильтра для второго и третьего фильтров при сохранении параметров фильтра для первого фильтра постоянными и затем конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров при сохранении параметров фильтра для третьего фильтра постоянными.

14. Способ по любому из пп.1-5, также включающий:

обработку по меньшей мере двух сигналов полос частот перед формированием для каждого сигнала полосы частот множества сигналов субполос, при этом обработка по меньшей мере двух сигналов полос частот включает формирование диаграммы направленности звукового сигнала и/или адаптивную фильтрацию.

15. Устройство для обработки звукового сигнала, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом по меньшей мере одна память и компьютерный программный код сконфигурированы для того, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять по меньшей мере следующее:

фильтрацию звукового сигнала с разделением его на по меньшей мере два сигнала полос частот,

формирование для каждого сигнала полосы частот множества сигналов субполос, причем для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и для по меньшей мере одной другой полосы частот множество сигналов субполос формируют, используя банк фильтров субполос,

применение подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием преобразования из временной области в частотную,

применение подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием банка фильтров субполос,

объединение сигналов субполос, сформированных с использованием преобразования из временной области в частотную, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот,

объединение сигналов субполос, сформированных с использованием банка фильтров субполос, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот, и

объединение по меньшей мере двух обработанных звуковых сигналов полос частот, включая первый и второй обработанные звуковые сигналы полос частот, для формирования обработанного звукового сигнала.

16. Устройство по п.15, в котором преобразование из временной области в частотную включает одно из следующего:

быстрое преобразование Фурье,

дискретное преобразование Фурье и

дискретное косинусное преобразование.

17. Устройство по п.15, в котором банк фильтров субполос выполнен в виде косинусно-модулированного банка фильтров.

18. Устройство по п.15, в котором выполнение фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот включает выполнение устройством

высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот;

низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала и

понижения частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот.

19. Устройство по п.18, в котором выполнение понижения частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот также включает выполнение устройством понижения частоты дискретизации с коэффициентом 2.

20. Устройство по п.15, в котором выполнение объединения сигналов субполос, сформированных с использованием преобразования из временной области в частотную, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот включает выполнение устройством формирования первой из по меньшей мере двух обработанных полос частот с использованием преобразования из частотной области во временную, а выполнение устройством объединения сигналов субполос, сформированных с использованием банка фильтров субполос, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот включает суммирование сигналов субполос, сформированных с использованием банка фильтров субполос.

21. Устройство по п.15, в котором выполнение объединения по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала также включает выполнение устройством

повышения частоты дискретизации одного из обработанных по меньшей мере двух сигналов полос частот;

низкочастотной фильтрации одного из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации и

объединения упомянутого низкочастотного отфильтрованного одного из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации с другим из по меньшей мере двух обработанных сигналов полос частот для формирования обработанного звукового сигнала.

22. Устройство по п.21, в котором выполнение повышения частоты дискретизации одного из по меньшей мере двух обработанных сигналов полос частот включает выполнение устройством повышения частоты дискретизации с коэффициентом 2.

23. Устройство по п.21 или 22, в котором выполнение объединения по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала включает выполнение устройством задержки другого из по меньшей мере двух обработанных сигналов полос частот так, чтобы синхронизировать низкочастотный отфильтрованный один из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации с другим из по меньшей мере двух обработанных сигналов полос частот.

24. Устройство по п.15, в котором по меньшей мере один процессор заставляет устройство также выполнять по меньшей мере обработку сигналов субполос перед объединением по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала, при этом обработка сигналов субполос включает регулировку уровня сигналов субполос.

25. Устройство по п.18, в котором по меньшей мере один процессор заставляет устройство также выполнять по меньшей мере конфигурирование фильтров, которые включают:

первый фильтр для высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот;

второй фильтр для низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала и

третий фильтр для низкочастотной фильтрации упомянутого первого из обработанных сигналов полос частот с повышенной частотой дискретизации.

26. Устройство по п.25, в котором выполнение конфигурирования первого множества фильтров включает выполнение устройством

конфигурирования по меньшей мере одного параметра фильтра для первого и второго фильтров посредством минимизации энергии полосы заграждения для первого и второго фильтров только с одним искажением.

27. Устройство по п.26, в котором выполнение конфигурирования первого множества фильтров включает выполнение устройством,

для по меньшей мере одной итерации, операций конфигурирования по меньшей мере одного параметра фильтра для второго и третьего фильтров при сохранении параметров фильтра для первого фильтра постоянными и затем конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров при сохранении параметров фильтра для третьего фильтра постоянными.

28. Устройство по любому из пп.15-19, в котором по меньшей мере один процессор заставляет устройство также выполнять по меньшей мере следующее:

обработку по меньшей мере двух сигналов полос частот перед формированием для каждого сигнала полосы частот множества сигналов субполос, при этом обработка по меньшей мере двух сигналов полос частот включает формирование диаграммы направленности звукового сигнала и/или адаптивную фильтрацию.

29. Устройство для обработки звукового сигнала, содержащее:

средства фильтрации, сконфигурированные для фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот,

средства обработки для формирования, для каждого сигнала полосы частот, множества сигналов субполос; при этом для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и для по меньшей мере одной другой полосы частот множество сигналов субполос для одной другой полосы частот формируют, используя банк фильтров субполос,

средства обработки для применения подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием преобразования из временной области в частотную,

средства обработки для применения подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием банка фильтров субполос,

средства объединения для объединения сигналов субполос, сформированных с использованием преобразования из временной области в частотную, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот,

средства объединения для объединения сигналов субполос, сформированных с использованием банка фильтров субполос, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот, и

средства объединения для объединения по меньшей мере двух обработанных звуковых сигналов полос частот, включая первый и второй обработанные звуковые сигналы полос частот, для формирования обработанного звукового сигнала.

30. Устройство для обработки звукового сигнала, содержащее:

фильтр, сконфигурированный для фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот;

преобразователь из временной области в частотную, сконфигурированный для формирования множества сигналов субполос для по меньшей мере одного сигнала полосы частот,

банк фильтров субполос, сконфигурированный для формирования множества сигналов субполос для по меньшей мере одной другой полосы частот,

блок обработки для применения подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием преобразования из временной области в частотную, и для применения подавления шума и/или подавления эха к по меньшей мере одному сигналу субполосы, сформированному с использованием банка фильтров субполос,

объединитель для объединения сигналов субполос, сформированных с использованием преобразования из временной области в частотную, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования первого из по меньшей мере двух обработанных звуковых сигналов полос частот, и для объединения сигналов субполос, сформированных с использованием банка фильтров субполос, включая по меньшей мере один сигнал субполосы с подавленным шумом и/или подавленным эхом, для формирования второго из по меньшей мере двух обработанных звуковых сигналов полос частот, и

секцию фильтра синтеза для объединения по меньшей мере двух обработанных звуковых сигналов полос частот, включая первый и второй обработанные звуковые сигналы полос частот, для формирования обработанного звукового сигнала.

31. Машиночитаемый носитель, закодированный командами, которые при их исполнении компьютером выполняют способ по любому из пп.1-17.

Описание изобретения к патенту

Область техники

Изобретение относится к устройству для обработки звуковых сигналов и, в частности, к устройству для обработки звуковых сигналов в мобильных устройствах.

Предпосылки создания изобретения

Электронные устройства и, в частности, мобильные или портативные электронные устройства могут быть оснащены встроенным микрофонным устройством или подходящими входами для приема звукового сигнала от микрофона. Это делает возможным сбор и обработку соответствующих звуковых сигналов для их последующей обработки, кодирования, хранения или передачи в другие устройства. Например, телефоны сотовой связи могут иметь микрофонное устройство, сконфигурированное для формирования звукового сигнала в формате, подходящем для обработки и передачи через систему сотовой связи в другое устройство, а сигнал в упомянутом другом устройстве может затем декодироваться и передаваться в подходящее устройство для прослушивания, такое как головной телефон или громкоговоритель. Аналогично, некоторые мультимедийные устройства оснащены монофоническим или стереофоническим микрофонным устройством для захвата звуковых сигналов эпизодов для более позднего воспроизведения или передачи.

Электронное устройство может также содержать микрофонное устройство или входы для приема звуковых сигналов от одного или более микрофонов и может выполнять обработку перед кодированием для уменьшения шума. Например, аналоговый сигнал может быть преобразован в цифровой формат для дальнейшей обработки.

Эта предварительная обработка может требоваться при попытке записи звуковых сигналов полного спектрального диапазона от далекого источника звукового сигнала, когда полезные сигналы могут быть слабы по сравнению с фоновыми шумами или помехами. Некоторые шумы являются внешними для записывающего устройства и могут быть известны как стационарный акустический фоновый шум или шум окружающей среды.

Типичными источниками такого стационарного акустического фонового шума являются вентиляторы, такие как установки кондиционирования воздуха, вентиляторы проекторов, вентиляторы компьютеров или другие машины. Примерами шума машин являются шум бытовых машин, таких как стиральные машины и посудомоечные машины, шум транспортных средств, например шум уличного движения. Кроме того, источниками помех могут быть другие люди в ближайшем окружении, например гул от людей по соседству с записывающим устройством на концерте, или естественные шумы, такие как шум деревьев от ветра.

Другой вид мешающего шума может быть внутренним по отношению к системе. Схема подавления шума обычно работает в частотной области с использованием быстрого преобразования Фурье (Fast Fourier Transform, FFT) для получения достаточной разрешающей способности по частоте. Так как широкополосные сигналы имеют двойное число отсчетов по сравнению с узкополосными сигналами (обычно для речевых приложений мобильных устройств частота дискретизации 8 кГц определена для узкополосных сигналов, а частота дискретизации 16 кГц определена для широкополосных сигналов), длина FFT-преобразования должна быть удвоена. Это приблизительно удваивает объемы вычислений и памяти, необходимые для обработки широкополосных звуковых сигналов, но вследствие обработки с фиксированной точкой не может быть обеспечен тот же уровень точности FFT-преобразования, обеспечиваемый при обработке узкополосных сигналов.

Ограниченная точность звуковых сигналов производит также шум квантования. Шум квантования, если он существенен, становится слышимым и делает прослушивание сигнала неприятным и раздражающим. В речевых системах это имеет место, например, когда звуковые сигналы обрабатываются как широкополосные сигналы (другими словами, имеющие частоту дискретизации 16 кГц), но при этом имеют только узкополосный контент (другими словами, нет существенного контента выше 4 кГц). Эта ситуация в общем игнорировалась, поскольку предполагалось, что она будет встречаться нечасто, но реализованные системы показали, что такая ситуация может случаться весьма часто. Например, если телефон, осуществляющий широкополосное соединение, соединен со вспомогательным устройством Bluetooth, которое является узкополосным, то тогда только узкополосный контент переносится посредством широкополосного соединения. Кроме того, было замечено, что шум квантования может быть слышимым, даже когда обрабатываемые сигналы являются действительно широкополосными сигналами.

Хотя возможно использовать преобразование FFT с лучшим качеством для достижения частичного решения этой проблемы, было замечено, что невозможно решить проблему, используя лишь одно преобразование FFT, без использования существенного объема памяти и мощности обработки и, следовательно, без оказания существенного влияния на питание от батареи и стоимость для мобильных устройств.

В качестве основы обработки предлагалось использование двухканальных банков фильтров анализа-синтеза, которые делят широкополосный сигнал на два сигнала: низкочастотный и высокочастотный. Однако обычно используется децимация полос высоких и низких частот с компенсацией искажений, вызванных наложением спектров.

Обработка звуковых сигналов должна удовлетворять следующим критериям:

1. Качество звукового сигнала (звуковой сигнал не должен искажаться).

2. Память (банк фильтров не должен требовать больших объемов памяти для хранения конфигурации банка фильтров, другими словами, фильтр не должен требовать хранения большого числа значений).

3. Вычислительная сложность (банк фильтров не должен быть настолько сложным, чтобы требовать значительной производительности процессора и увеличивать потребление мощности от батареи для мобильного устройства или аналогичного устройства).

4. Задержка (не должно быть значительной задержки при обработке, поскольку она может влиять на связь).

Известные технологии обычно создают значительный шум квантования или при подходящей сложности вычислений и объеме памяти не могут обеспечить достаточное качество для широкополосной речи. Другие подходы, как известно, требуют, чтобы для низких частот были установлены очень узкие полосы в фильтрах. Чтобы получить достаточную разрешающую способность по частоте на низких частотах, потребовалось бы много фильтров, которые будут дорогими как в отношении памяти, так и в отношении вычислительной мощности. Другие подходы создают значительные задержки и имеют недостаточную разрешающую способность по частоте для сигналов полосы высоких частот.

Сущность изобретения

Изобретение основано на том, что может быть сконфигурирована улучшенная структура банка фильтров для обеспечения допустимой задержки, требований к памяти и вычислительной сложности, без ухудшения качества звукового сигнала. Кроме того, структура и устройство разработаны так, чтобы помимо подавления шума, другая обработка звукового сигнала могла использовать структуру банка фильтров, что позволит сохранить вычислительные ресурсы и память в системе обработки.

Согласно первому аспекту изобретения предлагается способ, включающий: фильтрацию звукового сигнала с разделением его на по меньшей мере два сигнала полос частот и формирование, для каждого сигнала полосы частот, множества сигналов субполос; при этом для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и по меньшей мере для одной другой полосы частот множество сигналов субполос формируют, используя банк фильтров субполос.

Преобразование из временной области в частотную может включать по меньшей мере одно из следующего: быстрое преобразование Фурье, дискретное преобразование Фурье и дискретное косинусное преобразование.

Банк фильтров субполос может быть выполнен в виде косинусно-модулированного банка фильтров.

Фильтрация звукового сигнала с разделением его на по меньшей мере два сигнала полос частот может включать высокочастотную фильтрацию звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот, низкочастотную фильтрацию звукового сигнала для получения низкочастотного отфильтрованного сигнала и понижение частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот.

Понижение частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот выполняют с коэффициентом 2.

Способ может далее включать обработку по меньшей мере одного сигнала субполосы по меньшей мере одной полосы частот; объединение сигналов субполос для формирования по меньшей мере двух обработанных звуковых сигналов полос частот и объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала.

Обработка по меньшей мере одного сигнала субполосы по меньшей мере одной полосы частот может включать применение подавления шума по меньшей мере к одному сигналу субполосы из по меньшей мере одного сигнала полосы частот.

Объединение сигналов субполос для формирования по меньшей мере двух обработанных сигналов полос частот может включать формирование первой из по меньшей мере двух обработанных полос частот из первого множества сигналов субполос с использованием преобразования из частотной области во временную и суммирование второго множества сигналов субполос для формирования второй из по меньшей мере двух обработанных полос частот.

Первое множество сигналов субполос предпочтительно ассоциировано с множеством сигналов субполос, формируемых с использованием преобразования из временной области в частотную, а второе множество сигналов субполос предпочтительно ассоциировано с множеством сигналов субполос, формируемых с использованием банка фильтров субполос.

Объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала также может включать повышение частоты дискретизации первого из по меньшей мере двух обработанных сигналов полос частот; низкочастотную фильтрацию упомянутого первого из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации; и объединение упомянутого низкочастотного отфильтрованного первого из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации со вторым из по меньшей мере двух обработанных сигналов полос частот для формирования обработанного звукового сигнала.

Повышение частоты дискретизации первого из по меньшей мере двух обработанных сигналов полос частот предпочтительно выполняют с коэффициентом 2.

Объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала также может включать задержку второго из по меньшей мере двух обработанных сигналов полос частот так, чтобы синхронизировать низкочастотный отфильтрованный первый из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации со вторым из по меньшей мере двух обработанных сигналов полос частот.

Способ может дополнительно включать обработку сигналов субполос перед объединением по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала, причем обработка сигналов субполос включает регулировку уровня сигналов субполос.

Способ также может включать, перед объединением по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала, обработку сигналов субполос, включающую регулировку уровня сигналов субполос.

Способ также может включать конфигурирование фильтров, которые предпочтительно включают: первый фильтр для высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот, второй фильтр для низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала и третий фильтр для низкочастотной фильтрации первого из обработанных сигналов полос частот с повышенной частотой дискретизации.

Конфигурирование первого множества фильтров может включать конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров посредством минимизации энергии полосы заграждения для первого и второго фильтров только с одним искажением.

Конфигурирование первого множества фильтров может включать выполнение, для по меньшей мере одной итерации, операций конфигурирования по меньшей мере одного параметра фильтра для второго и третьего фильтров при сохранении параметров фильтра для первого фильтра постоянными и затем конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров при сохранении параметров фильтра для третьего фильтра постоянными.

Способ также может включать обработку по меньшей мере двух полос сигналов частот перед формированием, для каждого сигнала полосы частот, множества сигналов субполос, при этом обработка по меньшей мере двух сигналов полос частот включает формирование диаграммы направленности звукового сигнала и/или адаптивную фильтрацию.

Согласно второму аспекту изобретения предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом по меньшей мере одна память и компьютерный программный код сконфигурированы для того, чтобы по меньшей мере с помощью одного процессора заставлять устройство выполнять по меньшей мере следующее: фильтрацию звукового сигнала с разделением его на по меньшей мере два сигнала полос частот и формирование, для каждого сигнала полосы частот, множества сигналов субполос, причем для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и для по меньшей мере одной другой полосы частот множество сигналов субполос формируют, используя банк фильтров субполос.

Преобразование из временной области в частотную включает по меньшей мере одно из следующего: быстрое преобразование Фурье, дискретное преобразование Фурье и дискретное косинусное преобразование.

Банк фильтров субполос выполнен в виде косинусно-модулированного банка фильтров.

Выполнение фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот также может включать выполнение устройством высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот; низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала и понижения частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот.

Выполнение понижения частоты дискретизации низкочастотного отфильтрованного звукового сигнала для формирования второго из по меньшей мере двух сигналов полос частот также включает выполнение устройством понижения частоты дискретизации с коэффициентом 2.

Упомянутый по меньшей мере один процессор заставляет устройство также выполнять по меньшей мере следующее: обработку по меньшей мере одного сигнала субполосы по меньшей мере одной полосы частот; объединение сигналов субполос для формирования по меньшей мере двух обработанных звуковых сигналов полос частот и объединение по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала.

Выполнение обработки по меньшей мере одного сигнала субполосы по меньшей мере одной полосы частот также включает выполнение устройством применения подавления шума к по меньшей мере одному сигналу субполосы из по меньшей мере одного сигнала полосы частот.

Выполнение объединения сигналов субполос для формирования по меньшей мере двух обработанных сигналов полос частот также включает выполнение устройством формирования, с использованием преобразования из частотной области во временную, первой из по меньшей мере двух обработанных полос частот из первого множества сигналов субполос; и суммирование второго множества сигналов субполос для формирования второй из по меньшей мере двух обработанных полос частот.

Упомянутое первое множество сигналов субполос предпочтительно ассоциировано с множеством сигналов субполос, формируемых с использованием преобразования из временной области в частотную, а второе множество сигналов субполос предпочтительно ассоциировано с множеством сигналов субполос, формируемых с использованием банка фильтров субполос.

Выполнение объединения по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала может также включать выполнение устройством повышения частоты дискретизации первого из обработанных по меньшей мере двух сигналов полос частот; низкочастотной фильтрации первого из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации; и объединения упомянутого низкочастотного отфильтрованного первого из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации со вторым из по меньшей мере двух обработанных сигналов полос частот для формирования обработанного звукового сигнала.

Выполнение повышения частоты дискретизации первого из по меньшей мере двух обработанных сигналов полос частот может также включать выполнение устройством повышения частоты дискретизации с коэффициентом 2.

Выполнение объединения по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала может также включать выполнение устройством задержки второго из по меньшей мере двух обработанных сигналов полос частот так, чтобы синхронизировать низкочастотный отфильтрованный первый из по меньшей мере двух обработанных сигналов полос частот с повышенной частотой дискретизации со вторым из по меньшей мере двух обработанных сигналов полос частот.

Упомянутый один процессор может заставлять устройство также выполнять по меньшей мере обработку сигналов субполос перед объединением по меньшей мере двух обработанных звуковых сигналов полос частот для формирования обработанного звукового сигнала, при этом обработка сигналов субполос включает регулировку уровня сигналов субполос.

Упомянутый по меньшей мере один процессор может заставлять устройство также выполнять по меньшей мере конфигурирование фильтров, которые могут включать: первый фильтр для высокочастотной фильтрации звукового сигнала для получения первого из по меньшей мере двух сигналов полос частот, второй фильтр для низкочастотной фильтрации звукового сигнала для получения низкочастотного отфильтрованного сигнала и третий фильтр для низкочастотной фильтрации упомянутого первого из обработанных сигналов полос частот с повышенной частотой дискретизации.

Выполнение конфигурирования первого множества фильтров может включать выполнение устройством конфигурирования по меньшей мере одного параметра фильтра для первого и второго фильтров посредством минимизации энергии полосы заграждения для первого и второго фильтров только с одним искажением.

Выполнение конфигурирования первого множества фильтров может включать выполнение устройством, для по меньшей мере одной итерации, операций конфигурирования по меньшей мере одного параметра фильтра для второго и третьего фильтров при сохранении параметров фильтра для первого фильтра постоянными и затем конфигурирование по меньшей мере одного параметра фильтра для первого и второго фильтров при сохранении параметров фильтра для третьего фильтра постоянными.

Упомянутый один процессор может заставлять устройство также выполнять по меньшей мере следующее: обработку по меньшей мере двух сигналов полос частот перед формированием, для каждого сигнала полосы частот, множества сигналов субполос, при этом обработка по меньшей мере двух сигналов полос частот может включать формирование диаграммы направленности звукового сигнала и/или адаптивную фильтрацию.

Согласно третьему аспекту изобретения предлагается устройство, содержащее: средства фильтрации, сконфигурированные для фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот, и средства обработки для формирования, для каждого сигнала полосы частот, множества сигналов субполос; при этом по меньшей мере для одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и для по меньшей мере одной другой полосы частот множество сигналов субполос для одной другой полосы частот формируют, используя банк фильтров субполос.

Согласно четвертому аспекту изобретения предлагается устройство, содержащее: фильтр, сконфигурированный для фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот; преобразователь из временной области в частотную, сконфигурированный для формирования множества сигналов субполос для по меньшей мере одного сигнала полосы частот; и банк фильтров субполос, сконфигурированный для формирования множества сигналов субполос для по меньшей мере одной другой полосы частот.

Согласно пятому аспекту изобретения предлагается машиночитаемый носитель, закодированный командами, которые при их исполнении компьютером выполняют фильтрацию звукового сигнала с разделением его на по меньшей мере два сигнала полос частот и формирование, для каждого сигнала полосы частот, множества сигналов субполос, при этом для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют, используя преобразование из временной области в частотную, и для по меньшей мере одной другой полосы частот множество сигналов субполос частот формируют, используя банк фильтров субполос.

Упомянутое устройство может содержать кодер.

Электронное устройство может содержать описанное выше устройство.

Набор микросхем (чипсет) может содержать описанное выше устройство.

Формы осуществления данного изобретения предназначены для решения упомянутой выше проблемы.

Краткое описание чертежей

Для лучшего понимания данного изобретения ниже будут сделаны ссылки на прилагаемые чертежи.

На фиг.1 схематично показано электронное устройство, в котором используются формы осуществления изобретения.

На фиг.2 схематично показана система улучшения звукового сигнала, в которой используются некоторые формы осуществления данного изобретения.

На фиг.3 схематично показан цифровой процессор улучшения звукового сигнала согласно некоторым формам осуществления изобретения.

На фиг.4 показана блок-схема, иллюстрирующая работу системы улучшения звукового сигнала, проиллюстрированной на фиг.2 и 3.

На фиг.5 показана блок-схема, иллюстрирующая определение параметров фильтра цифрового процессора улучшения звукового сигнала согласно некоторым формам осуществления изобретения.

На фиг.6 схематично показаны типовые частотные характеристики, иллюстрирующие характеристики фильтра цифрового процессора улучшения звукового сигнала согласно некоторым формам осуществления изобретения.

На фиг.7 схематично показаны типовые частотные характеристики, иллюстрирующие характеристики банка фильтров субполос согласно некоторым формам осуществления изобретения.

На фиг.8 схематично показана типовая частотная характеристика, иллюстрирующая амплитудную характеристику опытного образца субполосного фильтра согласно некоторым формам осуществления изобретения.

Подробное описание изобретения

Ниже описывается устройство и способы реализации процессоров улучшения звукового сигнала, подходящих для использования алгоритмов улучшения звукового сигнала. На фиг.1 показана структурная схема примера электронного устройства 10 или устройства, которое использует алгоритмы улучшения звукового сигнала согласно некоторым формам осуществления заявки.

Электронное устройство 10 в некоторых формах осуществления изобретения является подвижным терминалом, мобильным телефоном или оборудованием пользователя для работы в системе беспроводной связи.

Электронное устройство 10 содержит микрофон 11, который связан через аналого-цифровой преобразователь 14 с процессором 21. Процессор 21 также связан через цифро-аналоговый преобразователь 32 с громкоговорителями 33. Процессор 21 также связан с приемопередатчиком (TX/RX) 13, с интерфейсом 15 пользователя (User Interface, UI) и с памятью 22.

Процессор 21 может быть сконфигурирован для выполнения различных программных кодов 23. Реализуемые программные коды 23 в некоторых формах осуществления включают код цифровой обработки или конфигурации захвата звуковых сигналов. Кроме того, реализуемые программные коды 23 в некоторых формах осуществления изобретения включают дополнительный код для дальнейшей обработки звукового сигнала. Реализуемые программные коды 23 в некоторых формах осуществления изобретения могут храниться, например, в памяти 22 для извлечения процессором 21, когда это необходимо. Память 22 в некоторых формах осуществления изобретения может также содержать секцию 24 для хранения данных, например данных, которые были обработаны в соответствии с настоящим изобретением.

Устройство, способное выполнять алгоритмы улучшения звукового сигнала, в некоторых формах осуществления изобретения может быть реализовано, по меньшей мере частично, в виде аппаратного обеспечения без необходимости использования программного обеспечения или встроенного программного обеспечения.

Интерфейс 15 пользователя в некоторых формах осуществления изобретения позволяет пользователю вводить команды в электронное устройство 10, например, посредством клавиатуры и/или получать информацию от электронного устройства 10, например, посредством дисплея. Приемопередатчик 13 обеспечивает возможность связи с другими электронными устройствами, например, через сеть беспроводной связи.

Должно быть понятно, что структура электронного устройства 10 может быть дополнена и изменена различными способами.

Пользователь электронного устройства 10 может использовать микрофон 11 для ввода речи, которая должна быть передана в другое электронное устройство или должна быть сохранена в секции 24 данных памяти 22. Для этого в некоторых формах осуществления изобретения пользователем может быть активировано через интерфейс 15 пользователя соответствующее приложение. Это приложение, которое в некоторых формах осуществления изобретения может выполняться процессором 21, заставляет процессор 21 выполнять код, хранимый в памяти 22.

В некоторых формах осуществления изобретения аналого-цифровой преобразователь 14 может быть сконфигурирован для преобразования входного аналогового звукового сигнала в цифровой звуковой сигнал и подачи этого цифрового звукового сигнала в процессор 21.

Процессор 21 может обрабатывать цифровой звуковой сигнал таким же образом, как описано со ссылкой на фиг.2 и 3.

В некоторых формах осуществления изобретения полученный в результате битовый поток может подаваться в приемопередатчик 13 для передачи в другое электронное устройство. Альтернативно, кодированные данные могут сохраняться в секции 24 данных памяти 22, например, для более поздней передачи или для более позднего представления этим электронным устройством 10.

В некоторых формах осуществления изобретения электронное устройство 10 также может принимать битовый поток с данными звукового сигнала от другого электронного устройства посредством приемопередатчика 13. В этих формах осуществления изобретения процессор 21 выполняет программный код обработки, хранящийся в памяти 22. В этих формах осуществления изобретения процессор 21 может обрабатывать принимаемые данные и подавать декодированные данные в цифро-аналоговый преобразователь 32. В некоторых формах осуществления изобретения цифро-аналоговый преобразователь 32 может преобразовывать цифровые данные в аналоговые данные звукового сигнала и выводить данные звукового сигнала через громкоговорители 33. Исполнение принимаемого программного кода обработки звукового сигнала в некоторых формах осуществления изобретения также может инициироваться приложением, которое было вызвано пользователем через интерфейс 15 пользователя.

В некоторых формах осуществления изобретения принимаемый сигнал может обрабатываться для удаления шума из записываемого звукового сигнала аналогично обработке звукового сигнала, принимаемого от микрофона 11 и аналого-цифрового преобразователя 14, описанной со ссылками на фиг.2 и 3.

Принимаемые обрабатываемые данные звукового сигнала в некоторых формах осуществления изобретения вместо немедленного воспроизведения через громкоговорители 33 также могут сохраняться в секции 24 данных памяти 22, например, для того, чтобы сделать возможным более позднее их воспроизведение или пересылку в другое электронное устройство.

Должно быть ясно, что структурные схемы, приведенные на фиг.2 и 3, и шаги способа на фиг.4 и 5 представляют только часть работы всей системы, включающей некоторые формы осуществления изобретения, представленные как реализованные в электронном устройстве, показанном на фиг.1.

На фиг.2 показана схематическая конфигурация устройства улучшения звукового сигнала для речи, содержащего микрофон 11, аналого-цифровой преобразователь 14, цифровой процессор 101 звукового сигнала, цифровой контроллер 105 звукового сигнала и цифровой кодер 103 звукового сигнала. В некоторых формах осуществления изобретения устройство улучшения звукового сигнала может содержать некоторые, но не все из указанных частей. Например, в некоторых формах осуществления изобретения упомянутое устройство может содержать только цифровой процессор 101 звукового сигнала, в котором цифровой сигнал от внешнего источника вводится в цифровой процессор 101 звукового сигнала с предварительно конфигурируемой структурой и параметрами фильтра, и цифровой процессор 101 звукового сигнала далее выводит обработанный звуковой сигнал во внешний кодер. В других формах осуществления изобретения цифровой процессор 101 звукового сигнала может быть "основным" элементом устройства улучшения звукового сигнала, при этом другие части могут быть добавлены или удалены в зависимости от применения.

При описании элементов, аналогичных показанным на фиг.1, используются одинаковые обозначения. Микрофон 11 принимает звуковые волны и преобразует их в аналоговые электрические сигналы. Микрофон 11 может быть любым подходящим акустоэлектрическим преобразователем. Примерами возможных микрофонов могут быть конденсаторные микрофоны, электрические микрофоны, динамические микрофоны, угольные микрофоны, пьезоэлектрические микрофоны, волоконно-оптические микрофоны, жидкостные микрофоны и микрофоны микроэлектромеханической системы (Micro-Electrical-Mechanical System, MEMS).

Захват аналогового звукового сигнала из акустических звуковых волн показан на фиг.4 на шаге 301.

Электрический сигнал может передаваться в аналого-цифровой преобразователь 14 (Analogue to Digital Converter, ADC).

Аналого-цифровым преобразователем 14 может быть любой подходящий аналого-цифровой преобразователь для преобразования аналоговых электрических сигналов, поступающих от микрофона, и выдачи на выходе цифрового сигнала. Аналого-цифровой преобразователь может выдавать на выходе цифровой сигнал в любой подходящей форме. Кроме того, аналого-цифровой преобразователь 14 может быть линейным или нелинейным аналого-цифровым преобразователем в зависимости от формы осуществления изобретения. Например, аналого-цифровой преобразователь в некоторых формах осуществления изобретения может быть аналого-цифровым преобразователем с логарифмической характеристикой. Цифровой выходной сигнал может подаваться в цифровой процессор 101 звукового сигнала.

Преобразование аналогового звукового сигнала в цифровой сигнал показано на фиг.4 на шаге 303.

Цифровой процессор 101 звукового сигнала может быть сконфигурирован для обработки цифрового сигнала для улучшения отношения сигнал/шум и коэффициента шума источника звукового сигнала по отношению к шуму и помехам от различных источников шума или помех.

Процессор 101 цифрового звукового сигнала в некоторых формах осуществления изобретения может объединять обработку на основе FFT-преобразования с обработкой на основе банка фильтров. В этих формах осуществления изобретения цифровой звуковой сигнал сначала разбивается на два канала или две полосы частот, так что образуется первый децимируемый сигнал полосы низких частот и второй недецимируемый сигнал полосы высоких частот. Кроме того, в этих формах осуществления изобретения обработка на основе FFT-преобразования используется только для сигнала полосы низких частот, другими словами, для более низкочастотных составляющих звукового/речевого сигнала, где необходимо высокое разрешение по частоте. В этих формах осуществления изобретения полоса высоких частот далее разделяется на субполосы с использованием банка фильтров без децимации. В некоторых формах осуществления изобретения разделение на полосы и субполосы является неоднородным и обусловлено принципами психоакустики. Другими словами, в некоторых формах осуществления изобретения разделение между полосами высоких и низких частот и, кроме того, разделение частотных составляющих каждой из полос высоких и низких частот могут быть определены с использованием принципов психоакустики.

Формирование двух каналов/полос частот из цифрового звукового сигнала и повторное объединение обработанных двух каналов в один обработанный цифровой звуковой сигнал может выполняться в некоторых формах осуществления изобретения посредством разработанной структуры банка фильтров синтеза-анализа, в которой фильтры банка фильтров являются биортогональными, и весь банк фильтров создает малую задержку. В таких формах осуществления изобретения для полосы высоких частот не требуется фильтр синтеза, потому что эти канал или полоса частот не децимируются. Кроме того, так как в этих формах осуществления изобретения имеется задержка только в полосе низких частот из-за фильтра синтеза канала/полосы низких частот, эта "задержка" может использоваться при разделении на субполосы полосы высоких частот без добавления дополнительной задержки для всей структуры.

Кроме того, так как в этих формах осуществления изобретения полоса/канал высоких частот не децимируется, банк фильтров субполос, который далее разделяет полосу высоких частот на субполосные составляющие, требует только относительно малых уровней ослабления в полосе заграждения. В некоторых формах осуществления изобретения это дает в результате эффективную структуру с малой задержкой и с небольшой вычислительной сложностью.

Как показано ниже, в некоторых формах осуществления изобретения полная структура может иметь задержку 5 мс, удовлетворяющую минимальным требованиям к подавлению шума, используемому с адаптивным многоскоростным (Adaptive Multi-Rate, AMR) кодеком, предназначенным для обработки речи. Кроме того, хотя требование 5 мс определено только для узкополосной обработки, в данном изобретении его рассматривают в качестве хорошей рекомендации для широкополосной обработки.

Схематическое представление структуры процессора цифрового звукового сигнала в некоторых формах осуществления изобретения показано более подробно на фиг.3.

Процессор 101 цифрового звукового сигнала может содержать секцию 281 фильтра анализа, которая принимает цифровые звуковые сигналы и делит их на полосы частот; первый блок 211 обработки, который принимает полосы и выполняет предварительную обработку составляющих полосы частот; секцию 285 формирователя субполос, которая принимает обработанные полосы частот и далее разделяет сигналы на субполосы; второй блок 231 обработки, который принимает субполосные составляющие и выполняет дальнейшую обработку; секцию 287 объединителя субполос, которая принимает обработанные субполосные составляющие и объединяет их обратно в составляющие полосы частот; третий блок 251 обработки, который принимает полосы частот и выполняет постобработку для составляющих полосы частот, и секцию 283 фильтра синтеза, которая повторно объединяет постобработанные составляющие полосы частот для выдачи на выходе обработанного звукового сигнала.

Секция 281 фильтра анализа в некоторых формах осуществления изобретения принимает цифровой сигнал от аналого-цифрового преобразователя 14 и, как показано на фиг.3, разделяет цифровой сигнал на две полосы частот или два канала. Этими двумя полосами частот или каналами, показанными на фиг.3, являются первая полоса или канал 291 (низких частот) и вторая полоса или канал 293 (высоких частот). В некоторых формах осуществления изобретения канал низких частот может быть до 4 кГц (с частотой дискретизации 8 кГц) и может представлять частотные составляющие узкополосных сигналов, а канал 293 высоких частот может быть от 4 кГц до 8 кГц (с частотой дискретизации 16 кГц) и представлять дополнительные широкополосные сигналы.

Секция 281 фильтра анализа может в некоторых формах осуществления изобретения формировать полосы частот, как указано выше. Секция 281 фильтра анализа может в некоторых формах осуществления изобретения включать первый фильтр Н₀ 201 анализа, сконфигурированный для приема цифрового сигнала и выдачи на выходе отфильтрованного сигнала в устройство 203 понижения частоты дискретизации. Конфигурация и конструкция первого фильтра анализа Н₀ 201 будут подробно рассмотрены, но в некоторых формах осуществления изобретения этот фильтр может рассматриваться как фильтр нижних частот с заданной пороговой частотой полосы низких частот/полосы высоких частот.

Устройство 203 понижения частоты дискретизации может быть любым подходящим устройством понижения частоты дискретизации. В некоторых формах осуществления изобретения устройство 203 понижения дискретизации является устройством целочисленного понижения дискретизации со значением 2. Устройство 203 понижения дискретизации может затем выдавать выходной сигнал с пониженной частотой дискретизации в первый блок 211 обработки. Другими словами, в некоторых формах осуществления изобретения устройство 203 понижения частоты дискретизации выбирает и выдает на выходе каждый второй отсчет из отфильтрованных входных отсчетов для "понижения" частоты дискретизации до 8 кГц (или до частоты дискретизации для узкополосных сигналов) и выдачи на выходе этого отфильтрованного сигнала с пониженной частотой дискретизации в первый блок 211 обработки.

В некоторых формах осуществления изобретения первый фильтр Н ₀ 201 анализа и устройство 203 понижения частоты дискретизации в комбинации могут рассматриваться как дециматор для уменьшения частоты дискретизации с 16 до 8 кГц.

Секция 281 фильтра анализа в некоторых формах осуществления изобретения может также включать второй фильтр H₁ 205 анализа, который принимает цифровой сигнал и выдает на выходе отфильтрованный сигнал в первый блок 211 обработки. Конфигурация и конструкция второго фильтра H₁ 205 анализа также будут подробно рассмотрена ниже, но в некоторых формах осуществления изобретения он может рассматриваться как фильтр верхних частот с заданной пороговой частотой полосы низких частот/полосы высоких частот.

Разделение сигнала на полосы частот/каналы с использованием фильтров анализа и устройств понижения частоты дискретизации показано на фиг.4 на шаге 305.

Первый блок 211 обработки может принимать канал 293 высоких частот и канал 291 низких частот и в некоторых формах осуществления изобретения может выполнять формирование диаграммы направленности и/или адаптивную фильтрацию этих сигналов. Первый блок обработки может применять любое подходящее формирование диаграммы направленности и/или адаптивную фильтрацию для выполнения приложений, таких как управление акустическим эхо (Acoustic Echo Control, АЕС) и обработка сигналов от множества микрофонов для составляющих сигнала из каждого частотного канала. В некоторых формах осуществления изобретения можно уменьшить длину адаптивного фильтра, используемого для адаптивной фильтрации, для канала 291 низких частот, потому что низкочастотная фильтрация, за которой следует понижение частоты дискретизации звукового сигнала, позволяет вдвое уменьшить длину адаптивного фильтра. Следовательно, это может улучшить процесс фильтрации, так как известно, что в приложениях такого типа более короткие адаптивные фильтры выполняют обработку лучше, чем более длинные. Кроме того, так как направленность не может использоваться на верхних частотах, то управление акустическим эхо (АЕС) и приложения обработки сигналов от множества микрофонов, выполняемые первым блоком обработки, могут быть реализованы так, чтобы формирование диаграммы направленности и адаптивная фильтрация для этих приложений могли выполняться только для сигналов полосы или канала низких частот. В этих формах осуществления изобретения сигналы полосы/канала высоких частот могут осуществлять управление акустическим эхо (АЕС) и обработку сигналов от множества микрофонов с использованием обработки субполос в частотной области во втором блоке 231 обработки, потому что полоса частот, где обработка сигналов от множества микрофонов или массива микрофонов наиболее эффективна, зависит от расстояний между микрофонами. Наиболее часто расстояния в мобильных устройствах таковы, что целесообразно обрабатывать только нижние частоты. Кроме того, поскольку, как правило, слух человека имеет логарифмическую интерпретацию частоты, лучшая разрешающая способность по частоте и более высокая точность обработки могут использоваться для получения лучших результатов для нижних частот.

Первый процессор 211 в некоторых формах осуществления изобретения может выполнять обработку во временной области составляющих полосы/канала низких частот. Например, первый процессор может использовать обработку во временной области для обнаружения речевой активности (Voice Activity Detection, VAD) и, в частности, для выделения особенностей сигнала во временной области. Обнаружение VAD можно рассматривать как получение информации регулирования общего или высокого уровня; большинство алгоритмов обработки речи/голоса могут предоставлять преимущества из знания информации, является ли данный сигнал речью или чем-то другим. Например, наиболее типичный детектор VAD используется приложениями подавления шума (Noise Suppressor, NS) для указания на то, когда могут оцениваться характеристики шума (когда нет речи). Первый процессор 211 может выполнять обработку во временной области сигналов полосы/канала низких частот, так как речевые сигналы обычно несут большую часть информации и энергии в полосе низких частот.

Предварительная обработка первым блоком обработки по меньшей мере одной из полос/каналов частот, например применение формирования диаграммы направленности и/или адаптивной фильтрации, показана на фиг.4 на шаге 307.

Формирователь 285 субполос может принимать выходной сигнал первого блока обработки. Другими словами, формирователь субполос может в некоторых формах осуществления изобретения принимать обработанные полосу/канал высоких частот в банке 223 фильтров и принимать обработанные полосу/канал низких частот в устройстве быстрого преобразования Фурье (Fast Fourier Transformer, FFT).

Устройство 221 быстрого преобразования Фурье принимает обработанные сигналы полосы/канала низких частот, другими словами, сигнал во временной области с полосой, ограниченной до узкополосной частоты дискретизации, и выполняет быстрое преобразование Фурье для создания представления в частотной области обработанного звукового сигнала с ограниченной полосой. В одном из примеров осуществления изобретения сигнал полосы/канала низких частот может быть дискретизирован как кадр, содержащий 80 отсчетов, другими словами, 10 мс интервал, дискретизированный с частотой 8 кГц. В некоторых других формах осуществления изобретения сигнал полосы/канала низких частот может быть дискретизирован как кадр с длиной кадра 160 отсчетов или 20 мс.

В некоторых формах осуществления изобретения кадр обрабатывается оконной функцией, другими словами, умножается на оконную функцию. Поскольку оконная функция частично перекрывается между кадрами, перекрывающиеся отсчеты сохраняют в памяти для следующего кадра. В этих формах осуществления изобретения устройство быстрого преобразования Фурье может объединять эти 80 отсчетов для данного кадра с 16 отсчетами, хранящимися от предыдущего кадра, получая в результате всего 96 отсчетов. В таких формах осуществления изобретения последние 16 отсчетов для этого кадра могут сохраняться для вычисления частотных коэффициентов следующего кадра. В этих формах осуществления изобретения устройство FFT может брать 96 отсчетов и умножать эти отсчеты на окно, содержащее 96 значений отсчетов, 8 первых значений окна формируют нарастающую полосу окна, а 8 последних значений формируют убывающую полосу окна. Оконная функция I может быть любой подходящей функцией, но в некоторых формах осуществления изобретения может быть определена следующим образом:

I(n)=(n+1)/9; n=0, , 7;

I(n)=1; n=8, , 87;

I(n)=(96-n)/9; n=88, , 95.

Поскольку в некоторых формах осуществления изобретения значения оконной функции l(n) для средних 80 отсчетов (n=8 , 87) равны 1, и соответственно умножение на эту функцию не изменяет значения отсчетов звукового сигнала, умножение может быть опущено. Другими словами, в этих формах осуществления изобретения должны умножаться только первые 8 отсчетов и последние 8 отсчетов в окне.

Кроме того, так как длина преобразования FFT должна быть степенью двойки, устройство FFT 221 может добавлять 32 нуля (0) после 96 отсчетов, полученных от блока 211, образуя в результате кадр речи, содержащий 128 отсчетов.

Отсчеты х(0), х(1), , х(n); n=127 (или упомянутые 128 отсчетов) в кадре преобразуются устройством FFT 221 в частотную область, используя вещественное быстрое преобразование Фурье (Fast Fourier Transform, FFT), давая отсчеты в частотной области Х(0), Х(1), , X(f); f=64 (в более общем случае, f=(n+1)/2), в которой каждый отсчет содержит вещественную составляющую X_r (f) и мнимую составляющую X_i (f):

X(f)=X_r(f)+jX_i(f), f=0, , 64.

Устройство FFT 221 в некоторых формах осуществления изобретения может возводить в квадрат амплитуды и складывать мнимые и вещественные части в пары для формирования спектра мощности речевого кадра.

Устройство FFT может затем выдавать на выходе представление частотных составляющих сигналов во второй блок 231 обработки.

Банк 223 фильтров принимает сигналы полосы/канала высоких частот и формирует ряд сигналов с разрешающей способностью по частоте, достаточной для подавления шума и других приложений во втором блоке обработки. Банк 223 фильтров в некоторых формах осуществления изобретения может быть реализован и/или спроектирован для работы под управлением цифрового контроллера 105 звукового сигнала. В некоторых формах осуществления изобретения цифровой контроллер 105 звукового сигнала может конфигурировать банк 223 фильтров как косинусно-модулированный банк фильтров. Эта структура может быть выбрана для упрощения процесса повторного объединения сигналов.

В некоторых формах осуществления изобретения цифровой контроллер 105 звукового сигнала может реализовать банк 223 фильтров как М-полосный фильтр с критерием, который минимизирует среднеквадратичную величину ошибки между фильтром и идеальным фильтром. Другими словами, субполосные фильтры могут быть выбраны так, чтобы минимизировать следующее уравнение:

,

где ( ) представляет весовую величину, H_d( ) относится к идеальному фильтру, относится к сетке или диапазону частот и - M-полосный фильтр. Банк 223 фильтров может быть в некоторых формах осуществления изобретения симметричным относительно среднего отвода l, так что и h_l±kM=0. Цифровой контроллер 105 звукового сигнала может в некоторых формах осуществления изобретения выбирать подходящее значение M в зависимости от числа и ширины субполос косинусно-модулированного банка фильтров. Цифровой контроллер 105 звукового сигнала в некоторых формах осуществления изобретения может объединять субполосы, формируемые банком фильтров, когда входной сигнал имеет "значимый" контент только на определенных частотах. Цифровой контроллер 105 звукового сигнала может осуществлять эту конфигурацию в этих формах осуществления изобретения, объединяя соседние субполосы посредством сложения соответствующих коэффициентов фильтров банка фильтров.

На фиг.7 показан пример частотной характеристики банка 223 фильтров. Выполняется свертка всех фильтров с H₁(z), при этом четыре самые низкие и две самые высокие полосы объединяются путем сложения соответствующих коэффициентов банка фильтров. Выходной сигнал банка фильтров для этих четырех субполос обозначен первой областью 701 субполосы приблизительно от 3,4 до 4 кГц, второй областью 703 субполосы приблизительно от 4 до 5,1 кГц, третьей областью 705 субполосы приблизительно от 5,1 до 6,3 кГц и четвертой областью 707 субполосы приблизительно от 6,3 до 8 кГц. В некоторых формах осуществления изобретения цифровой контроллер звукового сигнала может создавать фильтры банка фильтров с умеренным затуханием в полосе заграждения фильтров банка фильтров, поскольку нет децимации или интерполяции, и поэтому не нужно предотвращать наложение спектров.

Кроме того, на фиг.7 показана амплитудная характеристика для опытного образца М-полосного фильтра (в этот примере М=14), используемого в качестве отправной точки для описанных выше фильтров банка фильтров.

Следует понимать, что хотя банк фильтров имеет относительно малую задержку для банка фильтров, он все еще создает задержку. Однако эта задержка банка фильтров является незначительной и не может определять полную задержку системы, потому что обычно большей является задержка, создаваемая из-за устройства FFT 221. Таким образом, в некоторых формах осуществления изобретения в секции фильтра синтеза может быть необходим фильтр z^-D 265 дополнительной задержки, чтобы компенсировать задержку устройства FFT 221.

Разделение полос на субполосы показано на шаге 309 на фиг.4.

Результат разделения на субполосы подается во второй блок 231 обработки.

Второй блок 231 обработки сконфигурирован для обработки сигналов субполос так, чтобы выполнять подавление шума и ослабление остаточного эха. Второй блок обработки может в некоторых формах осуществления изобретения вычислять мощности сигналов в каждой субполосе для сигналов полосы высоких частот и использовать их с составляющими спектральной плотности мощности для каждой субполосы полосы низких частот.

Второй блок 231 обработки в некоторых формах осуществления изобретения может быть сконфигурирован для выполнения подавления шума с использованием любых подходящих технологий подавления шума, например, описанных в патенте US 5839101 или заявке US 2007/078645.

В некоторых формах осуществления изобретения второй блок 231 обработки может применять любую подходящую обработку подавления остаточного эха к субполосным составляющим от устройства FFT 221 и банка 223 фильтров.

Применение второго блока 231 обработки по меньшей мере к одной субполосе для подавления шума и/или подавления эха показано на фиг.4 на шаге 311.

Объединитель 287 субполос содержит устройство 241 обратного быстрого преобразования Фурье и секцию 243 суммирования.

Устройство обратного быстрого преобразования Фурье (IFFT) принимает обработанные субполосы полосы низких частот и применяет обратное быстрое преобразование Фурье для формирования представления полосы низких частот во временной области. Обратное быстрое преобразование Фурье может быть любым подходящим обратным быстрым преобразованием Фурье. Устройство IFFT 241 выдает на выходе информацию сигнала полосы низких частот в третий блок 251 обработки.

Секция 243 суммирования принимает обработанные субполосы полосы высоких частот и складывает составляющие вместе для формирования сигнала полосы/канала высоких частот. Секция суммирования выдает на выходе информацию сигнала полосы высоких частот в третий блок 251 обработки.

Повторное объединение обработанных субполос для формирования обработанных полос показано на фиг.4 на шаге 313.

Третий блок обработки принимает информацию полосы/канала низких частот от устройства IFFT 241 и информацию полосы/канала высоких частот от секции 243 суммирования, а также выполняет постобработку сигналов. Третий блок 251 обработки в некоторых формах осуществления изобретения выполняет регулирование уровня сигнала. Реализация регулирования уровня сигнала в некоторых формах осуществления изобретения сначала выполняется при суммировании или объединении сигналов, потом в случае переполнения, если используется представление с фиксированной точкой. В этих формах осуществления изобретения это состояние переполнения может быть оценено, и уровни сигналов соответственно могут быть уменьшены третьим блоком обработки. Кроме того, в этих формах осуществления изобретения уровни сигналов могут изменяться, например, в зависимости от микрофона и расстояния от говорящего, и могут регулироваться третьим блоком 251 обработки таким образом, чтобы слушающий всегда имел оптимальный и стабильный уровень громкости.

Выходной сигнал третьего блока 251 обработки подается в секцию 283 фильтра синтеза.

Применение третьего блока 251 обработки показано на фиг.4 на шаге 315.

Секция 283 фильтра синтеза в некоторых формах осуществления изобретения принимает обработанный цифровой звуковой сигнал, разделенный на полосы частот, фильтрует и объединяет полосы формирования одного обработанного цифрового звукового сигнала.

Как показано на фиг.3, секция 283 фильтра синтеза в некоторых формах осуществления изобретения содержит устройство 261 повышения частоты дискретизации, сконфигурированное для приема сигнала полосы/канала низких частот, выдаваемого на выходе блока обработки, и выдает на выходе версию сигнала с повышенной частотой дискретизации, подходящую для объединения с сигналами полосы/канала высоких частот. В некоторых формах осуществления изобретения устройство 261 повышения частоты дискретизации является устройством целочисленного повышения частоты дискретизации со значением 2. Другими словами, устройство 261 повышения частоты дискретизации добавляет новый отсчет между каждой парой отсчетов, чтобы "повысить" частоту дискретизации с 8 до 16 кГц. Устройство 261 повышения частоты дискретизации может затем выдавать на выходе сигнал с повышенной частотой дискретизации в первый фильтр F₀ 263 синтеза.

Первый фильтр F₀ 263 синтеза принимает сигнал с повышенной частотой дискретизации от устройства 261 повышения частоты дискретизации и подает отфильтрованный сигнал на первый вход объединителя 267. Конфигурация и конструкция первого фильтра F₀ 263 синтеза также будет подробно рассмотрена ниже, но в некоторых формах осуществления изобретения он может рассматриваться как фильтр нижних частот с определенной пороговой частотой на границе полосы низких частот/полосы высоких частот.

В некоторых формах осуществления изобретения первый фильтр F₀ 263 синтеза и устройство 261 повышения частоты дискретизации в комбинации можно рассматривать как интерполятор для повышения частоты дискретизации с 8 до 16 кГц.

Второй фильтр F₁ 265 синтеза (который в некоторых формах осуществления изобретения может быть фильтром чистой задержки, обозначаемым z^-D) сконфигурирован для приема выходного сигнала полосы высоких частот от третьего блока 251 обработки и выдачи на выходе отфильтрованного сигнала на второй вход объединителя 267. Конфигурация и конструкция второго фильтра F₁ 265 синтеза будут подробно рассмотрена ниже, но в некоторых формах осуществления изобретения его можно считать фильтром чистой задержки с заданной задержкой, достаточной для синхронизации с выходным сигналом первого фильтра F₀ 263 синтеза.

Объединитель 267 принимает отфильтрованные обработанные сигналы полосы высоких частот и отфильтрованные обработанные сигналы полосы низких частот и выдает на выходе объединенный сигнал. В некоторых формах осуществления изобретения этот выходной сигнал подается на кодер 103 цифрового звукового сигнала для дальнейшего кодирования перед сохранением или передачей.

Операция объединения обработанных полос частот показана на фиг.4 на шаге 317.

Кодер 103 цифрового звукового сигнала может далее кодировать обработанный цифровой звуковой сигнал согласно любому подходящему процессу кодирования. Например, кодер 103 цифрового звукового сигнала может применять любой подходящий процесс кодирования с потерями или без потерь, например, семейства стандартов кодирования G722 или G729 комиссии по стандартизации Международного союза электросвязи (International Telecommunications Union Technical board, ITU-T). В некоторых формах осуществления изобретения кодер 103 цифрового звукового сигнала является необязательным и может не применяться.

Операция дальнейшего кодирования звукового сигнала показана на фиг.4 на шаге 319.

Цифровой контроллер 105 звукового сигнала согласно формам осуществления изобретения может быть сконфигурирован так, чтобы выбирать параметры для реализации фильтров H₀ , H_i, F₀ и F₁. В звуковых сигналах вообще могут быть очень сильные составляющие на самых низких частотах. Эти составляющие могут зеркально отображаться на частоты полосы высоких частот во время любого процесса интерполяции. Другими словами, фильтры интерполяции (фильтры синтеза) F ₀ и F₁ могут быть сконфигурированы контроллером цифрового звукового сигнала так, чтобы иметь один или более нулей, которые соответствуют самым сильным зеркальным частотам, и ослаблять эти зеркальные составляющие. Конфигурирование фильтров цифровым контроллером звукового сигнала может осуществляться перед описанной выше обработкой звукового сигнала и может выполняться один или более раз в зависимости от форм осуществления изобретения.

Например, цифровой контроллер 105 звукового сигнала в некоторых формах осуществления изобретения может быть отдельным устройством для процессора цифрового звукового сигнала и во время заводской инициализации и испытаний цифровой контроллер 105 звукового сигнала может конфигурировать параметры процессора цифрового звукового сигнала перед удалением из устройства. В других формах осуществления изобретения цифровой контроллер звукового сигнала способен реконфигурировать процессор цифрового звукового сигнала так часто, как требуется устройству или пользователю. Например, если устройство первоначально сконфигурировано для сбора данных высококачественного воспроизведения речи в среде с низким уровнем шума, контроллер может использоваться для реконфигурации устройства и процессора цифрового звукового сигнала для захвата речевого звукового сигнала в среде с высоким уровнем шума и сильными эхосигналами.

Конфигурирование или установка фильтров цифровым контроллером 105 звукового сигнала показана на фиг.5, где определяются параметры реализации для фильтров H₀ 201, H₁ 205, F₀ 263 и F₁ 265.

Что касается устройства, показанного на фиг.3, если входной сигнал процессора 101 цифрового звукового сигнала определен как X _(z) и выходной сигнал от процессора 101 цифрового звукового сигнала как Y_(z) в Z-области, области дискретного преобразования Лапласа, то тогда отношение входного-выходного сигналов для внешних частей банков фильтров (если мы предполагаем, что нет никакой обработки в блоке обработки и внутреннем банке фильтров) может быть выражено следующим образом:

В некоторых формах осуществления изобретения контроллер выполняет поиск, чтобы создать на выходе задержанную версию входного сигнала с малыми искажениями, другими словами

Y(z) z^-LX(z),

где L относится к задержке, создаваемой фильтрами.

Цифровой контроллер 105 звукового сигнала конфигурирует фильтры F₁ 265 и F ₀ 263 синтеза так, чтобы они были обратными версиями во временной области фильтров H₁ 205 и H₀ 201 анализа, соответственно.

Это начальное предположение можно видеть на фиг.5 на шаге 501.

Цифровой контроллер 105 звукового сигнала, используя это предположение, сначала пытается вычислить параметры для фильтров H₀ и H₁ анализа, используя следующее выражение:

при котором , ,

где относится к сетке частот, ( ) определяет искажения, допустимые на каждой из этих частот, ₀ и ₁ относится к краям полосы заграждения полос низких и высоких частот, соответственно, и ₀ и ₁ представляет значения весовой функции.

Цифровой контроллер 105 звукового сигнала может теперь рассматривать эту минимизацию как выраженную в виде задачи полуопределенного программирования (Semidefinite Programming, SDP), уникальное решение которой может быть найдено с использованием любого известного решения полуопределенного программирования.

Таким образом, в некоторых формах осуществления изобретения контроллер может определять начальные параметры фильтра, которые минимизируют энергию в полосе заграждения только с ограничением малого полного искажения и заставляют значение в полосе пропускания приближаться к единице.

Операцию определения параметров фильтров H₀ и H₁ путем минимизации энергии в полосе заграждения только с одним критерием малого полного искажения можно видеть на фиг.5 на шаге 503.

Затем цифровой контроллер 105 звукового сигнала может исключить предположение, что фильтры F₁ 265 и F₀ 263 синтеза являются обратными версиями фильтров H₁ 205 и H₀ 201 анализа во временной области, соответственно.

Цифровой контроллер 105 звукового сигнала может в некоторых формах осуществления изобретения инициализировать итеративный поэтапный процесс.

Цифровой контроллер звукового сигнала может определить параметры для первого фильтра F₀ 263 синтеза и второго фильтра H₁ 205 анализа с постоянным первым фильтром H₀ 201 анализа, используя следующее выражение:

при котором , ,

при постоянном H₀( ).

Операция первой части итерации, в которой параметры фильтров F₀ и H₁ выбираются с учетом постоянного H₀, показана на фиг.5 на шаге 505.

Контроллер 105 во второй части итерации затем пытается определить параметры для второго фильтра H₁ 205 анализа и первого фильтра H₀ 201 анализа с постоянным первым фильтром F₀ 263 синтеза с учетом следующего выражения:

при котором

где имеется постоянный F₀ ( ).

Операция определения параметров для первого и второго фильтров H₁ 205 и H₀ 201 анализа при постоянном первом фильтре F₀( ) синтеза показана на фиг.5 на шаге 507.

Обе из вышеупомянутых операций итеративного процесса могут быть выражены как задача конуса второго порядка (Second Order Cone, SOC) и итерационно решены контроллером 105. Как и прежде, относится к сетке частот, ( ) определяет параметр, который контролирует, сколько искажений допустимо на каждой из частот, ₀ и ₁ относится к краям полос низких и высоких частот, соответственно, и ₁, ₂, и ₃ представляют весовые функции.

Таким образом, цифровой контроллер 105 звукового сигнала может пытаться минимизировать энергию в полосе заграждения только с одним ограничением общего малого искажения. Этот процесс может заставить полосу пропускания приблизиться к единице.

Цифровой контроллер 105 звукового сигнала может затем выполнить шаг проверки, чтобы определить, действительно ли фильтры, формируемые текущими параметрами, приемлемы в отношении заранее заданных критериев. Шаг проверки показан на фиг.5 на шаге 509.

Если на шаге проверки определяют, что фильтры приемлемы, то тогда операция переходит к шагу 511. Если на шаге проверки определяют, что требуется дальнейшая итерация, то цифровой контроллер 105 звукового сигнала переходит назад к первой части итерации, определяющей параметры для фильтра F₀ синтеза и фильтра H₁ анализа относительно постоянного фильтра H₀.

Итеративный процесс может очень сильно зависеть от процессов инициализации. При испытаниях, выполненных авторами, было замечено, что более короткие исходные фильтры H₀ и H₁ , как правило, обеспечивают лучшие решения. Кроме того, цифровой контроллер 105 звукового сигнала может использовать обращенный во времени фильтр Н₀ (другими словами, максимально-фазовый фильтр) в качестве начальной оценки для фильтра F₀ , если важна синхронизация по времени между субполосами.

В отношении полной задержки L, создаваемой фильтрами, цифровой контроллер 105 звукового сигнала может установить значение согласно любому подходящему значению. Также, как указано ранее, цифровой контроллер 105 звукового сигнала может определять параметры для второго фильтра F₁ синтеза в зависимости от длины фильтра H₁. Определение параметров F₁ показано на фиг.5 на шаге 511. В некоторых формах осуществления изобретения групповое время задержки фильтров H₁ и F₁ будет определяться приблизительно до значения, определенного для L. Цифровой контроллер 105 звукового сигнала может в некоторых формах осуществления изобретения определять параметры для фильтра H₁ внешней части первого банка фильтров анализа так, чтобы иметь приблизительно линейную фазу, другими словами, иметь постоянную задержку. Контроллер 105 может в некоторых формах осуществления изобретения определять параметры фильтра так, чтобы задержка фильтров Н₀ 201 и F₀ 263 могла отличаться между частотами, но при этом обеспечивалась характеристика свертки фильтров H₀(z)F₀(z), имеющая приблизительно постоянную задержку L на всех частотах.

На фиг.6 показаны подходящие частотные характеристики для первого фильтра F₀ 263 синтеза, первого фильтра H₁ 205 анализа и второго фильтра H₀ 201 анализа. В этих примерах фильтр анализа полосы высоких частот, второй фильтр H₁ 205 анализа, частотная характеристика которого отмечена штриховой линией 601, имеет полосу пропускания вверх от 3,2 кГц. Фильтр анализа полосы низких частот, первый фильтр H₀ 201 анализа, частотная характеристика которого показана кривой 605, отмеченной крестиками "+", имеет полосу заграждения приблизительно от 4 кГц. Фильтр синтеза полосы низких частот, второй фильтр F₀ 263 синтеза, частотная характеристика которого определяется кривой, отмеченной крестиками "x" 705, имеет полосу заграждения от 3,2 кГц.

Цифровой контроллер 105 звукового сигнала в некоторых формах осуществления изобретения фокусируется на фильтре интерполятора, первом фильтре F₀ 263 синтеза, потому что низкочастотные составляющие типичного звукового сигнала являются относительно сильными, и в этих формах осуществления изобретения контроллер может конфигурировать фильтр F₀ 263 так, чтобы значительно ослабить зеркальные отображения низкочастотных компонентов.

Цифровой контроллер 105 звукового сигнала в некоторых формах осуществления изобретения может увеличивать весовой коэффициент для ₂ при первой оптимизации итерационного шага, что может впоследствии увеличить ослабление полосы заграждения первого фильтра F₀ 263 синтеза.

Определение параметров реализации для фильтров внешней части банка фильтров анализа и фильтров внешней части банка фильтров синтеза показано на фиг.5 на шаге 401.

Хотя в вышеприведенных примерах показаны три отдельных блока 211, 231, 251 обработки, должно быть понятно, что в некоторых формах осуществления изобретения требуется работа только второго блока 231 обработки, и поэтому может не быть ни первого, ни третьего блока обработки. Например, описанные выше операции постобработки по регулировке уровня сигнала могут не выполняться или в некоторых формах осуществления изобретения могут выполняться как часть операций второго блока 231 обработки. Аналогично, операции предварительной обработки в некоторых формах осуществления изобретения могут не выполняться в первом блоке 221 обработки, но могут выполняться как часть второго блока 231 обработки.

Вышеописанные формы осуществления изобретения могут быть реализованы с использованием обработки сигналов от массива микрофонов или формирования диаграммы направленности, где требуется множество микрофонов и, таким образом, реализуются стерео- или полифонические сигналы. Другими словами, некоторые формы осуществления изобретения принимают на входе множество сигналов, но обеспечивают меньшее число выходных сигналов. В некоторых формах осуществления изобретения это меньшее число выходных сигналов может представлять собой только один монофонический сигнал. Кроме того, в некоторых формах осуществления изобретения частотный диапазон для формирования диаграммы направленности использует реализации аналогичных способов частотного разделения для всех входных сигналов. В этих формах осуществления изобретения оценка фонового шума вычисляется сначала для всех каналов или пар каналов и для каждой полосы, и затем для каждой полосы меньшее значение сохраняется как оценка фонового шума. В формах осуществления изобретения, где нужно ослабить удаленные источники шума, операция подавления шума, например, выполняемая вторым блоком 231 обработки, не подавляет информацию звукового сигнала там, где источник записи или источник сигнала находится близко к записывающему устройству, так что уровень громкости значительно отличается в различных микрофонах или пунктах записи.

Хотя выше описано устройство и процессор 103 цифрового звукового сигнала с определенной структурой, должно быть понятно, что может быть много альтернативных реализаций согласно изобретению.

В некоторых формах осуществления изобретения частота дискретизации для любой из полос высоких или низких частот может отличаться от описанных выше значений. Например, в некоторых формах осуществления изобретения полоса высоких частот может иметь частоту дискретизации 48 кГц.

Кроме того, в некоторых формах осуществления изобретения входной сигнал может быть дискретизирован с частотой 44,1 кГц, другими словами, представлять собой цифровой сигнал в формате для компакт-дисков (Compact Disc, CD). В этих формах осуществления изобретения нижние полосы, использующие структуры, описанные выше в формах осуществления изобретения, могут рассматриваться как имеющие частоты дискретизации 22,1 кГц (полоса низких частот).

Кроме того, так как число и размер субполос в основной полосе диктуются требованиями подавления шума, другие формы осуществления изобретения могут использовать другое количество субполос и субполосы с другой шириной.

В некоторых формах осуществления изобретения могут использоваться более двух полос, показанных в описанных выше формах осуществления изобретения. Например, в некоторых формах осуществления изобретения, чтобы получить достаточную разрешающую способность по частоте для подавления более сильного шума для составляющих нижних частот, низкочастотная полоса может быть далее разделена. Например, в этих формах осуществления изобретения полоса низких частот от 0 до 4 кГц может быть разделена на верхнюю полосу низких частот от 2 кГц до 4 кГц и нижнюю полосу низких частот до 2 кГц.

В некоторых формах осуществления изобретения косинусно-модулированные банки фильтров, описанные для работы в субполосных фильтрах, могут использовать более высокое или более низкое значение М для опытного образца фильтра и комбинировать подходящие коэффициенты фильтра для получения необходимого распределения субполос.

Цифровой процессор 101 звукового сигнала, когда он управляется цифровым контроллером 105 звукового сигнала в соответствии с указанными формами осуществления изобретения, согласно результатам моделирования может быть способен формировать улучшенные широкополосные речевые сигналы с улучшенным качеством и с шумами квантования на 10-20 дБ ниже по сравнению с известными подходами. Это уменьшение шума квантования фактически устраняет шум или делает его незаметным для нормального пользователя. Кроме того, показанное выше устройство позволяет использовать систему улучшения звукового сигнала с более низкой вычислительной сложностью, которая при том же запросе на эффективность мощности обеспечивает возможность сделать устройства более дешевыми и с более длительным временем работы без увеличения емкости батареи.

Кроме того, эти формы осуществления изобретения могут быть разработаны так, чтобы была малая задержка по сравнению с другими видами структур банка фильтров, что ослабляет ограничения на время обработки для кодирования речевых сигналов для их передачи или хранения.

В описанных выше формах осуществления изобретения, так как адаптивная фильтрация уже была выполнена в децимируемой полосе, необходим внешний 2-канальный банк фильтров анализа-синтеза. Конкретная компоновка/реализация структуры разделения частот может обеспечить много возможностей разделения, таких как показанные в описанных формах осуществления изобретения блоками 1, 2 и 3 обработки. Эти возможности разделения могут в некоторых формах осуществления изобретения гибко использоваться алгоритмами, так что оптимизируются использование полосы и вычислительные потребности.

Кроме того, некоторые формы осуществления изобретения могут уменьшить потребность в статической памяти по сравнению с известными системами банка фильтров, например, по сравнению со структурой, в которой за двухканальными банками фильтров анализа-синтеза следует обработка на основе FFT повторно синтезируемого широкополосного сигнала.

Хотя в приведенных примерах описаны формы осуществления изобретения, работающие в электронном устройстве 10 или другом устройстве, должно быть понятно, что изобретение, как описано ниже, может быть реализовано в виде части любой стадии обработки звукового сигнала в цепочке стадий обработки.

Таким образом, в некоторых формах осуществления изобретения предлагается способ, включающий операции фильтрации звукового сигнала с разделением его на по меньшей мере два сигнала полос частот и формирования, для каждого сигнала полосы частот, множества сигналов субполос. В таких формах осуществления изобретения для по меньшей мере одного сигнала полосы частот множество сигналов субполос формируют с использованием преобразования из временной области в частотную и по меньшей мере для одной другой полосы частот множество сигналов субполос формируют с использованием банка фильтров субполос.

Кроме того, в некоторых формах осуществления изобретения предлагается устройство, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую код компьютерной программы. По меньшей мере одна память и код компьютерной программы сконфигурированы так, чтобы с помощью меньшей мере одного процессора заставлять устройство по меньшей мере выполнять описанные выше операции.

В некоторых других формах осуществления изобретения предлагается устройство, которое содержит фильтр, сконфигурированный для фильтрации звукового сигнала для его разделения на по меньшей мере два сигнала полос частот; устройство преобразования из временной области в частотную, сконфигурированное для формирования множества сигналов субполос для сигнала по меньшей мере одной полосы частот; и банк фильтров субполос, сконфигурированный для формирования множества сигналов субполос по меньшей мере для одной другой полосы частот.

Кроме того, оборудование пользователя, карты памяти с универсальной последовательной шиной (Universal Serial Bus, USB) и карты данных модема могут содержать устройство улучшения звукового сигнала, такое как устройство, описанное выше в формах осуществления изобретения.

Следует отметить, что термин "оборудование пользователя" охватывает любой подходящий тип беспроводного оборудования пользователя, такого как мобильные телефоны, портативные устройства обработки данных или портативные веб-браузеры.

Кроме того, элементы наземной мобильной сети общего назначения (Public Land Mobile Network, PLMN) также могут включать описанное выше устройство.

Вообще, различные формы осуществления изобретения, описанные выше, могут быть реализованы в виде аппаратного обеспечения или специализированных схем, программного обеспечения, логических схем или их любой комбинации. Например, некоторые аспекты могут быть реализованы в виде аппаратного обеспечения, в то время как другие аспекты могут быть реализованы во встроенном программном обеспечении или программном обеспечении, которое может выполняться контроллером, микропроцессором или другим вычислительным устройством, хотя изобретение этим не ограничивается. Хотя различные аспекты данного изобретения могут быть проиллюстрированы и описаны в виде структурных схем, блок-схем или с использованием некоторого другого графического представления, совершенно ясно, что описанные блоки, устройства, системы, технологии или способы могут быть реализованы, в качестве не ограничивающих примеров, в виде аппаратного обеспечения, программного обеспечения, встроенного программного обеспечения, специализированных схем или логических схем, в виде аппаратного обеспечения общего назначения или с помощью контроллеров либо других вычислительных устройств или их некоторой комбинации.

Формы осуществления изобретения могут быть реализованы посредством компьютерного программного обеспечения, исполняемого процессором для обработки данных, например, в модуле процессора, или аппаратного обеспечения, либо комбинации программного и аппаратного обеспечения. Далее в связи с этим следует отметить, что любые блоки блок-схем, например, показанных на чертежах, могут представлять шаги программы или связанные логические схемы, блоки и функции или комбинацию шагов программы и логических схем, блоков и функций. Программное обеспечение может храниться на физическом носителе, таком как интегральные схемы памяти или блоки памяти, реализованные в процессоре, магнитные носители, такие как жесткие диски или гибкие диски, и оптические носители, например, цифровые универсальные диски (Digital Versatile Discs, DVD), компакт-диски (Compact Discs, CD) и их варианты.

Память может быть любого типа, подходящего к локальной технической среде, и может быть реализована с использованием любой подходящей технологии хранения данных, такой как полупроводниковые запоминающие устройства, магнитные запоминающие устройства и системы, оптические запоминающие устройства и системы, постоянные запоминающие устройства и съемные запоминающие устройства. Процессоры данных могут быть любого типа, подходящего к локальной технической среде, и могут включать, не ограничиваясь этим, один или более универсальных компьютеров, специализированных компьютеров, микропроцессоров, процессоров цифровой обработки сигналов (Digital Signal Processors, DSP), специализированных интегральных схем (Application Specific Integrated Circuits, ASIC), схем на уровне логических элементов и процессоров, основанных на архитектуре многоядерного процессора.

Формы осуществления изобретения могут применяться в различных компонентах, таких как модули интегральных схем. Разработка интегральных схем, в общем, является высоко автоматизированным процессом. Сложные и мощные инструментальные программные средства доступны для преобразования проекта логического уровня в проект полупроводниковой схемы, готовой для изготовления на полупроводниковой подложке.

Программы, подобные поставляемой фирмой Synopsys, Inc. (Маунтин-Вью, Калифорния) или фирмой Cadence Design (Сан-Хосе, Калифорния), осуществляют автоматическую разводку проводников и расположение компонентов на полупроводниковом кристалле с использованием общепринятых правил разработки, а также с использованием библиотек заранее сохраненных схемных модулей. Разработанный проект устройства на полупроводниковой схеме в стандартизированном электронном формате (например, Opus, GDSII, или другом подобном формате) может быть передан на производство для изготовления.

Данное описание было предоставлено посредством не ограничивающих изобретение примеров его осуществления. Однако различные модификации и усовершенствования изобретения могут быть очевидны специалистам из предшествующего описания, приложенных чертежей и формулы изобретения. Однако все такие модификации изобретения находятся в пределах объема изобретения, определенного прилагаемой формулой изобретения.

Используемый в описании термин "схема" может относиться к любому из следующего: (a) только аппаратные схемные реализации (например, реализации только в виде аналоговых и/или цифровых схем) и (b) комбинации схем и программного обеспечения (и/или встроенного программного обеспечения), применимого: (i) к комбинации процессора (процессоров) или (ii) к частям процессора (процессоров) / программного обеспечения (включая процессор(процессоры) цифровой обработки сигналов), программному обеспечению и запоминающему устройству (устройствам), которые совместно заставляют устройство, такое как мобильный телефон или сервер, выполнять различную функцию(функции), и (c) к схемам, таким как микропроцессор (микропроцессоры) или часть микропроцессора (микропроцессоров), которые требуют для своей работы программного обеспечения или встроенного программного обеспечения, даже если программное обеспечение или встроенное программное обеспечение не присутствует физически.

Это определение термина "схема" применимо повсюду в данном описании, включая формулу изобретения. В качестве другого примера термина "схема", используемого в данном описании, можно просто привести реализацию процессора (или множества процессоров) и его (или их) программного или встроенного программного обеспечения. Термин "схема" также относится, например, к интегральной микросхеме обработки сигнала основной полосы частот или к интегральной схеме процессора приложений в мобильном телефоне, или к аналогичной интегральной микросхеме в устройстве сотовой сети или в других сетевых устройствах.

Термин "процессор" и "память" могут включать, не ограничиваясь этим: (1) один или более микропроцессоров, (2) один или более процессоров с сопроводительным процессором(процессорами) цифровой обработки сигналов, (3) один или более процессоров без сопроводительного процессора(процессоров) цифровой обработки сигналов, (3) один или более специализированных компьютерных микросхем, (4) одну или более программируемых вентильных матриц (Field-Programmable Gate Arrays, FPGA), (5) один или более контроллеров, (6) одну или более специализированных интегральных схем (Application-Specific Integrated Circuits, ASICs) или датчик(датчики), процессор(процессоры) (включая двуядерные и многоядерные процессоры), процессор(процессоры) цифровой обработки сигналов, контроллер(контроллеры), приемник, передатчик, кодер, декодер, запоминающее устройство (и блоки памяти), программное обеспечение, встроенное программное обеспечение, оперативное запоминающее устройство (Random Access Memory, RAM), постоянное запоминающее устройство (Read Only Memory, ROM), дисплей, интерфейс пользователя, схему дисплея, схему интерфейса пользователя, программное обеспечение интерфейса пользователя, программное обеспечение дисплея, схему (схемы), антенну, схемы антенны и другие схемы.