изменение формы шума округления для основанных на целочисленном преобразовании кодирования и декодирования аудио и видеосигнала

Формула изобретения

1. Способ для обработки аудиосигнала (x(k)) при кодировании, причем упомянутый сигнал обрабатывают с использованием целочисленного обратимого преобразования (DCT_IV) для каждого блока выборок упомянутого сигнала (x(k)), причем целочисленное преобразование выполняют с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования (DCT_IV ), и причем этапы лифтинга включают в себя операции округления, и при этом выполняют изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга, отличающийся этапом, на котором

выполняют целочисленное преобразование (123, 143, 163) упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают, и при этом коэффициенты фильтра (h(k)) соответствующего фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) из упомянутых выборок аудиосигнала на покадровой основе.

2. Способ по п.1, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого адаптивного фильтра изменения формы шума определяют с помощью вычисления обратного спектра мощности кадра выборки сигнала и в котором коэффициенты фильтра оптимизируют таким образом, чтобы минимизировать среднее спектральное расстояние между упомянутым обратным спектром мощности и частотной характеристикой фильтра с одними полюсами, соответствующего упомянутым коэффициентам фильтра.

3. Способ по п.2, в котором упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)) выполняют с помощью анализа с линейным предсказанием на основании упомянутого обратного спектра мощности упомянутого кадра выборки сигнала.

4. Способ по п.3, в котором упомянутый обратный спектр мощности преобразуют в коэффициенты псевдоавтокорреляции до того, как выполняют упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)).

5. Способ по п.3, в котором упомянутые оптимизированные коэффициенты фильтра (h(k)) дополнительно уточняют с помощью процедуры оптимизации итеративного градиентного спуска.

6. Способ по п.1, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) на покадровой основе из сигнала ошибки или остаточного сигнала, доступного при обработке кодирования упомянутого аудиосигнала, например, в секции банка фильтров кодирования аудиосигнала.

7. Способ по п.1, в котором дополнительно предварительный фильтр (160, 168, 169) изменения формы шума расположен предшествующим упомянутому целочисленному преобразованию (143).

8. Способ для обработки аудиосигнала (x(k)) при декодировании, причем на стороне кодера упомянутый сигнал был обработан с использованием целочисленного обратимого преобразования (DCT_IV) для каждого блока выборок упомянутого сигнала(х(k)), причем целочисленное преобразование было выполнено с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования (DCT_IV ), и причем этапы лифтинга включают в себя операции округления, и при этом было выполнено изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга,

и причем упомянутые блоки выборок были преобразованы (123, 143, 163) целочисленным способом с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают, и причем коэффициенты фильтра (h(k)) соответствующего фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) из упомянутых выборок аудиосигнала на покадровой основе,

причем этап декодирования упомянутого аудиосигнала включает в себя этап, на котором:

осуществляют целочисленное обратное преобразование (153, 173) упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое обратное преобразование работает на блоках коэффициентов преобразования и предоставляет соответствующие блоки выходных значений выборок, и причем упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых обратно преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем обратно преобразованном блоке увеличивают, и при этом коэффициенты фильтра (h(k)) соответствующего фильтра (178, 179, 170) изменения формы шума получают (151, 171) из обратно преобразованных выборок аудиосигнала на покадровой основе.

9. Способ по п.8, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого адаптивного фильтра изменения формы шума определяют с помощью вычисления обратного спектра мощности кадра выборки сигнала и в котором коэффициенты фильтра оптимизируют таким образом, чтобы минимизировать среднее спектральное расстояние между упомянутым обратным спектром мощности и частотной характеристикой фильтра с одними полюсами, соответствующим упомянутым коэффициентам фильтра.

10. Способ по п.9, в котором упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)) выполняют с помощью анализа с линейным предсказанием на основе упомянутого обратного спектра мощности упомянутого кадра выборки сигнала.

11. Способ по п.9, в котором упомянутый обратный спектр мощности преобразуют в коэффициенты псевдоавтокорреляции до того, как выполняют упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)).

12. Способ по п.9, в котором упомянутые оптимизированные коэффициенты фильтра (h(k)) дополнительно уточняют с помощью процедуры оптимизации итеративного градиентного спуска.

13. Способ по п.8, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) на покадровой основе из сигнала ошибки или остаточного сигнала, доступного при обработке декодирования упомянутого аудиосигнала, например, в секции банка фильтров декодирования аудиосигнала.

14. Способ по п.8, в котором в дополнение постфильтр (170, 178, 179) изменения формы шума расположен последующим упомянутому целочисленному обратному преобразованию (153).

15. Устройство для обработки аудиосигнала (х(k)) при кодировании, в котором упомянутый сигнал обрабатывают с использованием целочисленного обратимого преобразования (DCT_IV) для каждого блока выборок упомянутого сигнала(x(k)), причем целочисленное преобразование выполняют с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования (DCT_IV ), и причем этапы лифтинга включают в себя операции округления, и при этом выполняют изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга, причем упомянутое устройство включает в себя

средство (123, 143, 163), приспособленное для целочисленного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают,

соответствующий фильтр изменения формы шума, коэффициенты фильтра (h(k)) которого получают из упомянутых выборок аудиосигнала на покадровой основе.

16. Устройство по п.15, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого адаптивного фильтра изменения формы шума определяют с помощью вычисления обратного спектра мощности кадра выборки сигнала и в котором коэффициенты фильтра оптимизируют таким образом, чтобы минимизировать среднее спектральное расстояние между упомянутым обратным спектром мощности и частотной характеристикой фильтра с одними полюсами, соответствующим упомянутым коэффициентам фильтра.

17. Устройство по п.16, в котором упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)) выполняют с помощью анализа с линейным предсказанием на основании упомянутого обратного спектра мощности упомянутого кадра выборки сигнала.

18. Устройство по п.16, в котором упомянутый обратный спектр мощности преобразуют в коэффициенты псевдоавтокорреляции до того, как выполняют упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)).

19. Устройство по п.16, в котором упомянутые оптимизированные коэффициенты фильтра (h(k)) дополнительно уточняют с помощью процедуры оптимизации итеративного градиентного спуска.

20. Устройство по п.15, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) на покадровой основе из сигнала ошибки или остаточного сигнала, доступного при обработке кодирования упомянутого аудиосигнала, например, в секции банка фильтров кодирования аудиосигнала.

21. Устройство по п.15, в котором дополнительно предварительный фильтр (160, 168, 169) изменения формы шума расположен предшествующим упомянутому целочисленному преобразованию (143).

22. Устройство для обработки аудиосигнала (x(k)) при декодировании, причем на стороне кодера упомянутый сигнал был обработан с использованием целочисленного обратимого преобразования (DCT_IV) для каждого блока выборок упомянутого сигнала (x(k)), причем целочисленное преобразование было выполнено с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования (DCT_IV), и причем этапы лифтинга включают в себя операции округления, и при этом было выполнено изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга,

и причем упомянутые блоки выборок были преобразованы (123, 143, 163) целочисленным способом с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают, и причем коэффициенты фильтра (h(k)) соответствующего фильтра (168, 169, 160) изменения формы шума были получены (121, 141, 161) из упомянутых выборок аудиосигнала на покадровой основе,

причем устройство подходит для декодирования упомянутого закодированного аудиосигнала и включает в себя:

средство (153, 173), приспособленное для целочисленного обратного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое обратное преобразование работает относительно блоков коэффициентов преобразования и предоставляет соответствующие блоки выходных значений выборок, и причем упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых обратно преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем обратно преобразованном блоке увеличивают,

соответствующий фильтр изменения формы шума, коэффициенты фильтра (h(k)) которого получают из обратно преобразованных выборок аудиосигнала на покадровой основе.

23. Устройство по п.22, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого адаптивного фильтра изменения формы шума определяют с помощью вычисления обратного спектра мощности кадра выборки сигнала и в котором коэффициенты фильтра оптимизируют таким образом, чтобы минимизировать среднее спектральное расстояние между упомянутым обратным спектром мощности и частотной характеристикой фильтра с одними полюсами, соответствующим упомянутым коэффициентам фильтра.

24. Устройство по п.23, в котором упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)) выполняют с помощью анализа с линейным предсказанием на основании упомянутого обратного спектра мощности упомянутого кадра выборки сигнала.

25. Устройство по п.23, в котором упомянутый обратный спектр мощности преобразуют в коэффициенты псевдоавтокорреляции до того, как выполняют упомянутую оптимизацию упомянутых коэффициентов фильтра (h(k)).

26. Устройство по п.23, в котором упомянутые оптимизированные коэффициенты фильтра (h(k)) дополнительно уточняют с помощью процедуры оптимизации итеративного градиентного спуска.

27. Устройство по п.22, в котором упомянутые коэффициенты фильтра (h(k)) упомянутого фильтра (168, 169, 160) изменения формы шума получают (121, 141, 161) на покадровой основе из сигнала ошибки или остаточного сигнала, доступного при обработке декодирования упомянутого аудиосигнала, например, в секции банка фильтров декодирования аудиосигнала.

28. Устройство по п.22, в котором дополнительно постфильтр (170, 178, 179) изменения формы шума расположен последующим к упомянутому целочисленному преобразованию (153).

Описание изобретения к патенту

Изобретение относится к способу и устройству для улучшения эффективности кодирования для аудио- или видеосигнала.

Уровень техники

Целочисленное обратимое преобразование, в частности целочисленное MDCT (IntMDCT), используют при кодировании аудио/видео без потерь или HD (высокого разрешения). Например, недавно стандартизированный кодек SLS MPEG-4 использует IntMDCT.

Подход может быть применимым также в других областях, где используют преобразования без потерь. Например, целочисленное обратимое Вейвлет-преобразование используют для кодирования изображения и видео без потерь.

Проблемой любого целочисленного обратимого преобразования является то, что преобразование разделяют на последовательные этапы, каждый из которых вносит значительные ошибки округления в сигнал. Эта проблема становится более существенной, чем ниже уровень кодируемого полезного сигнала. Следовательно, шум ошибки округления является ограничивающим фактором в схемах остаточного кодирования, в которых остаток является сигналом ошибки между исходным сигналом (или без потерь или HD) и закодированной его версией с потерями или стандартного разрешения.

Без изменения формы шума шум ошибки округления будет одинаково влиять на все частотные компоненты преобразованного сигнала. Это является особой проблемой для частотных компонент, в которых фактический уровень сигнала является низким. В компонентах, в которых ошибка округления становится доминантой, большой "штраф" с точки зрения сильно увеличенной энтропии (и, следовательно, скорости передачи данных) должен быть заплачен за преобразование без потерь. Штраф является значительно более низким для частотных компонент, когда ошибки округления не являются доминантой.

Решение для этой проблемы предложено Фраунхофером в: Yoshikazu Yokotani, Ralf Geiger, Gerald D. T. Schuller, Soontorn Oraintara, K. R. Rao, "Lossless audio coding using IntMDCT and rounding error shaping", IEEE Transactions on Audio, Speech, and Language Processing, том 14, № 6, стр. 2201-2211, Ноябрь 2006. Там предложено добавлять фиксированные фильтры изменения формы шума к нескольким этапам лифтинга (представляющим небольшие подэтапы целочисленного обратимого преобразования) для того, чтобы менять вклады ошибки округления, особенно с высоких частот на низкие частоты. Авторы применяют эвристические критерии оптимизации, чтобы находить коэффициенты фильтров изменения формы шума. Простой вариант этого подхода является частью кодека SLS MPEG-4 (фиксированного фильтра нижних частот первого порядка).

Целочисленное преобразование, основанное на схеме лифтинга, отображает целые в целые и является обратимым. Основной идеей такого лифтинга является: например, если пара фильтров (h,g) является комплементарной, т.е. она позволяет полное восстановление, тогда для каждого фильтра s пара (h ,g) с h (z) = h(z)+s(z )*g(z) также позволяет полное восстановление. Это также является справедливым для фильтра t и каждой пары (h,g ) вида g (z) = g(z)+t(z )*h(z). Обратное также является справедливым: если банк фильтров (h,g) и (h,g ) предусматривает полное восстановление, тогда имеется уникальный фильтр s с

h (z) = h(z)+s(z )*g(z).

Каждую такую операцию преобразования банка фильтров называют этапом лифтинга. Последовательность этапов лифтинга может состоять из чередующихся лифтингов, то есть на одном этапе фиксируют нижние частоты и изменяют верхние частоты, а на следующем этапе фиксируют верхние частоты и изменяют нижние частоты, при этом последовательные этапы одного и того же направления могут быть объединены.

Другой подход, который решает проблему, опубликован в области кодирования видео в: Min Shi, Shngli Xie, "A Lossless Image Compression Algorithm by Combining DPCM with Integer Wavelet Transform", 6-й CAS симпозиум IEEE. К развивающимся технологиям: Мобильная и беспроводная связь, Шанхай, Китай, 31 Мая - 2 Июня 2004. Авторы применяют предварительный фильтр DPCM перед преобразованием без потерь, при этом сигнал "отбеливают" и, следовательно, фактически изменяют форму шума (также "белого") ошибки округления аналогично, как спектр сигнала. Однако этот подход также имеет некоторые недостатки: во-первых, чтобы быть целочисленным обратимым, предварительный фильтр должен добавлять ошибки округления в самом себе, что ухудшает эффективность кодирования (смотри ниже). Во-вторых, авторы применяют "обычный" прямой фильтр DPCM, который, однако, не является оптимальным выбором для решаемой проблемы.

Сущность изобретения

Несмотря на то что является выгодным в среднем, фиксированное изменение формы шума, описанное выше, может быть очень неоптимальным для отдельных блоков сигнала.

Проблемой, решаемой с помощью изобретения, является оптимизирование распределения шума ошибки округления при целочисленном обратимом преобразовании с использованием подъема и/или уменьшение скорости передачи данных, необходимой, чтобы кодировать точно по битам конкретный аудио- или видеосигнал, т.е. улучшить эффективность кодирования/декодирования. Эту проблему решают с помощью способов, раскрытых в пунктах 1 и 3 формулы изобретения. Соответствующие устройства, которые используют эти способы, раскрыты в пунктах 2 и 4 формулы изобретения.

Изобретение ограничивает влияние шума ошибки округления, поступающего с каждым этапом лифтинга или являющегося следствием каждого этапа лифтинга при целочисленном обратимом преобразовании, на скорость передачи данных кодека без потерь с помощью использования поблочной адаптации изменения формы шума. Могут быть использованы два основных подхода. Во-первых, коэффициенты фильтров, фильтров изменения формы шума для коэффициентов преобразования или частотной области адаптируют на отдельных этапах подъема в соответствии с текущими характеристиками сигнала временной области. Разработано новое правило аналитической адаптации, которое выдает почти оптимальные коэффициенты фильтров. Кроме того, дополнительная (необязательная) итеративная процедура дает набор локально оптимальных коэффициентов.

Во-вторых, авторегрессивный (т.е. рекурсивный) предварительный фильтр может быть добавлен перед преобразованием без потерь. Этот фильтр явно нацелен на "подъем" уровня частотных областей с низкой мощностью, чтобы уменьшить преобладание ошибок округления в этих областях. Этот предварительный фильтр совместно использует те же изобретенные правила адаптации, что и обработка адаптивного изменения формы шума, для коэффициентов преобразования или частотной области. Преимущественно эти две основные обработки могут быть объединены, чтобы дополнительно улучшить коэффициент сжатия кодека без потерь.

Кадры выборок аудио- или видеосигнала, из которых вычисляют коэффициенты фильтров, могут иметь другую длину, чем блоки выборок аудио- или видеосигнала, к соответствующим блокам коэффициентов преобразования которых применяют коэффициенты фильтров.

В качестве альтернативы или дополнительно, кадры выборок могут быть временно сдвинуты относительно блоков выборок, причем этот вариант осуществления имеет преимущество в том, что коэффициенты фильтров не требуется передавать в сторону декодера, но они могут быть, соответственно, вычислены на стороне декодера.

Вместо вычисления коэффициентов фильтров непосредственно из кадров выборок сигнала они также могут быть вычислены из сигнала ошибки или остаточного сигнала, который может быть доступным при обработке кодирования, например, в секции банка фильтров кодера аудио- или видеосигнала.

В принципе, изобретенный способ кодирования подходит для улучшения эффективности кодирования для аудио- или видеосигнала, причем упомянутый сигнал обрабатывают с использованием целочисленного обратимого преобразования для каждого блока выборок упомянутого сигнала, причем целочисленное преобразование выполняют с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования, и причем этапы лифтинга включают в себя операции округления, и при этом выполняют изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга, причем упомянутый способ включает в себя этап

целочисленного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования величины низкого уровня в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования величины высокого уровня в упомянутом текущем преобразованном блоке увеличивают, и при этом коэффициенты фильтра соответствующего фильтра изменения формы шума получают из упомянутых выборок аудио- или видеосигнала на покадровой основе.

В принципе, изобретенное устройство кодирования подходит для улучшения эффективности кодирования для аудио- или видеосигнала, причем упомянутый сигнал обрабатывают с использованием целочисленного обратимого преобразования для каждого блока выборок упомянутого сигнала, причем целочисленное преобразование выполняют с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования, и причем этапы лифтинга включают в себя операции округления, и при этом выполняют изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга, причем упомянутое устройство включает в себя:

средство, приспособленное для целочисленного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают,

соответствующий фильтр изменения формы шума, коэффициенты фильтра которого получают из упомянутых выборок аудио- или видеосигнала на покадровой основе.

В принципе, изобретенный способ декодирования подходит для улучшения эффективности кодирования/декодирования для аудио- или видеосигнала, причем на стороне кодера упомянутый сигнал был обработан с использованием целочисленного обратимого преобразования для каждого блока выборок упомянутого сигнала, причем целочисленное преобразование было выполнено с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования, и причем этапы лифтинга включают в себя операции округления, и при этом было выполнено изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга,

и причем упомянутые блоки выборок были преобразованы целочисленным способом с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования величины низкого уровня в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования величины высокого уровня в упомянутом текущем преобразованном блоке увеличивают, и причем коэффициенты фильтра соответствующего фильтра изменения формы шума получают из обратно преобразованных выборок аудио- или видеосигнала на покадровой основе,

причем декодирование упомянутого закодированного аудио- или видеосигнала включает в себя этап

целочисленного обратного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое обратное преобразование работает на блоках коэффициентов преобразования и предоставляет соответствующие блоки выходных значений выборок, и причем упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают, и при этом коэффициенты фильтра соответствующего фильтра изменения формы шума получают из упомянутых выборок аудио- или видеосигнала на покадровой основе.

В принципе, изобретенное устройство декодирования подходит для улучшения эффективности кодирования/декодирования для аудио- или видеосигнала, причем на стороне кодера упомянутый сигнал был обработан с использованием целочисленного обратимого преобразования для каждого блока выборок упомянутого сигнала, причем целочисленное преобразование было выполнено с использованием этапов лифтинга, которые представляют подэтапы упомянутого целочисленного преобразования, и причем этапы лифтинга включают в себя операции округления, и при этом было выполнено изменение формы шума для ошибок округления, являющихся следствием упомянутых этапов лифтинга,

и причем упомянутые блоки выборок были преобразованы целочисленным способом с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое преобразование предоставляет соответствующие блоки коэффициентов преобразования, а упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают, и причем коэффициенты фильтра соответствующего фильтра изменения формы шума получают из обратно преобразованных выборок аудио- или видеосигнала на покадровой основе,

причем устройство подходит для декодирования упомянутого закодированного аудио- или видеосигнала и включает в себя:

средство, приспособленное для целочисленного обратного преобразования упомянутых блоков выборок с использованием этапов лифтинга и адаптивного изменения формы шума, по меньшей мере, для некоторых из упомянутых этапов лифтинга, причем упомянутое обратное преобразование работает относительно блоков коэффициентов преобразования и предоставляет соответствующие блоки выходных значений выборок, и причем упомянутое изменение формы шума выполняют таким образом, что шум округления от коэффициентов преобразования низкой величины в текущем одном из упомянутых преобразованных блоков уменьшают, в то время как шум округления от коэффициентов преобразования высокой величины в упомянутом текущем преобразованном блоке увеличивают,

соответствующий фильтр изменения формы шума, коэффициенты фильтра которого получают из обратно преобразованных выборок аудио- или видеосигнала на покадровой основе.

Преимущественные дополнительные варианты осуществления изобретения раскрыты в соответственных зависимых пунктах формулы изобретения.

Например, коэффициенты фильтра, фильтра изменения формы шума могут быть получены на покадровой основе из сигнала ошибки или остаточного сигнала, доступного при обработке декодирования упомянутого аудио- или видеосигнала, например, в секции банка фильтров декодирования аудио- или видеосигнала.

Фильтр изменения формы шума может быть предварительным фильтром (постфильтром), который не расположен в целочисленном преобразовании (обратном целочисленном преобразовании), а расположен предшествующим (последующим) целочисленному преобразованию (обратному целочисленному преобразованию).

Предварительный фильтр (постфильтр) изменения формы шума (выше по потоку) (ниже по потоку) также может быть фильтром дополнительно к фильтру изменения формы шума, расположенному в целочисленном преобразовании (обратном целочисленном преобразовании).

Краткое описание чертежей

Иллюстративные варианты осуществления изобретения описаны со ссылкой на сопровождающие чертежи, которые изображены на:

фиг.1 - для TDAC декомпозиция поворота Гивенса на три последовательных этапа лифтинга, причем каждый этап лифтинга следует с операцией округления;

фиг.2 - многомерная схема лифтинга, примененная для двух параллельных входных сигналов (случай стерео), причем два входных сигнала x и y уже подвергнуты шуму ошибки округления в блоках TDAC;

фиг.3 - округление с использованием изменения формы шума;

фиг.4 - основная блок-схема для известного кодера и декодера без потерь на основании с потерями;

фиг.5 - декомпозиция целочисленного MDCT;

фиг.6 - известный один многомерный этап лифтинга без изменения формы шума;

фиг.7 - известное изменение формы шума на одном многомерном этапе лифтинга;

фиг.8 - изобретенное IntMDCT адаптивного изменения формы шума, автономный вариант;

фиг.9 - изобретенное обратное IntMDCT адаптивного изменения формы шума, автономный вариант;

фиг.10 - изобретенное IntMDCT адаптивного изменения формы шума, кодер преобразования масштабируемого в без потерь;

фиг.11 - изобретенное обратное IntMDCT адаптивного изменения формы шума, кодер преобразования масштабируемого в без потерь;

фиг.12 - изобретенное IntMDCT адаптивного предварительного фильтра, автономный вариант;

фиг.13 - изобретенное обратное IntMDCT адаптивного предварительного фильтра, автономный вариант.

Иллюстративные варианты осуществления

Целочисленное MDCT (IntMDCT) является аппроксимацией обычного алгоритма MDCT, который позволяет точное восстановление по битам исходных выборок РСМ. Этот признак выполняют с помощью декомпозиции всех алгоритмических этапов на этапы лифтинга, которые являются пошаговыми точно обратимыми по битам. Больше информации можно найти, например, в Ralf Geiger, Yoshikazu Yokotani, Gerald Schuller, Jurgen Herre, "Improved integer transforms using multi-dimensional lifting", Процесс ICASSP, том 2, страницы 17-21, Монреаль, Канада, Май 2004.

Способность восстановления без потерь (точного по битам) происходит за счет аддитивной ошибки: операция округления на каждом этапе лифтинга добавляет шум ошибки округления. Целью этого изобретения является количественно оценить дисперсии этих ошибок округления и оценить их влияние на коэффициент сжатия кодека без потерь. Затем используют фильтры и/или предварительные фильтры изменения формы шума, чтобы оптимизировать для минимальной энтропии. Раскрыты решения для фиксированных и адаптивных фильтров.

А) Ошибки округления

Ошибки округления вносят на большинстве этапов лифтинга в IntMDCT, смотри Y. Yokotani, R. Geiger, G.D.T. Schuller, S. Oraintara, K.R. Rao, "Lossless audio coding using IntMDCT and rounding error shaping", IEEE Transactions on Audio, Speech, and Language Processing, 14(6):2201-2211, Ноябрь 2006, для подробностей и выводов. В следующих подразделах кратко суммированы источники ошибок округления и даны некоторые определения.

А.1) Устранение помехи дискретизации во временной области (TDAC)

Декомпозиция TDAC и операции обработки методом окна (поворота Гивенса) на три этапа лифтинга изображены на фиг.1. Такую операцию обработки методом окна для каждого блока или секции входного аудио- или видеосигнала обычно соединяют с взвешиванием амплитуд или величин в блоках или секциях, например, с помощью использования взвешивания функции синуса или косинуса и обработки методом окна с 50% перекрытием. Интерпретация трех операций округления как соответствующих значениям , , аддитивного шума дает

где

и набор углов , определяющих функцию обработки методом окна. Для окна sin углы определяют с помощью

, , 576. Обычно 0 .

Мощности ошибок округления зависят от угла поворота , поворота Гивенса (с и d обозначают не квантованные желаемые выходные сигналы поворота Гивенса):

Как упомянуто выше, фиг.1 изображает декомпозицию поворота Гивенса на три последовательных этапа лифтинга, причем каждый этап лифтинга следует с операцией округления. Входными величинами являются a и b, а выходными величинами являются c и d (сравни уравнения (1) и (2)). Q₁, Q₂ и Q₃ обозначают этапы квантования.

Первый этап лифтинга вычисляет a+Q₁ (cs *b),

второй этап лифтинга вычисляет

b+Q₂ (sin [a+Q₁ (cs *b)]),

и третий этап лифтинга вычисляет

a+Q₁ (cs *b)+Q₃ [cs (b+Q₂ (sin [a+ Q₁ (cs *b)]))].

Для окон синуса средняя мощность шума ошибки округления от части TDAC целочисленного MDCT приблизительно равна 1,6/12. Это значение может быть получено теоретически с помощью усреднения выражения 1/2E{(c -c) +1/2E(d -d) } для всех использованных значений для . Это среднее значение мощности дополнительно проверено с помощью моделирования.

А.2) Многомерная схема лифтинга: версия стерео

Два параллельных входных сигнала многомерной схемы лифтинга изображены на фиг.2. Два входных сигнала x и y уже подвержены шуму ошибки округления в блоках TDAC TDAC1 и TDAC2, сравнивая с фиг.1. Выходные векторы блока TDAC стороны кодера обозначены с помощью x и y для нижней и верхней части, соответственно. Тогда соответственные выходные векторы кодера в области IntMDCT (до декодера) составляются как

причем "DCT " означает DCT типа IV (т.е. целочисленное MDCT), n₄, n₅ и n₆ являются сигналами ошибки квантования, а Q₄, Q₅ и Q₆ представляют операции квантования. В соответствии с блок-схемой каждый результирующий "спектр" является смесью фактического спектра MDCT, например DCT {x} и некоторого аддитивного шума, который составлен из ошибок частотной области и временной области. На стороне декодера три этапа лифтинга преобразования инвертируют, за которыми следуют соответствующие блоки TDAC TDAC3 и TDAC4. Неоднозначные частотно-временные характеристики промежуточных и конечных результирующих векторов при кодировании делает трудным понимание и оптимизацию фильтра.

А.3) Предварительный фильтр

Предпочтительно предварительную обработку входных сигналов с помощью цифрового фильтра выполняют перед обработкой TDAC. Это может быть реализовано с помощью авторегрессивного (AR) фильтра или фильтра скользящего среднего (МА). Предварительный фильтр должен быть осуществлен в целочисленном обратимом виде. Это означает, что характеристики фильтра должны быть строго минимальной фазы. Кроме того, структуры фильтра, примененного в кодере и декодере, должны быть идеально обратными. Таким образом, операция фильтра включает в себя, по меньшей мере, одну операцию округления промежуточных значений (выходного сигнала устройства предсказания) в целочисленные значения. Это означает, что предварительный фильтр всегда будет следовать с дополнительным шумом ошибки округления.

Имеются сильные сходства между оптимизацией изменения формы шума в IntMDCT и оптимизацией предварительного фильтра. Различиями являются те, что предварительный фильтр также позитивно воздействует на влияние конечных этапов квантования (Q₅/n₅ и Q₆/n₆ на фиг.2; Q является математическим описанием для операции нелинейного квантования, n является результирующей аддитивной ошибкой квантования), что вычислительная сложность для подобного порядка фильтра является меньшей и что предварительный фильтр будет создавать дополнительные ошибки округления.

В) Округление с изменением формы шума

Частотные характеристики ошибок округления могут быть изменены по форме с использованием фильтра изменения формы шума, как проиллюстрировано на фиг.3. Первоначальный шум квантования (k), возникающий в результате выходного сигнала y(k) устройства квантования Q, определяют и фильтруют с помощью фильтра с конечной импульсной характеристикой (fir) с импульсной характеристикой a(k) и задержкой Т. Соответствующим образом отфильтрованный шум (k) подают обратно во входной сигнал x(k). Впоследствии допускают, что фильтр изменения формы шума a(k) имеет порядок р и является причинным. Тогда, включая предшествующую операцию задержки, фильтр имеет следующую переходную характеристику:

где A(z) представляет z-преобразование a(k), а - коэффициенты фильтров. Коэффициенты фильтров , = 1 p, могут быть свободно модифицированы, чтобы получить разные частотные характеристики.

Особенно интересной является частотная характеристика в связи с центральными частотами дискретного MDCT. Если i обозначает индекс дискретной частоты с i = 0,1, ,N-1, центральную частоту i-го частотного компонента MDCT задают с помощью = (2 (i+0,5))/2N в угловом представлении, причем N - длина MDCT.

Частотная характеристика фильтра изменения формы шума становится:

В дальнейших следующих вычислениях требуется частное дифференцирование частотной характеристики для -го коэффициента фильтра (уравнения 13, 14, 15):

Вследствие фильтрации изменения формы шума также модифицируют характеристики временной области шума ошибки округления. Дополнительно к введению корреляции, фильтр изменения формы шума увеличивает дисперсию результирующего сигнала шума n(k):

В этом выводе допускают, что автокорреляция первоначального шума квантования равна нулю вне источника, т.е. E{n(k)n(k- )}=0, если 0. Следует заметить, что любой ненулевой коэффициент 0 будет увеличивать мощность фактического шума квантования во временной области.

С) Шум ошибки округления и дифференциальная энтропия

Чтобы упростить следующее исследование, допускают, что входной сигнал является случайным шумом с гауссовой функцией плотности вероятности (PDF) и что он является, по меньшей мере, кратковременно стационарным. Однако частотные характеристики входного сигнала не являются ограниченными.

Пусть x(k) обозначает представление во временной области входного сигнала. Если вышеупомянутый случайный входной сигнал преобразуют с помощью обычного MDCT (с плавающей запятой), получают представление в частотной области X(i), кратко X , где i обозначает индекс частоты. Индекс кадра пропущен для удобопонятности. Поскольку допускают, что входной сигнал является стационарным случайным шумом, компоненты MDCT также являются случайными с отдельными дисперсиями . Дифференциальная энтропия i-го частотного компонента равна h(X ) = ½log (2 e ). (20)

Суммирование шума ошибки округления в операции этапа лифтинга добавляет отдельные составляющие шума к каждому частотному компоненту. Дисперсия шума i-го компонента обозначена с помощью , и допускают, что составляющие сигнала X и составляющие шума N в каждом компоненте являются взаимно независимыми. Тогда дифференциальная энтропия частотного компонента шума равна:

То есть, дифференциальная энтропия страдает от штрафа h , которая зависит от отдельного отношения сигнал-шум. Через весь частотный диапазон эти отдельные штрафы складываются, чтобы увеличить совокупную скорость передачи в битах, требуемую, по меньшей мере, чтобы кодировать каждый блок (замечание: при допущении упрощенного прямого соответствия между дифференциальной энтропией и скоростью передачи в битах битового потока после квантования и кодирования. На практике могут быть дополнительные потери из-за субоптимального кодирования энтропии):

= (24)

Целью следующих выводов является получить правило адаптации для фильтра изменения формы шума, который минимизирует совокупный штраф для каждого блока.

В соответствии с выводами из предыдущего раздела В) дисперсию составляющих шума в i-м частотном компоненте моделируют как

где = (2 (i+0,5))/2N, а скалярный коэффициент k является произвольным коэффициентом, описывающим дисперсию первоначального шума ошибки округления (k). Частное дифференцирование для -го коэффициента равно:

см. вывод уравнений с 13 по 15 выше.

С.1) Приближенное решение

Теперь коэффициенты будут оптимизированы для того, чтобы минимизировать полный штраф H . Для упрощения сначала допускают низкий шум квантования, т.е. допускают:

при этом используют аппроксимацию log(1+x) x, которая справедлива для x<<1. С точки зрения обработки сигнала, таким образом, допускают, что << справедливо во всех частотных компонентах.

Полный штраф H составляет:

Частное дифференцирование для коэффициента дает:

Приравнивание этого частного дифференцирования нулю имеет результатом набор уравнений, решаемых для нахождения коэффициентов с минимальным штрафом энтропии:

В этой точке имеются p уравнений, чтобы решить для p неизвестных. Для удобопонятности набор уравнений может быть выражен в записи матричного вектора. Определены следующие векторы и матрицы:

причем использовано сокращение

Это множество уравнений из вышеупомянутого дает систему линейных уравнений М a = e.

Она может быть решена с помощью инверсии матрицы Топлитца М:

a = M e.

Следует заметить, что величина R( k) эквивалентна функции автокорреляции сигнала с обратным спектром входного сигнала x(k). Следовательно, метод оптимизации очень походит на адаптацию на основе блоков фильтра с линейным предсказанием с использованием обычных уравнений, сравните, например, P. Vary and R. Martin, "Digital Speech Transmission: Enhancement, Coding and Error Concealment", John Wiley & Sons Ltd, 2006, Sec. 6.2. Таким образом, после вычисления значений псевдоавтокорреляции R(k) может быть использован полный набор численных методов, чтобы оптимизировать фильтры с линейным предсказанием, например вычислительно эффективный алгоритм Левинсона-Дурбина.

Коэффициенты фильтров у фильтров адаптивного изменения формы шума определяют с помощью вычисления обратного спектра мощности одного кадра выборки, при этом коэффициенты фильтров оптимизируют таким образом, чтобы минимизировать среднее спектральное расстояние между обратным спектром мощности и частотной характеристикой фильтра всех полюсов, соответствующим этим коэффициентам фильтра.

То есть, оптимизацию коэффициентов фильтра выполняют с помощью анализа с линейным предсказанием на основании обратного спектра мощности кадра выборки сигнала.

Обратный спектр мощности может быть преобразован в коэффициенты псевдоавтокорреляции до того, как выполняют оптимизацию коэффициентов фильтра.

С.2) К точному решению

В предыдущем разделе аппроксимацию используют, чтобы получить проблему линейной оптимизации. Чтобы достичь более точного решения, должно быть использовано более точное выражение, чтобы выразить штраф энтропии:

Частное дифференцирование для -го коэффициента фильтра дает выражение

К сожалению, это выражение является нелинейным. Простое аналитическое решение для = 0 не может быть найдено. Однако могут быть применены численные методы для итерации к оптимальному решению. Например, может быть осуществлена обработка оптимизации итеративного градиентного спуска или обработка итеративного наискорейшего спуска для дополнительного улучшения оптимизированных коэффициентов фильтра. В этом процессе множество коэффициентов a = [a ,a , ,a ] улучшают на каждом шаге итерации с помощью взятия малого шага в направлении наискорейшего (отрицательного) градиента.

где обозначает индекс итерации, а градиент определяют как

Скалярный коэффициент задает размер шага. Он может быть использован, чтобы управлять скоростью адаптации. Итерации повторяют, например, до тех пор, пока коэффициенты не сойдутся к устойчивому решению. Слишком большой размер шага может привести к неустойчивому характеру схождения.

Эта обработка будет искать локальное решение для проблемы p-размерной оптимизации. Конечный результат может отличаться в зависимости от начальной точки алгоритма оптимизации, т.е. от начального набора коэффициентов a . Последовательные результаты могут быть получены с помощью начала с приблизительного решения, как дано в предыдущем разделе. Тем не менее, не гарантировано, что решение отражает глобальный оптимум исходной проблемы, чтобы минимизировать H .

Кроме того, не гарантировано, что конечное множество коэффициентов дает характеристику фильтра с минимальной фазы. Это означает, что результат должен быть проверен на свойства минимальной фазы до того, как его применят в предварительном фильтре.

Результатом этого адаптивного изменения формы шума является то, что шум округления от выборок низкой величины в текущем одном из блоков или секций входного сигнала уменьшают, в то время как шум округления от выборок высокой величины в текущем блоке или секции увеличивают. "Низкой величины" и "высокой величины" означает меньшую или большую соответственно, чем, например, средняя величина в блоке или пороговый уровень величины для блока.

Вышеописанная оптимизация применяется для адаптации фильтров изменения формы шума скользящего среднего. Преимущественно те же самые правила адаптации могут быть применены для оптимизации авторегрессивного (всех полюсов) предварительного фильтра.

С.3) Предварительный фильтр скользящего среднего

Для получения оптимальных коэффициентов для предварительного фильтра скользящего среднего (с конечной импульсной характеристикой) относительно структуры фильтра эта проблема полностью соответствует "классическому" предварительному выделению или линейному предсказанию. Однако критерий оптимизации является другим для настоящей проблемы, чем для этих хорошо исследованных сценариев.

В результате предварительной фильтрации теперь наблюдают другой спектр мощности сигнала в области MDCT: берут вместо . Допускают, что шум ошибки округления в области MDCT является белым, если адаптивное изменение формы шума не применяют дополнительно к предварительному фильтру. Тогда спектр мощности шума является константой . Таким образом, критерий оптимизации определяют с помощью:

Следует заметить, что определение |G(i)|² не изменяют. Частное дифференцирование аппроксимации для -то коэффициента фильтра дает выражение

Опять выражение является нелинейным, и аналитическое решение для проблемы оптимизации трудно получить. Однако может быть применена та же самая итеративная процедура оптимизации "наискорейшего спуска", как определена в предыдущем разделе.

Если выбрана обработка итеративного улучшения, аппроксимация, использованная выше, также может быть пропущена. Если ее начинают с точного критерия, следующее выражение является результатом частного дифференцирования для :

Для обоих из двух правил итеративной адаптации, описанных выше, опять не может быть гарантировано, что получен глобальный оптимум. Вместо этого способ сходится к локальному минимуму, и конечный результат будет сильно зависеть от начального решения.

Подробные моделирования относительно реальных данных аудио из CD EBU-SQAM продемонстрировали ожидаемое улучшение, при применении изобретенной обработки. Имеются выигрыши эффективности более чем на 0,2 пунктов процента (при допущении 16-битовых сигналов) относительно других предложений.

D) Приложение к IntMDCT стерео

Обычно применяют отдельную оптимизацию для левого и правого каналов, и приблизительно все источники ошибки округления могут быть рассмотрены независимо друг от друга, если допускают для всех ошибок округления, что <<

Следовательно, адаптация фильтров изменения формы шума для n₁, n₂, n₃ от обработки TDAC и для n₄ от первого этапа многомерной подъемной схемы является прямой, и может быть использовано приближенное решение из раздела С.1. Для n₆, т.е. для конечного этапа многомерной подъемной схемы, любое изменение формы шума не выполняют. Вопрос в том, как найти решение для адаптации n ₅. Этот шум квантования имеет двойное воздействие: во-первых, он непосредственно добавляется к Х, т.е. к левому каналу, и, во-вторых, его частотное преобразование добавляется к Y, т.е. к правому каналу. Следовательно, должен быть найден компромисс между отсутствием изменения формы шума и полным изменением формы шума с использованием "обычного" правила приближенной адаптации.

Штраф для шума ошибки округления n ₅ состоит из двух слагаемых:

Дифференцирование для -го коэффициента дает

Приравнивание этих составляющих нулю имеет результатом:

что дает модифицированное правило адаптации:

По сравнению с разделом С.1 единственным отличием является то, что главную диагональ модифицируют с помощью добавления R_х (0). Этот вид обработки соответствует обработке коррекции белого шума, которую иногда применяют в адаптации фильтров с линейным предсказанием, например, в J.D. Markel, A. H. Gray, "Linear Prediction of Speech", Springer-Verlag, Берлин, Гейдельберг, Нью Йорк, 1976.

Е) Приложение изобретения в кодировании/декодировании

Для более легкого понимания некоторые подробности предшествующего уровня техники описаны ввиду изобретения.

Известный основной принцип кодирования без потерь на основе с потерями изображен на фиг.4. В части кодирования на левой стороне фиг.4 входной аудиосигнал РСМ S проходит через кодер 81 с потерями в декодер 82 с потерями и как битовый поток с потерями в декодер 85 с потерями части декодирования (правая сторона).

Кодирование и декодирование с потерями используют, чтобы устранить корреляцию сигнала. Выходной сигнал декодера 82 удаляют из входного сигнала S в устройстве 83 вычитания, и результирующий разностный сигнал проходит через кодер 84 без потерь как расширенный битовый поток в декодер 87 без потерь. Выходные сигналы декодеров 85 и 87 объединяют 86 таким образом, чтобы снова получить исходный сигнал S .

Этот основной принцип раскрыт для кодирования аудио в ЕР-В-0765386 и US-B-6498811, а также обсужден в P. Graven, M. Gerzon, "Lossless Coding for Audio Discs", J. Audio Eng. Soc., том 44, № 9, Сентябрь 1996, и в J. Koller, Th. Sporer, K. H. Brandenburg, "Robust Coding of High Quality Audio Signals", 103-я конвенция AES, препринт 4621, август 1997.

В кодере с потерями входной аудиосигнал РСМ S проходит через банк фильтров анализа и квантование для выборок подполосы в обработку кодирования. Квантованием управляют с помощью перцепционной модели, которая принимает сигнал S и может принимать соответствующую информацию из банка фильтров анализа. На стороне декодера закодированный битовый поток с потерями декодируют, и результирующие выборки подполосы проходят через банк фильтров синтеза, который выводит декодированный сигнал РСМ с потерями. Примеры кодирования и декодирования с потерями описаны подробно в стандарте ISO/IEC 11172-3 (MPEG-1 Audio).

В известной декомпозиции целочисленного MDCT на фиг.5 каждый из входных сигналов x(k) и y(k) проходит через TDAC с фиксированным изменением формы шума NS и DCT с фиксированным изменением формы шума NS, предоставляя выходные сигналы X(i) и Y(i). Версия стерео приведена в качестве примера, как в вышеупомянутой статье R. Geiger и др., Proc. Of ICASSP, May 2004. TDAC выполняют на канал в три этапа Т по Т . DCT выполняют с использованием изображенных этапов, причем D по D являются этапами лифтинга (сравнивая с фиг.2), а Р является перестановкой и изменением знака на обратный для одного канала (без операции округления).

Этапы лифтинга отмечены с помощью "*" и требуют операции округления.

В предшествующем уровне техники фиксированное изменение формы шума предпочтительно осуществляют в Т , T , Т и D и выборочно в D .

В соответствии с изобретением адаптивное изменение формы шума осуществляют на одном или более этапов/стадий Т , T , Т и D и выборочно на этапе/стадии D .

Фиг.6 изображает известный один многомерный этап лифтинга без изменения формы шума для вектора входных сигналов x(0), ,x(N), выдающий вектор выходных сигналов x(N+1), ,x(2N).

На основании фиг.6, фиг.7 изображает известное изменение формы шума на одном многомерном подъемном этапе. Оно применяется к Т , T , Т , D и выборочно D в алгоритме IntMDCT фиг.5.

На основании фиг.5, фиг.8 изображает автономный вариант изобретенного IntMDCT адаптивного изменения формы шума. Из входного сигнала x(k) вычисляют параметры или коэффициенты адаптации фильтра на этапе или стадии 121 адаптации фильтра. Вычисленные параметры или коэффициенты фильтров h(k) предоставляют на этап или стадию 123 целочисленного MDCT, которая включает в себя TDAC с фильтрацией адаптивного изменения формы шума и DCT с фильтрацией адаптивного изменения формы шума. Этап или стадия 121 адаптации фильтра также может предоставлять соответствующую побочную информацию 122 для декодера.

На основании фиг.8, фиг.9 изображает автономный вариант изобретенного обратного IntMDCT адаптивного изменения формы шума. Декодированный входной сигнал X(i) проходит через этап или стадию 133 обратного целочисленного MDCT, который включает в себя обратное TDAC с адаптивным изменением формы шума и обратное DCT с адаптивным изменением формы шума. Из его выходного сигнала x(k) вычисляют параметры или коэффициенты адаптации фильтра на этапе или стадии 131 адаптации фильтра. Вычисленные параметры или коэффициенты фильтров h(k) предоставляют на этап/стадию 133.

Этап или стадия 131 адаптации фильтра также может принимать соответствующую побочную информацию 122 для кодера. В таком случае выходной сигнал декодера x(k) может не требоваться для этапа/стадии 131.

Обработка в соответствии с фиг.8 и фиг.9 является применимой для автономных кодеков без потерь, как, например, SLS MPEG-4 без ядра.

Фиг.10 изображает блок-схему изобретенного кодера преобразования масштабируемого в без потерь с использованием IntMDCT адаптивного изменения формы шума, причем "масштабируемый в без потерь" означает, что битовый поток содержит, по меньшей мере, два иерархических уровня: один, соответствующий внутреннему кодеку с потерями (например, ААС или mp3), и другой, который в комбинации с первым уровнем представляет исходные выборки РСМ. С другой стороны, входной сигнал x(k) проходит через кодер 144 преобразования (например, кодер ААС), выборочный этап или стадию 146 отображения и этап или стадию 147 округления или квантования в устройство 140 вычитания. Эти этапы/стадии включены в кодер 81 с потерями на фиг.4. Кодер 144 преобразования предоставляет закодированный сигнал 148 для битового потока кодера с потерями.

С другой стороны, входной сигнал x(k) проходит через целочисленное MDCT 143 в другой вход устройства 140 вычитания. Для целочисленного MDCT 143 используют изобретенное адаптивное изменение формы шума, т.е. целочисленное MDCT 143 включает в себя TDAC с фильтрацией адаптивного изменения формы шума и DCT с фильтрацией адаптивного изменения формы шума. С использованием соответствующей информации (например, квантованных коэффициентов преобразования, параметров или квантователей и, возможно, исходных коэффициентов преобразования) из кодера 144 на этапе или стадии 145 оценки остаточного сигнала оценивают остаточный сигнал (во временной или частотной области), который используют, чтобы управлять этапом или стадией 141 адаптации фильтра, как описано выше. Вычисленные параметры или коэффициенты фильтров h(k) предоставляют на этап/стадию 143.

В устройстве 140 вычитания выходной сигнал этапа/стадии 147 вычитают из выходного сигнала целочисленного MDCT 143, при этом предоставляют остаточный сигнал R(i). Сигнал R(i) кодируют, как требуется, сравнивая с кодером 84 без потерь на фиг.4. В отличие от фиг.8 этап или стадия 141 адаптации фильтра не должен предоставлять соответствующую побочную информацию для декодера, поскольку адаптация может быть выполнена на стороне декодера.

Фиг.11 изображает блок-схему изобретенного декодера преобразования масштабируемого в без потерь с использованием обратного IntMDCT адаптивного изменения формы шума. Входной сигнал 158 декодера из битового потока кодера преобразования проходит через декодер 154 преобразования (например, декодер ААС или mp3), выборочный этап или стадию 156 отображения и этап или стадию 157 округления или квантования в устройство 150 объединения.

Устройство 150 объединения объединяет выходной сигнал этапа/стадии 157 с декодированным остаточным входным сигналом R(i) из расширенного битового потока. Объединенный сигнал X(i) проходит через обратное целочисленное MDCT 153, которые выводит выходной сигнал декодера без потерь x(k), который соответствует S на фиг.4. Для обратного целочисленного MDCT 153 используют изобретенное адаптивное изменение формы шума, т.е. целочисленное MDCT 143 включает в себя TDAC с фильтрацией адаптивного изменения формы шума и DCT с фильтрацией адаптивного изменения формы шума. С использованием соответствующей информации (например, квантованных коэффициентов преобразования, параметров или квантователей и, возможно, исходных коэффициентов преобразования) из декодера 154 на этапе или стадии 155 оценки остаточного сигнала оценивают остаточный сигнал (во временной или частотной области), который используют, чтобы управлять этапом или стадией 141 адаптации фильтра, как описано выше. Вычисленные параметры или коэффициенты фильтров h(k) предоставляют на этап/стадию 153. В отличие от фиг.9 этап или стадия 151 адаптации фильтра не должен принимать соответствующую побочную информацию для декодера, поскольку адаптация может быть выполнена на стороне декодера. Обработка в соответствии с фиг.10 и фиг.11 является применимой, например, к SLS MPEG-4.

Фиг.12 изображает блок-схему автономного варианта изобретенного IntMDCT адаптивного предварительного фильтра. С одной стороны, входной сигнал x(k) подают на этап или стадию 161 адаптации фильтра. Выходной сигнал этого этапа/стадии предоставляет параметры или коэффициенты фильтров h(k) для этапа/стадии 168 характеристик фильтра. С другой стороны, входной сигнал x(k) проходит через устройство 160 объединения на этап или стадию 163 целочисленного MDCT (на котором не выполняют никакого изменения формы шума), который предоставляет выходной сигнал X (i), кодируемый для передачи в битовом потоке. Выходной сигнал устройства 160 объединения проходит через этап или стадию 168 характеристик фильтра и устройство 169 квантования в другой вход устройства 160 объединения. Как на фиг.8, этап или стадия 161 адаптации фильтра также может предоставлять соответствующую побочную информацию 162 для декодера.

Фиг.13 изображает блок-схему автономного варианта изобретенного адаптивного постфильтра, следующего после обратного IntMDCT. Входной сигнал декодера X(i), декодированный из битового потока, проходит через этап или стадию 173 обратного целочисленного MDCT, на котором не выполняют изменения формы шума. Выходной сигнал этого этапа/стадии подают в устройство 170 объединения, которое предоставляет выходной сигнал x(k). Выходной сигнал x(k) подают на этап адаптации фильтра или стадию 171, которая предоставляет параметры или коэффициенты фильтров h(k) для этапа/стадии 178 характеристик фильтра. Выходной сигнал этапа или стадии 173 обратного целочисленного MDCT проходит через этап или стадию 178 характеристик фильтра и устройство 179 квантования в другой вход устройства 170 объединения.

Этап или стадия 171 адаптации фильтра также может принимать соответствующую побочную информацию 162 из кодера. В таком случае выходной сигнал декодера x(k) может не требоваться для этапа/стадии 171.

Обработка в соответствии с фиг.12 и фиг.13 является применимой для автономных кодеков без потерь, как, например, SLS MPEG-4 без ядра.

Преимущественно оптимизированная обработка адаптивного изменения формы шума всегда создает лучшую эффективность, чем обработка без формирования формы шума или простого формирования формы шума низких частот, осуществленная в вышеупомянутом SLS MPEG-4. В соответствии с изобретением осуществляют адаптивное изменение формы шума низкого порядка. Преимущественно тогда адаптация коэффициентов фильтра является прямой, а увеличение вычислительной сложности является очень умеренным.

Изобретение помогает управлять скоростью передачи данных и ограничивать скорость передачи данных с помощью изменения формы спектра шума ошибки округления.

Изобретение является применимым для кодирования без потерь, поскольку в него включают декомпозицию на последовательные этапы лифтинга.

Цифровой аудио- или видеосигнал, который кодируют в соответствии с изобретением, может быть запомнен или записан на носителе памяти, например оптическом диске, в твердотельной памяти или на жестком диске.