способ для изменения опорного блока в опорном изображении, способ для кодирования или декодирования блока изображения с помощью опорного блока и устройство для этого, и носитель информации, переносящий блок, кодированный с помощью измененного опорного блока

Формула изобретения

1. Способ для изменения опорного блока (RFBL) с опорными пикселями в опорном изображении (I_REF), причем измененный опорный блок (MRFB) предназначен для предсказания блока (CRBL) пикселей в текущем изображении (I_CUR), и способ содержит этапы, на которых

преобразуют (TRF) опорный блок (RFBL) в первый набор (REF1(u,v,)) коэффициентов,

изменяют первый набор (REF(u,v,)) коэффициентов с помощью одного или нескольких весов (TR(u,v,)), и

обратно преобразуют (ITR) измененный первый набор коэффициентов, при этом

упомянутый блок (CRBL) предсказывается с помощью дополнительных пикселей в текущем изображении (I_CUR),

упомянутый опорный блок (RFBL) предсказывается с помощью дополнительных опорных пикселей опорного изображения (I_REF),

упомянутый предсказанный опорный блок (PRFB) преобразуется (TRF) вместе с упомянутыми дополнительными опорными пикселями во второй набор (Ref1(u,v,)) коэффициентов,

упомянутый предсказанный блок (PCRB) преобразуется (TRF) вместе с упомянутыми дополнительными пикселями в третий набор (CURR(u,v)) коэффициентов, и

веса (TR(u,v,)) определяются с помощью упомянутого второго набора (Ref1(u,v,)) коэффициентов и упомянутого третьего набора (CURR(u,v)) коэффициентов, причем способ дополнительно содержит этапы, на которых

проверяют коэффициент из второго набора (Ref1(u,v,)), превышает ли он первую пороговую величину, и проверяют соответствующий коэффициент из третьего набора (CURR(u,v)), превышает ли он такую же или другую третью пороговую величину,

если, по меньшей мере, один из проверенных коэффициентов не превышает соответствующую пороговую величину, то определяют соответствующий вес как равный нулю,

а в противном случае определяют соответствующий вес как частное коэффициента из второго набора, деленного на упомянутый соответствующий коэффициент из третьего набора.

2. Способ по п.1, в котором

количество весов (CURR(u,v,)) соответствует количеству коэффициентов в первом наборе (REF(u,v,)).

3. Способ по п.1, в котором

упомянутый опорный блок (RFBL) преобразуется вместе с упомянутыми дополнительными опорными пикселями.

4. Способ для кодирования или декодирования блока (CRBL) в изображении (I_CUR) с помощью опорного блока (RFBL) в опорном изображении (I_REF), причем упомянутый способ содержит этапы, на которых

изменяют опорный блок (RFBL) в соответствии с п.1 и

используют упомянутый измененный опорный блок (MRFB) в качестве предсказания блока (CRBL) для кодирования или декодирования упомянутого блока (CRBL).

5. Способ по п.4, в котором

количество весов (CURR(u,v,)) соответствует количеству коэффициентов в первом наборе (REF(u,v,)).

6. Способ по п.4, в котором

упомянутый опорный блок (RFBL) преобразуется вместе с упомянутыми дополнительными опорными пикселями.

7. Устройство для кодирования или декодирования изображения (I_CUR) с помощью опорного изображения (I_REF), содержащее

средство для преобразования контрольной области (RFRA1), содержащей опорный блок (RFBL) опорного изображения, в первый набор (REF(u,v,)) коэффициентов,

средство для определения одного или нескольких весов (TR(u,v)),

средство для присвоения весов коэффициентам в первом наборе (REF(u,v,)) с помощью упомянутых весов (TR(u,v)) и

средство для обратного преобразования взвешенного первого набора коэффициентов в измененную контрольную область (MRRA), содержащую измененный опорный блок (MRFB), используемый для кодирования или декодирования, при этом

упомянутое средство для определения весов (TR(u,v,)) приспособлено для предсказания упомянутого блока (CRBL) с помощью дополнительных пикселей текущего изображения (I_CUR),

для предсказания упомянутого опорного блока (RFBL) с помощью дополнительных опорных пикселей опорного изображения (I_REF) и

для дополнительного использования упомянутого предсказанного блока (PCRB) и упомянутого предсказанного опорного блока (PRFB) для определения упомянутых весов,

упомянутое средство для преобразования дополнительно приспособлено для преобразования упомянутого предсказанного опорного блока (PRFB) вместе с упомянутыми дополнительными опорными пикселями во второй набор (REF1(u,v,)) коэффициентов,

упомянутое средство для преобразования дополнительно приспособлено для преобразования упомянутого предсказанного блока (PCRB) вместе с упомянутыми дополнительными пикселями в третий набор (CURR(u,v,)) коэффициентов, причем упомянутое устройство содержит

средство для проверки, превышает ли первую пороговую величину коэффициент из второго набора (REF1(u,v,)), и для проверки, превышает ли соответствующий коэффициент из третьего набора (CURR(u,v,)) такую же или другую вторую пороговую величину, и

средство для присвоения значения соответствующему весу (TR(u,v,)), где упомянутое значение равно нулю, если, по меньшей мере, один из проверенных коэффициентов не превышает соответствующую пороговую величину,

причем, в противном случае упомянутое значение пропорционально частному коэффициента из второго набора (REF1(u,v,)), деленного на упомянутый соответствующий коэффициент из третьего набора (CURR(u,v,)).

8. Устройство по п.7, в котором

количество весов (CURR(u,v,)) соответствует количеству коэффициентов в первом наборе (REF(u,v,)).

9. Устройство по п.7 или 8, в котором

упомянутый опорный блок (RFBL) преобразуется вместе с упомянутыми дополнительными опорными пикселями.

10. Носитель информации, переносящий кодированный блок (CRBL) изображения (I_CUR), причем упомянутый блок кодируется в соответствии с п.4.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к области кодирования/декодирования сигналов изображений. Более конкретно, изобретение относится к способу для изменения опорного блока в опорном изображении. Изобретение также относится к способу для кодирования или декодирования блока в изображении с помощью измененного опорного блока, и к соответствующему устройству, а также к носителю информации, переносящему блок, закодированный с помощью измененного опорного блока.

Уровень техники

В последовательностях изображений, содержащих затухающие изображения и незатухающие изображения, внешнее предсказание одного из упомянутых затухающих изображений с помощью одного из незатухающих изображений и наоборот является сложным. Причина в том, что незатухающие изображения значительно отличаются от затухающих изображений. Поэтому кодирование разности между одним из упомянутых затухающих изображений и одним из незатухающих изображений требует высокой скорости передачи битов.

Стандарт кодирования видеосигнала H.264-AVC предлагает изменение опорных изображений путем их оценивания и формирования предсказания в виде суммы двух или более таких взвешенных разных опорных изображений. Если одно из опорных изображений содержит затемнение, то соответствующий вес может быть отрицательным.

Стандарт кодирования видеосигнала H.264-AVC не устанавливает то, как следует определять веса. Поэтому веса необходимо передавать в виде дополнительной информации.

Существует потребность в способе и устройстве изменения опорного изображения, которые помогают увеличить эффективность кодирования в случае затухания.

Сущность изобретения

Эта потребность достигается с помощью способа для изменения опорного блока опорных пикселей в опорном изображении, где упомянутый измененный опорный блок предназначен для предсказания блока пикселей в текущем изображении, и упомянутый способ содержит признаки по п. 1 формулы изобретения.

А именно, способ содержит преобразование опорного блока в первый набор коэффициентов, изменение первого набора коэффициентов с помощью одного или нескольких весов и обратное преобразование измененного первого набора коэффициентов, где упомянутые веса определяются с помощью одного или нескольких дополнительных пикселей в текущем изображении и с помощью одного или нескольких дополнительных опорных пикселей в опорном изображении.

Использование дополнительных пикселей в текущем изображении, а также дополнительных опорных пикселей в опорном изображении позволяет определять спектральные веса, так что они отражают эффект затухания. В особенности, если опорный кадр является результатом затухания двух или более кадров, из которых один должен быть предсказан с помощью затухающего опорного кадра, то присвоение весов в спектральной области позволяет выделение значимого кадра из смешанных кадров.

В дополнительном варианте осуществления упомянутого способа упомянутый блок предсказывается с помощью упомянутых дополнительных пикселей, упомянутый опорный блок предсказывается с помощью упомянутых дополнительных опорных пикселей, а упомянутый предсказанный блок и упомянутый предсказанный опорный блок дополнительно используются для определения упомянутых весов.

В еще одном дополнительном варианте осуществления упомянутого способа упомянутый предсказанный опорный блок преобразуется вместе с упомянутыми дополнительными опорными пикселями во второй набор коэффициентов, упомянутый предсказанный блок преобразуется вместе с упомянутыми дополнительными пикселями в третий набор коэффициентов, а веса определяются с помощью упомянутого второго набора коэффициентов и упомянутого третьего набора коэффициентов.

Упомянутый еще один дополнительный вариант осуществления способа также может содержать проверку коэффициента во втором наборе, превышает ли он пороговую величину, и проверку соответствующего коэффициента в третьем наборе, превышает ли он также пороговую величину. Если по меньшей мере один из проверенных коэффициентов не превышает пороговую величину, то соответствующий вес определяется как равный нулю. В противном случае соответствующий вес определяется как частное коэффициента из второго набора, деленного на упомянутый соответствующий коэффициент из третьего набора.

Изобретение также имеет отношение к способу для кодирования или декодирования блока в изображении с помощью опорного блока в опорном изображении. Упомянутый способ содержит изменение опорного блока в соответствии с одним из вариантов осуществления способа для изменения опорного блока в опорном изображении и использование упомянутого измененного опорного блока в качестве предсказания блока для кодирования или декодирования упомянутого блока.

Это, в частности, позволяет декодирование блока, предсказанного с помощью затухающего блока, без необходимости специальной дополнительной информации в отношении затухания.

Изобретение дополнительно имеет отношение к устройству для кодирования или декодирования изображения с помощью измененного опорного изображения.

Упомянутое устройство содержит средство для преобразования опорного блока в опорном изображении в первый набор коэффициентов, средство для определения одного или нескольких весов, средство для присвоения весов коэффициентам в первом наборе с помощью упомянутых весов и средство для обратного преобразования взвешенного первого набора коэффициентов, где упомянутые веса определяются с помощью одного или нескольких дополнительных пикселей в текущем изображении и с помощью одного или нескольких дополнительных опорных пикселей в опорном изображении.

В дополнительном варианте осуществления упомянутого устройства упомянутое средство для определения весов приспособлено для предсказания упомянутого блока с помощью упомянутых дополнительных пикселей, для предсказания упомянутого опорного блока с помощью упомянутых дополнительных опорных пикселей и для дополнительного использования упомянутого предсказанного блока и упомянутого предсказанного опорного блока для определения упомянутых весов.

Имеется еще один дополнительный вариант осуществления устройства, в котором упомянутое средство для преобразования дополнительно приспособлено для преобразования упомянутого предсказанного опорного блока вместе с упомянутыми дополнительными опорными пикселями во второй набор коэффициентов, упомянутое средство для преобразования дополнительно приспособлено для преобразования упомянутого предсказанного блока вместе с упомянутыми дополнительными пикселями в третий набор коэффициентов, и упомянутое средство для преобразования дополнительно приспособлено для определения весов с помощью упомянутого второго набора коэффициентов и упомянутого третьего набора коэффициентов.

Упомянутый еще один дополнительный вариант осуществления устройства может дополнительно содержать средство для проверки, превышает ли пороговую величину коэффициент из второго набора, и для проверки, превышает ли также пороговую величину соответствующий коэффициент из третьего набора, и средство для присвоения значения соответствующему весу. Упомянутое значение равно нулю, если по меньшей мере один из проверенных коэффициентов не превышает пороговую величину. А в противном случае упомянутое значение пропорционально частному коэффициента из второго набора, деленного на упомянутый соответствующий коэффициент из третьего набора.

Количество определенных весов может соответствовать количеству коэффициентов в первом наборе.

И упомянутый опорный блок может быть преобразован вместе с упомянутыми дополнительными опорными пикселями.

Кроме того, изобретение с тем же успехом имеет отношение к сигналу или носителю информации, переносящим кодированный блок изображения, причем упомянутый блок кодируется в соответствии с упомянутым способом для кодирования или декодирования блока изображения с помощью опорного блока в опорном изображении.

Краткое описание чертежей

Типовые варианты осуществления изобретения иллюстрируются на чертежах и более подробно объясняются в нижеследующем описании.

Фиг. 1 изображает типовое изложение способа для изменения опорного блока,

Фиг. 2 изображает типовой вариант осуществления промежуточного предсказания опорного блока или текущего блока, и

Фиг. 3 изображает типовое затухающее изображение и одно из двух затемненных изображений, которые восстановлены с помощью типового варианта осуществления патентоспособного способа для изменения опорного блока.

Предпочтительные варианты осуществления изобретения

Фиг. 1 изображает типовое изложение способа для изменения опорного блока.

Контрольная область RFRA1 из n*m пикселей в опорном изображении I_REF содержит опорный блок RFBL, а также дополнительные опорные пиксели в опорном изображении I_REF. Контрольная область RFRA1 - содержащая, например, несколько опорных блоков - преобразуется с помощью преобразования TRF в первый набор коэффициентов REF1(u,v), u=0...n-1, v=0...m-1. Упомянутый первый набор коэффициентов REF1(u,v) затем взвешивается с помощью одного или нескольких весов TR(u,v). Преобразование TRF может быть дискретным косинусным преобразованием, вейвлет-преобразованием или любым другим спектральным преобразованием. Предпочтительно, чтобы каждый коэффициент взвешивался в отдельности, то есть имеется один вес на каждый коэффициент, что допускает максимальную гибкость присвоения весов. Но общий вес для двух или более коэффициентов может быть выгодным, если вычислительное усилие должно быть ограничено.

Для определения упомянутых весов TR(u,v) контрольное предсказание PRFB опорного блока RFBL формируется с помощью дополнительных опорных пикселей, содержащихся в контрольной области RFRA1. Затем образуется виртуальная контрольная область RFRA2, содержащая контрольное предсказание PRFB и дополнительные опорные пиксели. То есть виртуальная контрольная область RFRA2 отличается от контрольной области RFRA1 в том, что опорный блок RFBL заменяется упомянутым контрольным предсказанием PRFB. Виртуальная контрольная область RFRA2 преобразуется с помощью того же преобразования TRF, которое применяется к контрольной области RFRA1. Это дает второй набор коэффициентов REF2(u,v) u=0...n-1, v=0...m-1.

Определение весов дополнительно содержит формирование текущего предсказания PCRB текущего блока CRBL, содержащегося в текущем изображении I_CUR, в котором упомянутый текущий блок CRBL должен внешне кодироваться с помощью упомянутого опорного изображения I_REF. Текущее предсказание PCRB образуется с помощью дополнительных текущих пикселей, содержащихся в текущей области CRRA1, которая дополнительно содержит упомянутое текущее предсказание PCRB и которая содержится в текущем изображении I_CUR. Упомянутое текущее предсказание PCRB образуется из упомянутых дополнительных пикселей тем же самым способом, с помощью которого упомянутое контрольное предсказание PRFB образуется из упомянутых дополнительных опорных пикселей. Текущая область CRRA1 соответствует второй контрольной области RFRA2 в вертикальной и горизонтальной протяженности.

Затем образуется виртуальная текущая область CRRA2, содержащая текущее предсказание PCRB и дополнительные текущие пиксели. То есть виртуальная текущая область CRRA2 отличается от текущей области CRRA1 тем, что текущий блок CRBL заменяется упомянутым текущим предсказанием PCRB. Виртуальная текущая область CRRA2 преобразуется с помощью того же преобразования TRF, которое применяется к контрольной области RFRA1 и к виртуальной контрольной области RFRA2. Это дает третий набор коэффициентов CURR(u,v) u=0...n-1, v=0...m-1.

С помощью второго набора коэффициентов и третьего набора коэффициентов определяется набор весов TR(u,v). Предпочтительно, чтобы веса TR(u,v) определялись в отношении u=0...n-1, v=0...m-1:

(1)

где thrf и thcr являются свободно выбираемыми пороговыми величинами, предпочтительно установленными в 1.

Предпочтительно, чтобы для каждого коэффициента в первом наборе REF1(u,v) присутствовал соответствующий вес в наборе весов TR(u,v). Тогда набор измененных коэффициентов MREF(u,v) образуется путем умножения каждого коэффициента в первом наборе REF1(u,v) на его соответствующий вес для u=0...n-1 и v=0...m-1:

(2)

Упомянутый набор измененных коэффициентов MREF(u,v) обратно преобразуется (ITR) в измененную контрольную область MRRA измененных опорных пикселей.

Измененная контрольная область MRRA с измененными опорными пикселями содержит измененный опорный блок MRFB с измененными пикселями, который располагается в измененной контрольной области MRRA в относительном положении, которое соответствует относительному положению опорного блока в контрольной области RFRA. Относительное положение блока с измененными пикселями в измененной контрольной области MRRA также соответствует относительному положению контрольного предсказания PRFB в виртуальной контрольной области RFRA2.

Упомянутый измененный опорный блок MRFB затем используется в качестве предсказания применительно к внешнему кодированию упомянутого текущего блока CRBL.

То есть измененный опорный блок MRFB предпочтительно определяется одинаково в кодере для внешнего кодирования упомянутого текущего блока CRBL и еще в декодере для декодирования внешне кодированного блока.

Чтобы позволить это, необходимо, чтобы дополнительные текущие пиксели, используемые для определения весов TR(u,v), уже были декодированы, когда декодируется текущий блок CRBL. При последовательном декодировании с верхней левой вершины к нижней правой вершине изображения блок слева от текущего блока, верхний левый блок и блок с правой границы уже декодированы, и нижняя граница текущего блока CRBL совпадает с правой границей, соответственно нижней границей текущей области CRRA1, как изображено на фиг. 1.

Рассмотрим выборку в виде одиночного пикселя, в виде функции двух или более пикселей в столбце, в строке или в прямоугольнике. Полезными функциями являются среднее или среднее, которые дополнительно могут быть взвешены. Затем можно определить текущее предсказание PCRB и контрольное предсказание PRFB с помощью выборок из текущего изображения I_CUR или опорного изображения I_REF соответственно, где выборки прилегают к верхней границе или к левой границе текущего блока, соответственно и опорного блока.

Упомянутые соседние выборки могут усредняться, и результирующее среднее значение может назначаться всем пикселям в текущем предсказании PCRB, соответственно и в контрольном предсказании PRFB.

Либо пиксель в текущем предсказании PCRB определяется как среднее одной из соседних выборок, которая расположена в том же столбце, что и пиксель, который нужно определить, и одной из соседних выборок, которая расположена в той же строке, что и пиксель, который нужно определить.

Идея предсказания изображается на фиг. 2. Например, пиксель 11 определяется как среднее выборки C и выборки iii, где обе выборки могут определяться путем усреднения двух или более пикселей в соответствующей строке, если выборка прилегает к левой границе блока, или путем усреднения двух или более пикселей в соответствующем столбце, если выборка прилегает к верхней границе блока. Аналогичным образом, пиксель 8 определяется как среднее выборки D и выборки ii, а пиксель 2 определяется как среднее выборки B и выборки i. В варианте осуществления пиксель 1 не определяется с помощью выборок A и i, но также принимается во внимание выборка Q, которая может быть образована из прямоугольника пикселей в блоке на верхней левой вершине текущего блока CRBL.

Изобретение особенно полезно, если затухающее изображение используется в качестве опорного для одного из двух или более изображений, которые являются затухаемыми. Это в виде примера изображено на фиг. 3. Правое изображение является измененным опорным изображением, сформированным из типового затемнения двух изображений слева с помощью патентоспособного присвоения весов в спектральной области.