Académique Documents
Professionnel Documents
Culture Documents
H.265
Damián Ruiz Coll
(druizc@upv.es)
H.265, la renovación de H.264
UHDTV
HEVC
HD H.264/AVC
Comunicaciones
HDTV
audiovisuales de nueva
Streaming
MPEG-2 generación de alta
SD eficiencia
TV Digital (DVD)
H H: Altura Display
96º
58º 8K
OVD
32º 4K
HD 1080
ITU BT.2020 0.75H
21º HD 720 1.5H
Define 2 sub-formatos 3H
de Ultra-HD
UHDTV-1: 4K 13º SD 4.8H
UHDTV-2: 8K
6H
Nuevo códec
compresión de vídeo + Nueva tecnología de
transmisión
35
34
33
32
PSNR (dB)
31 HEVC
30 H.264
29
28
27
26
0 2 4 6 8 10 12
Rb (Mbps)
UCLM - iTEAM © 2014 17
Arquitectura y algoritmos de HEVC
Scaling
DECODER
High
Throughput
Inverse DCT
33 Directional
Predictors
+
Intra Prediction
INTER
INTRA DeblockIng
Motion Filter + SAO
8-tap & 7-tap filter Compensation
and bi-linear
interpolation Decoded
Motion Estimation Frame Buffer
– Arquitectura HEVC
Scaling
DECODER
Inverse DCT
Intra Prediction
INTER
INTRA In-Loop Filter
Motion + SAO
Compensation
Decoded
Motion Estimation Frame Buffer
CTB
(64x64)
64x64
64x64
8x8
PU
32x32
64x64
4x4
16x16
TU
8x8 32x32
4x4
4x4
UCLM - iTEAM © 2014 22
Arquitectura y algoritmos de HEVC
CU0(0)
CU1(0) CU1(1)
CU1(2) CU1(3)
DC Perdict
CU 64x64
Noisy CU64
DC Predict
– Arquitectura HEVC
Scaling
DECODER
Inverse DCT
Intra Prediction
INTER
INTRA DeblockIng
Motion Filter + SAO
Compensation
Decoded
Motion Estimation Frame Buffer
– Intra Prediction
– HEVC:
– 33 modos direccionales
– DC y Planar
– PUs: 32x32 hasta 4x4
– 4x4 DST en lugar DCT
– Pre-filtrado vecinos
– Post-filtrado
– Intra Prediction
– La complejidad de la Predicción Intra se estima 5 veces superior
a la de H.264
HEVC H.264
CU size
# PUs # modes #TUs Total # Blocks # modes #Transfor. Total
64x64 1 35 2 70 NA NA NA NA
32x32 4 35 3 420 NA NA NA NA
– Intra Prediction
Selección y reconstrucción
de pixeles de Referencia
D(x,y)
Pre-Filtrado pixeles
Referencia D(x,y)
Post-Filtrado P(x,y)
D(0,-1)
– Se duplica el número de
píxeles vecinos para el cálculo
de los predictores
D(0,N P(N,N
– Intra Prediction
– Arquitectura HEVC
Scaling
DECODER
Inverse DCT
Intra Prediction
INTER
INTRA DeblockIng
Motion Filter + SAO
Compensation
Decoded
Motion Estimation Frame Buffer
– 2D Transform
– 2D-DCT entera derivada de la DCT
– H.264: 8x8 y 4x4
– HEVC: 32x32, 16x16, 8x8 y 4x4
– Para residuos 4x4 de predicción Intra aplica la 2D-DST
– Los vectores base de la transformación se ajustan mejor a la
funciones teóricas definidas en la DCT, por lo que no es preciso
compensarlos para cada coeficiente en las etapas de
cuantificación y escalado, con el objetivo de cumplir el requisito
de ortonormalidad, como ocurre en H.264.
– Se requieren 32 bits de precisión
– Requiere de multiplicaciones (H.264 solo sumas y
desplazamientos)
UCLM - iTEAM © 2014 35
Arquitectura y algoritmos de HEVC
– 2D Transform
– Los kernel de los distintos tamaños de transformada se han
diseñado como versiones submuestreadas en las posiciones
pares de la transformada de mayor resolución, 32x32
– Cuantificación-Escalado
– Filosofía similar a la de H.264 con 52 parámetros de
cuantificación
– Arquitectura HEVC
Scaling
DECODER
Inverse DCT
Intra Prediction
INTER
INTRA DeblockIng
Motion Filter + SAO
Compensation
Decoded
Motion Estimation Frame Buffer
FILTROS INTERPOLADORES
– Utiliza estimación entera, half-pel and quarter-pel
– Luma: 8 tap filter coefficients: { -1, 4, -11, 40, 40, -11, 4, -1 }
– Luma: 7-tap filter coefficients: { -1, 4, -10, 58, 17, -5, 1 }
– Chroma: 4-tap filter [ -2,58,10,-2].
– Arquitectura HEVC
Scaling
DECODER
Inverse DCT
Intra Prediction
INTER
INTRA DeblockIng
Motion Filter + SAO
Compensation
Decoded
Motion Estimation Frame Buffer
– In Loop filter
– Deblocking Filter
– Deblocking Filter
Los bordes de la rejilla de 8x8 son filtrados cuando se cumplen los 3
criterios siguientes:
El borde pertenece a una PU o una TU.
El parámetro de fuerza del borde (Boundary strength o Bs) >0
Cuando las diferencia a ambos lados del borde están dentro de un
margen pre-establecido (+c, -c), que ha sido obtenido de los valores
de los píxeles vecinos.
– SAO
Mejora de la calidad perceptual, pero en ocasiones empeora los valores
de la calidad objetive (PSNR).
Ejemplo de aplicación SAO derecha, izquierda sin SAO:
– SAO
-Se determina el offset que se le debe aplicar a los píxeles de
cada categoría. Dos tipos:
- “Edge Offset” (EO)
- “Band Offset” (BO).
- El índice de las distintas categorías, así como sus respectivos
offsets son transmitidos al decodificador, que lleva a cabo la
suma de dicho offset para cada píxel de la imagen en función
de la categoría a la que pertenezca.
- Se aplica de modo local a nivel de CTU.
- Solo define un tipo de SAO por CTU.
- Solo utiliza patrones de clasificación de bordes 1D
- Múltiples CTU pueden compartir los mismos parámetros si
estos son clasificados de igual modo.
UCLM - iTEAM © 2014 48
Arquitectura y algoritmos de HEVC
INCORRECTO
– HEVC no dispone de herramientas de codificación especificas
para formatos entrelazados (PAFF y MBAFF) como estándares
previos, H.264 y MPEG-2.
– HEVC permite la codificación de formatos entrelazados a nivel
de secuencia, utilizando la metadatación en la VUI, SEI:
– frame_field_info_present_flag (VUI)
– picture timing SEI message
– pic_struct
UCLM - iTEAM © 2014 54
Falsos mitos de HEVC
MATIZABLE
– HEVC introduce nuevas características como tamaños de
codificación mayores (64x64) y mayores tamaños de DCT
(32x32 y 16x16) que H.264.
– Su eficiencia es ligeramente mayor a mayor resolución, pero
siempre muy superior a H.264.
– No se puede hablar de ganancia de HEVC en términos
“absolutos”
Siguientes pasos:
– Incorporación del perfil escalable de HEVC para 2015 (SHVC)
– Soporte para High Dynamic Range video (HDR)
– Soporte para Temporal sub-layers (escalabilidad gamut, 3D)
– “Outgoing Liaison to ATSC on HEVC”
Resultados experimentales
Codificación Codificación de
de fuente canal
MPEG-2 DVB-T
(1992) (1998)
RGE-1 4 5 Mbps 4
RGE-2 1 1 10 Mbps 2
MPE-1 3 2 4 Mbps 5
MPE-2 3
EFICIENCIA TDT (1G) 1 Serv/Mux
≈ 4.5 5 Mbps 4
MPE-3 4 1 4 Mbps 5
SFN2 5 4 Mbps 5
SFN3 5 4 Mbps 5
SFN4 5 4 Mbps 5
DVB-T2 = 32.42Mbps/Mux
HEVC (SD) = 1.5 Mbps/Mux EFICIENCIA TDT (2G) ≈ 22 Serv/Mux
(Penalización 0.5Mbps audio+Subtitulos)
Serv/Mux SD HD 4K
DVB-T2 +HEVC 22 8 2
- Perfiles SHVC
- Escalabilidad espacial (UHDV sobre HD)
- Escalabilidad temporal para streaming adaptativo (ABR)
- Escalabilidad de Gamut
- Escalabilidad profundidad de pixel
- Escalabilidad multivista para 3D
- Perfil retrocompatible con H.264/AVC
- Aprobación Julio 2015
Industrialización HEVC
2014
• Disponibilidad de primeras versiones eficientes de codecs
HEVC V1, para HD
• Encoder “software” eficiencia media
• Player disponibles (VLC, DivX, GPAC)
• Chipset de decoder en Q4
2015
• Versiones comerciales para UHDTV
• Disponibilidad implementaciones hardware ASIC y FPGAs
• Implantación servicios streaming, OTTs