Compression vidéo MPEG-4 Ecole d Eté PDMS

Скачать презентацию Compression vidéo MPEG-4 Ecole d Eté PDMS

26060a96f19acb465ba569ba8cb100a0.ppt

Количество слайдов: 53

Compression vidéo MPEG-4 • Ecole d’Eté PDMS , 30 Août 2001 • Cécile Dufour (cecile. dufour@philips. com) • Video and Communication Group Philips Recherche France (PRF) Laboratoires d’Électronique Philips (LEP)

• MPEG-4 : un standard ISO • MPEG-4 visual : introduction • MPEG-4 vidéo : les outils • MPEG-4 vidéo : planning et profiles Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Plan

Applications Multimédia Interactives : Visiophonie, Internet Streaming, TV Broadcast, . . . Télévision numérique 3 -10 Mbit/s MPEG-7 : indexation de contenu Stockage d ’audio et vidéo naturelles sur support numérique (CD-ROM, DAT…) 1. 2 Mbit/s Vidéo Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 : un standard ISO

ISO-IEC ITU-T JTC 1 SG 15 WG 1 (JPEG) WG 11 (MPEG) WG 12 (MHEG) MPEG-1 H. 263/M H. 262 = MPEG-2 H 26 L MPEG-4 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 : un standard parmi d ’autres (1/2)

H. 261 H. 263 MPEG-1 H. 263+ MPEG-4 MPEG-2 H. 26 L 1998 2000 2002 Cécile Dufour. Philips Recherche France (PRF) ITU 1984 1986 1988 1990 1992 1994 1996 ISO Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 : un standard parmi d ’autres (2/2)

• Requirements • Delivery • Systems • Video } Visual standard ISO/IEC/14496 -2 • SNHC • Audio • Tests • Liaisons Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 : organisation

14496 -1 • Systems • Visual • Audio • Conformance • Software • Delivery 14496 -2 14496 -3 14496 -4 14496 -5 14496 -6 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 : les standards

VO = Objet Visuel • Un objet « visuel » peut-être: • • Vidéo Texture fixe Maillages 2 D et 3 D Animation « Face and Body » (FBA) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : introduction

Video Object #1 Type Video Object #0 Décor de fond Scène composée Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : exemple de composition (1/3)

Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : exemple de composition (2/3)

Fond synthétique Graphique et Image composée Vidéo et forme grise forme opaque Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : exemple de composition (3/3)

N e t w o r k L a y e r . . . Decompression Composition & Rendering . . . Elementary Stream BIFS Primitive AV Objects Scene Description Hierarchical, Interactive, Audiovisual Scene End user Presentation Upstream Data User Events, Class Request, . . . Demultiplex Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : combinaison avec BIFS

VS 1 Visual. Object (VO) VO 1 Video. Object. Layer (VOL) Group. Of. VOPs (GOV) Video. Object. Plane (VOP) VOL 1 GOV 1 VOP 1 Video. Session (VS) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Visual : structure d ’une « Visual Session » VO 2 VOL 2 GOV 2 VOPk VOP 1 VOPk

• Débits: de quelques kbit/s à 10 Mbit/s à ? Gbit/s • Formats: • • • taille rectangulaire, de 16*16 à 8196*8196 entrelacé et progressif 4 à 12 bits de profondeur pour les pixels fréquence image arbitraire forme arbitraire YUVA 4: 2: 0: 4 and 0: 0: 0: 4 (seulement la forme) • Compatible retour avec H 263 baseline (1996) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : recommandations de base

Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : recommandations de base / plan alpha

• Robustesse aux erreurs de transmission • Représentation « dégradable » ( « scalability » ) • Interactivité • Amélioration des performances en compression Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : fonctionnalités

• Film 90 minutes original = 896 Gbit • MPEG-2 à 4 Mbit/s (taux de compression de 40) • Film 90 minutes compressé = 22 Gbit • Stockage versus transmission • MPEG-X et H 26 X sont des schémas avec pertes • Problème d ’optimisation débit/distorsion: • extraire l ’information du signal • dégrader de façon la plus invisible à l ’œil • traquer la redondance • spatiale • temporelle • tenir compte du système visuel humain • Signal numérique TV = 720*576*25*2 Octet/s = 166 Mbit/s Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (1/12)

Original Image Akiyo (QCIF) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (2/12) L ’approche en Macroblocs (MBs)

X: luminance, alpha O: chrominance 1 MB MPEG-4 == 4 Blocs 8*8 Y 1 Bloc 8*8 U 1 bloc 8*8 V Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (3/12) 4: 2: 0: 4 format, Macroblock 16*16

• Redondance spatiale : DCT • Redondance temporelle : compensation de mouvement • Codage residuel : DCT 7 7 F(u, v)=1/4 C(u)C(v) S S f(x, y) cos(p(2 x+1)u/16)cos(p(2 y+1)v/16) x=0 y=0 C(u) et C(v) = 1/ 2 pour u, v =0 = 1 sinon F(u, v) sur 12 bits (+/- 2048) pour f(x, y) sur 8 bits (0 -255) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (4/12) Principe du codage

Moyenne(DC) + Énergie concentrée sur quelques coefficients AC 8 8 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (5/12) Transformée DCT

• Les coefficients DCT sont: • quantifié par un PAS DE QUANTIFICATION Q (entre [1; 31]) 8 Moyenne + Énergie concentrée sur quelques coefficients Division par Q et arrondi 8 (matrice de quantification) Moyenne + Énergie concentrée sur quelques coefficients non nuls 8 8 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (6/12) Quantification

-2 -1 1 0 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 6 = (0, 0, 6) -2 = (0, 0, -2) 3 = (0, 0, 3) 1 = (0, 1, 1) -1 = (0, 0, -1) -1 = (1, 2, -1) 0010001 0 0100 1 00101 0 011 0 11 1 0101 1 • Les coefficients DCT quantifiés sont: • visités en zigzag (trois zigzags pour MPEG-4) • transmis en EVENEMENTS • last - run - level (MPEG-4) • run-level- EOB (H 26 L) • représentés en binaire • par des VLC : codes à longueurs variables (MPEG-4) • avec un codage arithmétique (H 26 L) 6 3 0 0 0 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (7/12) Codage entropique

Estimation Mouvement Image de Référence Image à Coder Compensation Mouvement Erreur = Différence (amplitude * 10) Image Estimée Bloc Matching Exhaustif Mouvements ± 7 * ± 7 Blocs 8*8 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (8/12) Estimation/Compensation de mouvement

I 1 B 2 B 3 P 4 B 5 B 6 Coding order: I 1 P 4 B 2 B 3 I 7 B 5 B 6 I 7 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (9/12) I/B/P et GOP concept, N=6, M=3

• Type d ’images, I, P, ou B • Décisions par macroblocks : • Dans une image I, AC prédiction • Dans une image P, intra ou inter, taille du vecteur mouvement • Dans une image B, type de prédiction(avant, arrière, bidirectionnel, direct) • Décisions par image Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (10/12) Décisions de codage

Signal image Décision Inter/Intra: DCT Quant soustraction Quant-1 Compensation mouvement Deblocking filter DCT-1 Prédiction AC/DC Codage entropique (VLC/ Codage arithmétique) Mémoire(s) Estimation Prédiction des mouvement vecteurs mouvement Canal Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (11/12) Schéma global d ’un encodeur MPEG-X/H 26 -X

Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Intermède sur la compression vidéo (12/12) Tableau comparatif des outils (non exhaustif)

• Jusqu ’à 30% d ’améliorations comparé à MPEG-1 • Pas de comparaisons avec MPEG-2 sur matériel entrelacé • Pas de comparaisons avec H 263/H 263+ • Amélioration des performances en compression Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (1/2)

• • • Prédiction AC/DC 4 MV: Vecteurs mouvement sur blocs 16*16 et 8*8 Vecteurs de mouvements sans restriction aux bords Mode direct dans les B-VOPs Table VLC adaptées au bas débits Capacité de skipper des images • et aussi: • • Compensation du mouvement global (GMC) 1/4 pixel en compensation de mouvement Conversion Dynamique de résolution (DRC) Sprite • Outils responsables de l ’efficacité de codage Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : fonctionnalités Amélioration des performances en compression (2/2)

• Robustesse aux erreurs de transmission • • re synchronisation grâce aux paquets Vidéo priorités grâce au partionnement des données recouvrement des erreurs grâce aux VLC réversibles (RVLC) description dans l ’annexe E du standard • Amélioration des performances en compression Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : fonctionnalités Robustesse aux erreurs de transmission (1/6)

• Start code : resync_marker • macroblock number • QUANT • Header extension code (HEC) ou non. HEC répète les informations du VOP header • Données • Byte aligned Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Robustesse (2/6) Paquets Vidéo (1)

• Modes prédictifs confinées (MV, AC/DC prediction) • Resync_marker non emulable • Resynchronisation possible • Paquets de taille quelconque, variable dans le temps. Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Robustesse (3/6) Paquets Vidéo (2)

• I_VOP • forme et information sur les DCs pour chaque macrobloc • Motif séparateur (DC marker) • AC information décrit dans la seconde partition • P_VOP • forme, mouvement and décision de codage pour chaque macroblock • Motif séparateur (motion marker) • AC et DC information (texture) dans la seconde partition • B_VOP • pas de data partitionning • A l’intérieur d’un paquet, les données elles-mêmes sont organisées: Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Robustesse (4/6) Data partitioning (1)

• la première partition est plus importante que la seconde • possibilité de faire de la protection inégale d’erreur (UEP) • Data partitioning facilite la détection d’erreurs • en utilisant les motifs séparateurs • détection possible dans la première partition et dans la seconde séparément. • Data partitioning permet une meilleure dissimulation d’erreurs • cas où les erreurs sont détectées dans la seconde partition seulement: • DC pour les I_VOPs • Vecteurs mouvements pour les P_VOPs • Data partitioning permet d’assigner des priorités sur les données Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Robustesse (5/6) Data partitioning (2)

• RVLC irréductible dans les deux directions • RVLC plus coûteux en terme de débit • RVLC améliore la détection d’erreurs et la dissimulation d’ erreurs • Dans la seconde partition d’un paquet, codage de la texture sur tables VLC différentes (tables RVLC) Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Robustesse (6/6) Reversible VLC

• Robustesse aux erreurs de transmission • Représentation « dégradable » ( « scalability » ) • temporelle • spatiale • de qualité (scalabilité fine « FGS » ) • Amélioration des performances en compression Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : fonctionnalités Représentation « dégradable » ( « scalability » ) (1/3)

P I B B B I P Enhancement layer P Base layer temps Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Scalabilité (2/3) Scalabilité temporelle

P Enhancement layer P P I B P Base layer temps Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : Scalabilité (3/3) Scalabilité à grains fins

• MPEG-4 : un standard ISO • MPEG-4 visual: introduction • MPEG-4 vidéo : les outils • MPEG-4 vidéo : planning et profiles Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Plan (4)

• International Standard (IS) depuis mi-1999 • Version 2 • DAM-1 en mi 2000 • Version 3 and Version 4 (AMD 3 and AMD 4) • DAM 3 et DAM 4 attendus pour fin 2001 • Version 1 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : planning

• Simple, Simple scalable • Core • Main • AMD 1 • ARTS (Advanced Real Time Simple) • Core scalable • ACE (Advanced Coding Efficiency) • AMD 3 et AMD 4 • Studio Profile • Advanced Simple profile et FGS profile • Version 1 Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : profiles

Simple Scalable Rectangular Spatial Scal. (B-VOP) Main Core Shape Core Scalability Temporal Rectangular Temporal Scal. (B-VOP) Simple prediction AC/DC 4 MV, unrestricted. MV Interlace B-VOP MPEG-2 Quantification Binary Shape Grey Shape H 263 Sprite Video Packets Data partitioning Reversible VLC Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : profiles Version 1 (1)

Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Main Core Simple Scalable Cécile Dufour. Philips Recherche France (PRF) MPEG-4 Vidéo : profiles Version 1 (2)

Core. Spatial Scalability Scalable Shape ACE Shape Temporal Scalability ACE GMC 1/4 pel SA-DCT Rectangular Spatial Scal. (B-VOP) Core Scalable Rectangular Temporal Scal. (B-VOP) AC/DC prediction 4 MV, unrestricted. MV Interlace B-VOP MPEG-2 Quantification Binary Shape Grey Shape H 263 Sprite Video Packets Data partitioning Reversible VLC DRC/ Newpred ARTS Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : profiles AMD 1 (1)

ACE ARTS Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : profiles AMD 1 (2) Core Scalable

Studio FGS Fine Granular Scalable Interlace B-VOP MPEG-2 Quantification 1/4 pel GMC AC/DC prediction 4 MV, unrestricted. MV H 263 Advanced ASP Simple Video Packets Data partitioning Reversible VLC Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 Vidéo : profiles amendements 3 et 4

• • acceptation de la vidéo seule vérification de la complexité planning agressif d ’acceptation d ’ici début 2003 intégration dans un profile • Octobre 2000: « Call for evidence » en compression. • Janvier 2001: MPEG-4 n’est plus le « state-of-the-art » • Juillet 2001 : Appel à proposition. H 26 L en pôle position (au moins 30% de gain) • Discussion autour de H 26 L: Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 MPEG-4 vidéo : Call pour un nouveau standard?

• MPEG-4 disponible maintenant • Du contenu, du contenu. . . Cécile Dufour. Philips Recherche France (PRF) Compression vidéo MPEG-4. École d ’Été PDMS Août 2001 Avenir de la compression vidéo