Mpeg-4 H 264 Technique Cheng-Hung Li 李政宏 National Digital

Mpeg-4/H. 264 Technique Cheng-Hung Li 李政宏 National Digital Archives Program, Taiwan / Digital Archive Architecture Laboratory

Outline • • ISO/MPEG-1 (ISO/IEC 11172) MEPG-2 (ISO/IEC 13818) MPEG-4 (ISO/IEC 14496) Mpeg-1, 2, 4比較 Mpeg-4常見應用常見Mpeg-4應用設備視訊壓縮標準演變 2

MPEG • MPEG標準是由International Standards Organization (ISO) 的MPEG (Motion Pictures Expert Group) 所訂定公開的標準 – 該標準是用來將影片與聲音結合導入多媒體應用，並使得影音串流皆以該標準來記錄與傳播 – 自 1988年成立以來，MPEG 已經公佈了數項重要的標準，包含Mpeg-1, 2, 4, 7, 21…等 • 雖然MPEG-1 、MPEG-2 和H. 263非常適合在它們原來設計的目標環境下作，但是面對正在大舉進入市場的各種多媒體應用，這些標準並未提供適當的彈性，無法有效滿足它們的需求。 3

MPEG-1 (ISO/IEC 11172) • 主要作是將動態畫面及聲音壓成每秒 1. 5 Mbit的數位儲存媒體 – Part 1(系統)：提供多迴路傳輸和影音同步的功能 – Part 2(視訊)：提供非交錯式畫面壓縮成 1. 5 Mbit/s的 VHS品質 – Part 3(音訊)：音訊部分提供雙聲道壓縮(stereo) – Part 4：一致性測試，Part 5：軟體參照 • MPEG 1的應用 – VCD, Video CD 是一項MPEG 1完整應用，將電影壓縮到 2片CD上 – MPEG-1 Audio Layer III，亦即 MP 3 4

MEPG 2 (ISO/IEC 13818) • MPEG 2首次在 1990年七月Porto會議中被提出 • 全名為 Generic coding of Moving Pictures and Associated Audio, 對動態圖片及聲音的基本壓縮方法 – Part 1(系統)：提供資訊可以在通訊不穩定的環境(errorprone delivery system)下傳輸，有助於數位儲存媒體 – Part 2(視訊)：提供對interlaced畫面以不同解析度方式壓縮 – Part 3(音訊)：提供多頻道音訊壓縮，與MPEG 1類似 – Part 4：一致性測試，Part 5：軟體參照 5

MEPG 2 (ISO/IEC 13818) – Part 6(數位儲存媒體指令與控制, DSM-CC)：提供在不同網路下建立session的通訊協定，並進一步可以遙控 MPEG 2內容的伺服器 – Part 7(Advanced Audio Coding, AAC) ：提供多頻道音訊壓縮，但與MPEG 1音訊不相容 – Part 8：支援當取樣樣本高於 8 bits方式表現仍能壓縮 – Part 9：提供MPEG 2傳輸流和解壓縮器之間的標準界面 • MPEG 2的應用 – – Part 1, 2, 3已用在 10億台數位機上盒與數億個DVD中 DSM-CC被廣泛使用在數位機上盒的衛星與有線電纜部分 AAC則被日本用在國家數位電視標準，並應用於數位音樂的保全幾年內，MPEG 2也有許多修正與擴充。其中最重要的項目之一是 4: 2: 2 profile的擴充，使得MPEG 2可以應用在電視製作中 6

MPEG-4 (ISO/IEC 14496) • MPEG-4的「影音物件壓縮」的標準起自於紐約1993年七月的會議 • MPEG 4標準的前六個部分和MPEG 2類似，前五項的標題和MPEG 2一樣 – Part 6(多媒體整合傳輸架構)：這部分有許多內容方面重要的變革 – Part 7：最佳化軟體對Mpeg-4 具 – Part 8：於IP framework上運作 – Part 9：參照硬體描述 – Part 10：進階video編碼(AVC) 7

MPEG-4 (ISO/IEC 14496) • Part 12：基於ISO的媒體文件格式，定義一個存儲媒體內容的文件格式 • Part 13：知識產權管理和保護(IPMP for Intellectual Property Management and Protection)拓展 • Part 14：定義基於part 12用於存儲MPEG-4內容的容器文件格式 • Part 15：定義基於part 12用於存儲part 10的視頻內容的文件格式 • Part 16：動畫框架擴展(AFX for Animation Framework e. Xtension) • Part 17：同步文本字幕格式 (尚未完成 - 2005年 1月達成"最終委員會草案"(FCD for Final Committee Draft) • Part 18：字體壓縮和流式傳輸(針對公開字體格式) • Part 19：綜合用材質流(Synthesized Texture Stream) • Part 20：簡單場景表示(LASe. R for Lightweight Scene Representation)(尚未完成 – 同Part 17) • Part 21：用於描繪(Rendering)的MPEG-J拓展(尚未完成 -同Part 17) 8

MPEG-4 (ISO/IEC 14496) • MPEG-4與其他標準主要不同的地方在於其採用 content-based的機制 – 每一場景在進行壓縮之前，會先訂定前景或背景物件，又稱AVOs (audio-visual objects)。每個AVO依次定義一個或多個影片或音訊物件，而每個影格會根據其內容物件被切割成數個VOPs (video object plane)，每個 VOP則會對應到其相關的AVO，透過MPEG-4所提供之視訊編碼解碼器(video codec)可以去除空間和時間的冗餘性，達到壓縮視訊的目的。其中包括： • 1. Intra Coded VOPS (I-VOPs)會利用視訊物件平面包含的資訊進行編碼，這能移除部份的空間冗餘性(spatial redundancy) • 2. 影格間編碼(inter coding)則會透過移動估算和補償來去從影 9 格間的時間冗餘性(temporal redundancy)

MPEG-4 (ISO/IEC 14496) 10

MPEG-4 (ISO/IEC 14496) • MPEG 4能對個別物件壓縮，表示影像資料可以不必是方形的。聲音部分也是一樣，有許多壓縮具可以將語音speech和音樂audio以不同頻率與功能壓縮，包含AAC的擴充。 • 在系統部分，除了具有MPEG 1和MPEG 2的功能外，還包含了「組合功能」，並且可以對整合物件作額外的處理，也同時可以對3 D物件作時間便化的處理。 • 檔案格式必須作標準化處理。 • Part 5完全在說明MPEG 4壓縮與解壓縮的軟體開發方式。和MPEG 1/MPEG 2的軟體參照部分，有相同的規範。 11

Mpeg-4應用 • 目前有許多產業已經著手開發MPEG 4影片，做為下一代行動通訊的標準，並用來開發VOD及相關產品的解決方案 • 支援在MPEG 2傳輸流中攜帶MPEG 4物件，將多媒體應用在電視領域中 • XMT文字格式，包含SMIL，WEB 3 D等XML格式，可以被編譯成MPEG 4格式(BIFS) • 多使用者的支援Multiuser • 動畫架構animation framework，支援 3 D環境 • IPMP（智慧財產權保護）將依據現有EPMP架構擴充，以提供使用者的互動性 • Studio Profile將影像壓縮的bitrate擴充到每秒 1 Gbits • FGS(影片粒子scalability)功能將影像壓縮原理支援到更高階層的擴充能力 12

Mpeg-1, 2, 4比較 MPEG-1 MPEG-2 MPEG-4 開始成為標準的年份 1992 1995 1999 最大影像解析度 352 x 288 1920 x 1152 720 x 576 預設影像解析度(PAL) 352 x 288 720 x 576 預設影像解析度(NTSC) 352 x 288 640 x 480 最大音頻範圍 48 k. Hz 96 k. Hz 最多聲道數目 2 8 8 最大資料速率 3 Mbit/秒 80 Mbit/秒 5至 10 Mbit/秒。一般使用的資料速率 1380 kbit/s (352 x 288) 6500 kbit/s (720 x 576) 880 kbit/s (720 x 576) 每秒畫面張數(PAL) 25 25 25 每秒畫面張數(NTSC) 30 30 30 影像品質滿意很好好至很好進行壓縮的硬體要求低高很高進行解壓縮的硬體要求很低中等高 13

Mpeg-4常見應用 (1) • Mac OS X Tiger 的 Quick. Time 7 使用先進的視訊編解碼器，稱為 H. 264，他可以利用超低資料傳輸速率提供令人驚豔的畫質。這項超高效率的技術被認可為 MPEG 4 標準(MPEG 4 Part 10)的一部份，可因應行動裝置 3 G、i. Chat AV 視訊會議至廣播用 HD 等各種頻寬，提供絕佳的效果 • H. 264 只要1/3至 1/2的資料傳輸率，就可以提供與 MPEG 2 一樣的畫質使用情況解析度與影格速率取樣資料率行動內容 176 x 144, 10 -24 fps 50 -60 Kbps Internet∕標準解析度 640 x 480, 24 fps 1 -2 Mbps 高解析度 1280 x 720, 24 p 5 -6 Mbps 最大解析度 1920 x 1080, 24 p 7 -8 Mbps 14

Mpeg-4常見應用 (2) • Div. X & Xvi. D – 數年前，在PC上能用的唯一MPEG-4 編碼器是由微軟開發的，包括MS MPEG 4 V 1、MS MPEG 4 V 2、MS MPEG 4 V 3系列編碼 – 不過 V 1 和 V 2 的編碼品質並不太好，直到 MS MPEG 4 V 3 開始，畫面質量有了顯著的進步 – 不過微軟卻決定僅將這個MS MPEG 4 V 3的視頻編碼核心封閉在 Windows Media 串流媒體技術，也就是我們熟知的ASF檔案中 – 電影駭客很快便有小組修改了微軟的 MS MPEG 4 V 3，解除了不能用於AVI檔案的限制，並開放了其中一些壓縮參數，也就誕生了我們今天所熟悉的MPEG 4編碼器 Div. X 3. 11…Div. X 4, Div. X 5 – 歷經波折…. – 發展出了 Xvi. D – 現在的 Xvi. D 更可以說超越了 Div. X 5, 以更好的質量, 更強的功能挑 15 戰著新一代的 MPEG 4 應用

Mpeg-4常見應用 (4) • MP 4：一種可包含大量多媒體的檔案容器格式 • MP 4被定義於MPEG 4 part 1系統部份，其可支援所有的多媒體內容 (video, audio, subtitle, pictures)與進階內容(2 D & 3 D)、使用者互動、 DVD-menu • MP 4 內容可延伸至下列物件: – – – . mp 4 v, . m 4 v – 原始 mpeg-4 video streams. m 4 a –儲存Apple i. Tunes audio only. m 4 p - Apple for DRM protected files; . 3 gp, . 3 g 2 – 用於 3 G mobile phones • MP 4 可包含之多媒體檔案 – 視訊：MPEG-4 (Xvi. D, Div. X 5, 3 ivx, ffmpeg/ffvfw, Nero. Digital, H. 264/AVC), MPEG-2, MPEG-1, . . . 無法使用於 MS MPEG-4, MPEG-4 Div. X 3, WM 9 (Windows Media 9), RV 9 (Real Video 9). . . – 音訊：MP 3, AAC, MP 2, MP 1, Twin. VQ, . . . 無法使用於 OGG Vorbis, Voxware Metasound, . . . – 影像： JPEG, PNG 16

常見Mpeg-4應用設備 (1) • Video i. Pod – 音訊：AAC、Protected AAC（i. Tunes ）、MP 3 VBR、 Audible、Apple Lossless、WAV、AIFF – 照片：JPEG、BMP、GIF、TIFF、PSD（僅限 Mac）和 PNG格式 – 視訊支援：H. 264(768 Kbps，320 x 240, 30 fps) – 音訊格式：. m 4 v, . mp 4 與. mov – MPEG-4 視訊影片：最高可達 2. 5 Mbps，480 x 480，每秒 30 影格 • MP 4影音播放器 – 音樂格式：MP 3, WMA, OGG, AC 3 – 視頻格式：AVI, MPEG 1, MPEG 2, MPEG 4, VOB, DAT 圖片格式：JPG, 最大YUV 4800*3600 pixels, 支援圖片流覽功能 17

常見Mpeg-4應用設備 (2) • DVD錄放影機 – 支援播放檔案格式： – 影片：MPEG 4、Div. X、Mpeg-2、 Mpeg-1 – 照片：JPEG、柯達相片光碟 – 音樂: CD、MP 3檔案 • DV攝影機 – 影像檔案格式：ASF(MPEG-4相容) 18

常見Mpeg-4應用設備 (3) • 3 G手機 – – – 音樂播放器：MP 3, AAC 鈴聲種類：MIDI, AAC, MP 3 圖片支援格式：JPEG 影片播放格式： 3 GP 錄影格式： 3 GP 19

視訊壓縮標準演變 (1) • 數位通訊媒體包括 – 有線電視、衛星、網際網路、DVD等等 – 迅速發展，且容量在不斷地增加 – 傳輸/儲存未經壓縮的高品質視訊節目耗頻寬 • 更多頻道數、行動視訊、高品質視訊、高解析度視訊的需求愈來愈強烈 – 唯一的選擇就是採用更好的視訊壓縮 – 1980年就有了H. 261視訊壓縮標準，它是為視訊會議應用而設計的，其位元率為 64 kbps 20

視訊壓縮標準演變 (2) • 在視訊壓縮演算法/壓縮標準上平行著兩個國際組織的開發過程： – H. 標準: 這是由ITU(國際電信聯盟)所開發的標準 – MPEG標準: 這是由MPEG委員會、後來又經l. SO(國際標 21 準組織)所核准的標準

視訊壓縮標準演變 (3) • 就商業應用而言H. 264/AVC超過了MPEG-4 – MPEG-4非常龐大又複雜的標準 – 單就MPEG-4 l. S 014496 -2(視訊)來說，某些部份在商業上如何實現便是個問題 – H. 264/AVC是目前能夠應用最好最新壓縮方式 – 得到MPEG/l. S 0和ITU的支援，符合國際標準 – H. 264/AVC只集中在視訊部份，因此其標準化較為容易 – H. 264/AVC與現有系統的通用性較高 22

Thanks for your attention! 23