MPEG-4 Audio A numeração no MPEG Ø

MPEG-4 Audio

A numeração no MPEG Ø Ø Ø MPEG-1 -Video CD, MP 3 MPEG-2 -Televisão Digital, DAB MPEG-4 -Codificação orientada a objectos MPEG-7 -Descrição de conteúdos MPEG-21 -Conceito de conteúdo digital e de utilizador interagindo com o conteúdo (i. e. o quê e quem)

Amostragem Ø Áudio -16 bit/sample e 32 k. Hz => 1024 kbit/s (stereo) -44. 1 k. Hz (CD) 16 bit/sample => 1411. 2 kbit/s (stereo) – 48 k. Hz (DAT, . . . ) 16 bit/sample => 1536 kbit/s (stereo) -96 k. Hz and 192 k. Hz (DVD-Audio, . . . ) 24 bit/sample and 96 k. Hz => 13824 kbit/s (6 channels) O ser humano não consegue ouvir tons (ou sons) com frequência superior a 20 k. Hz, mas estes podem melhorar a nossa capacidade percepção de direcção e de detecção desses mesmos sons

“Mascaramento” Perceptual Ø Modelo psico-acústico -Possibilidade de introduzir ruído onde este não é perceptível

Escalabilidade Ø Há duas formas de escalabilidade -Multi-débito (layers) -Em camadas A camada de transporte pode um parte do (de vários • O • codificador seleccionaretirar débito payload e o descodificador ainda consegue processar a parte restante possíveis)

Multi-disciplinaridade do MPEG-4 Audio Ø Ao contrário de outros codecs, o MPEG-4 Audio não se concentra apenas num tipo de aplicação bem definido, mas sim num vasto número de aplicações que vão desde a “simples” telefonia até ao áudio de alta qualidade

MPEG-4 Audio (ISO/IEC 14496 -3) Ø Razões para o seu aparecimento l As novas aplicações multimédia requerem uma codificação eficiente e flexível dos diferentes tipos de conteúdo • • l Áudio natural Áudio sintético Fala natural Fala sintética Necessidade de codificar uma cena com vários tipos de conteúdos e tratá-los de forma independente

MPEG-4 Audio

MPEG-4 Audio • Codecs diferentes para objectos diferentes • Débitos diferentes para objectos diferentes • Possibilidade de mudar facilmente a língua do discurso (e. g. inglês->português) • Pós-processamento diferente em objectos diferentes também é possível

MPEG-4 Audio Ø Versões diferentes dentro do MPEG-4 - Razões • Agenda de objectivos “muito apertada” em termos de tempo • Algumas ferramentas com muito potencial ainda não estão prontas l Solução • Dividir o standard em duas versões e publicar as partes que estão prontas • As novas versões não podem alterar as versões antigas, deverão apenas aumentar a sua funcionalidade Versão 2 Versão 1

MPEG-4 Audio Ø MPEG-4 Áudio ver 1 l l Completado em Outubro de 1998 Contém codificação de áudio Natural e Sintética (2 -64 kb/s/ch) Ø MPEG-4 Áudio ver 2 l l Completado em Dezembro de 1999 Robustez aos erros, possibilidade de controlo por parte do cliente do streaming de um servidor, escalabilidade avançada, codec audio com menos atrasos e codificação paramétrica (HILN)

Estrutura do MPEG-4 Audio Áudio Natural Ø Áudio em geral l AAC • BSAC l l Twin. VQ HILN (paramétrico) Ø Fala l l CELP HVXC (paramétrico) Áudio Sintético Ø Texto para Fala Ø Áudio estruturado SAOL (Structured Audio Orchestra Language) l SASL (Structured Audio Score Language) l

Estrutura do MPEG-4 Audio Composição Ø Mistura Ø Reamostragem Ø Atenuação Ø 3 D rendering

Estrutura do MPEG-4 Audio Protecção contra erros Robustez aos erros Ø CRC Ø Bitstreams protegidos Ø FEC contra erros Ø Reordenamento das palavras de código de Huffman l l Código convolucional Código de blocos Ø Interleaving

Codificação dependente do sinal Ø Débitos baixos => Codecs especializados

MPEG-4 AAC Tamanho do bloco igual 2048 e 256 Ø Duas janelas grandes, uma derivada da de Kaiser-Bessel e uma da janela de seno Ø Ruído modelado temporalmente Ø Mid/Side Coding Ø

MPEG-4 Perfis MPEG-4 Audio Ø Ø Ø Ø Fala (HVXC, CELP, Texto-para-Fala) Síntese (SAOL, SASL, Texto-para-Fala) Escalável Principal (Contem todas as ferramentas de codificação do audio MPEG -4) Áudio de alta qualidade (Principal+ HILN, ER-error resilient) Baixo atraso (Low Delay) (HVXC, CELP, ER-error resilient, codificador AAC de baixo atraso, Texto-para-Fala) Áudio natural (tem apenas ferramentas “naturais”) Móvel (AAC escalável e de baixo atraso, Twin. VQ, BSAC)

Codificador básico AAC

MPEG-4 AAC com BSAC Ø Objectivo: Escalabilidade em “saltos” menores l Ø Para AAC os menores “saltos” de débito são de 16 kbit/s Abordagem: Bit-Sliced Arithmetic Coding l Combinado com AAC • BSAC substitui a codificação de huffman AAC => 1 k bit/s/ch saltos de débito l Principio • Transmitir bit-slices com os bit de maior significado primeiro • Aumento de qualidade (enhancement): os bit menos significativos (em menos quantidade) ficam nas bandas de maior frequência

MPEG-4 AAC com BSAC Tempo (seg)

MPEG-4 HILN Ø Harmonic and Individual Lines plus Noise l Estrutura • -Uma sinusóide individual é descrita pela sua frequência e amplitude. • -Um tom harmónico é descrito pela sua frequência fundamental, amplitude, e envolvente espectral. • -Um sinal de ruído é descrito pela sua amplitude e envolvente espectral. l A falta da informação de fase e o uso de ruído aleatório resulta num descodificador não determinístico

MPEG-4 HILN

MPEG-4 HILN

MPEG-4 Twin. VQ Ø Twin. VQ (Transform-domain Weighted Interleave Vector Quantization) Ø Ao contrário dos codificadores convencionais, neste método os bits de música não são codificados directamente, mas sim combinados em padrões de segmentos (vectores). Estes vectores são comparados com padrões standard. O padrão standard que mais se aproxima do padrão da fonte é seleccionado e o número correspondente a este padrão seleccionado é então enviado

MPEG-4 SA (Structured Audio) Ø “Structured Audio means transmitting sound by describing it rather than compressing it. That's the whole idea, …”

MPEG-4 SA (Structured Audio)

MPEG-4 SA

MPEG-4 SA

MPEG-4 SA

Environmental Spatialisation • Objectivo: Cenários 3 D Eficientes e flexíveis • Abordagem: Descrição perceptual ou física

Environmental Spatialisation Ø Abordagem física l l Ø Descrição das propriedades acústicas do ambiente (geometria da sala, posição da fonte áudio, …. ) Correspondência entre o áudio e o cenário visual e. g. realidade virtual 3 -D Abordagem perceptual l l Descrição detalhada da percepção do “cenário de áudio” (room reverberance, presença da fonte, …) Cenário áudio e visual independentes e. g. filmes

Protecção contra erros Ø CRC l Ø Forward Error correction (FEC) l l Ø Um número arbitrário de CRCs podem proteger diferentes partes do bitstream Por convolução e por código de bloco Ambos são sistemáticos i. e. os dados do codec são visíveis no stream sem haver necessidade de descodifição Interleaving l Vários esquemas de interleaving podem ser usados simultaneamente numa trama

Protecção contra erros

Robustez aos erros Ø Correcção ao nível do bitstream l l Codificação de comprimento fixo Reordenamento das palavras de código de Huffman Ø Ocultar os erros l Descrição de uma estratégia a seguir quando: • Uma trama é perdida • Uma trama é corrompida

Robustez aos erros Ø Reordenamento das palavras de código de Huffman l Um erro que ocorra numa palavra de código de Huffman não implica que as palavras seguintes sejam mal interpretadas

• Qualidade • Coding tool • AAC • 5 • 320 kb/s • impairment • 4. 6 • 1995 Backward Compatible MPEG-2 Layer II • 5 • 640 kb/s • impairment • 4. 6 • AAC • 2 • 128 kb/s • impairment • 4. 8 5 Excellent • AAC • 2 • 96 kb/s • impairment • 4. 4 4 Good • MPEG-1 Layer II • 2 • 192 kb/s • impairment • 4. 3 3 Fair • MPEG-1 Layer III • 2 • 128 kb/s • impairment • 4. 1 2 Poor • AAC • 1 • 24 kb/s • quality • 4. 2 1 Bad • Scalable: CELP base and AAC enhancement • 1 • 6 kb/s base, 18 kb/s enh. • quality • 3. 7 • Scalable: Twin VQ base and AAC enhancement • 1 • 6 kb/s base, 18 kb/s enh. • quality • 3. 6 • AAC • 18 kb/s • quality • 3. 2 • G. 723 • 1 • 6. 3 kb/s • quality • 2. 8 • Wideband CELP • 18. 2 kb/s • quality • 2. 3 • BSAC • 2 • 96 kb/s • quality • 4. 4 • BSAC • 2 • 80 kb/s • quality • 3. 7 • BSAC • 2 • 64 kb/s • quality • 3. 0 • AAC – LD (20 ms one-way delay) • 1 • 64 kb/s • quality • 4. 4 • G. 722 • 1 • 64 kb/s • quality • 4. 2 • AAC – LD (30 ms one-way delay) • 1 • 32 kb/s • quality • 3. 4 • Narrowband CELP • 1 • 6 kb/s • quality • 2. 5 • Twin VQ • 1 • 6 kb/s • quality • 1. 8 • HILN • 16 kb/s • quality • 2. 8 • HILN • 1 • 6 kb/s • quality • 1. 8 Number of channels • Total bit rate • Grading scale type • Typical subjective quality

Depois da versão 2…AAC+SBR Ø Ø Ø O SBR (Spectral Band Replication) é essencialmente um pósprocessamento, embora algum pré-processamento seja executado no codificador para guiar o processo de descodificação Quando usado em conjunto com SBR, o codec original só é responsável por transmitir a parte mais baixa do espectro Em vez de transmitir todo o espectro, o SBR reconstrói as frequências mais altas no descodificador baseado numa análise das frequências mais baixas transmitidas pelo codec original. Para além disto, para assegurar uma reconstrução precisa, alguma informação de orientação é transmitida no bitstream codificado a um bitrate muito baixo Coding Technologies (empresa detentora da patente) anuncia ganhos de 30% em relação ao MPEG-4 AAC Teoricamente, baixa o débito para 48 kbit/s mantendo a qualidade anteriomente obtida a 64 kbit/s.

Depois da versão 2…AAC+SBR A Coding Technologies patenteou esta tecnologia. É uma empresa privada com escritórios em Estocolmo, Suécia e Nuremberg, Alemanha. Foi fundada em 1997 na Suécia.

Depois da versão 2…AAC+SBR Apenas AAC+SBR

Produtos CENTAURI 3500 Audio Program Concentrator System http: //www. mayah. com/content/download/pdfs/brochures/centauri 3500_12 s_e. pdf Audio Coding o G. 722, Layer 3, MP 3 Pro o AAC, AAC LD, CT-aac. Plus o J. 41, J. 57 o Standard and enhanced apt-X o ADPCM 4 SB (Micda)

Presente e Futuro Próximo Ø A somar a tudo isto, o MPEG-4 Audio possibilita a codificação de som 5. 1 com qualidade semelhante ao formato dolby AC 3 Ø Todas estas melhorias introduzem complexidade adicional. Um sistema audio/video MPEG-4, tem +/- três vezes a complexidade computacional do sistema de DVB actual. No entanto, a complexidade de descodificação é menor que a de codificação, logo isto terá menos impacto no consumidor do que na produção. Consequentemente, a maioria do preço dos dispositivos será pouco afectada.

Presente e Futuro Próximo Ø Para a radiodifusão digital, o MPEG-4 AAC está já no processo de substituir outros codecs. A rádio via satélite XM Radio, que começou serviço ano passado, usa AAC-SBR com sucesso em todo o seu sistema. A rádio digital Mondiale que começará radiodifusão em 2003 também irá usar AAC, etc.

Presente e Futuro Próximo (12/12/02 10: 16 a. m. EST) Tokyo, Japan — Coding Technologies, the Mountain View, California based specialist in audio compression technology for mobile applications, has teamed with Japanese consumer electronics and broadcast groups Matsushita Electric and NEC to develop a lowpower decoder for the upcoming MPEG-4 AACplus-SBR (spectral band replication) standard. The aim is to achieve CD-quality audio at very low bit-rates.

Presente e Futuro Próximo Ø Na DVB World Convergence em Março deste ano, Ken Mc. Cann, presidente do grupo DVB Audio/Video Coding, já apresentou uma proposta para uma especificação de DVB nova e uma revisão de especificações existentes com o objectivo de incluir áudio e vídeo MPEG-4 em DVB. Assim, para que no futuro encontremos MPEG-4 em DVB só falta que os broadcasters e os produtores de hardware que pertencem ao consórcio de DVB decidam usá-lo

Resultados

Resultados Ø Os resultados que obti ao testar esta tecnologia, posso dizer que foram bastante bons. Os ganhos em relação ao MPEG-1 Layer 3 notam-se mais nos bitrates mais baixos, como era de esperar. A 32 Kbit/s a diferença é enorme. Quanto mais subimos no bitrate menos perceptíveis são os ganhos…mas eles estão lá.

Bibliografia Ø MPEG-4 Industry Forum l http: //www. m 4 if. org Ø MAYAH® Communications l http: //www. mayah. com/ Ø Overview of the MPEG-4 Standard l http: //mpeg. telecomitalialab. com/standards/m peg-4/mpeg-4. htm