Beszédfelismerés és beszédszintézis Internetes médiakommunikáció Közös előadás Beszédkodekek Takács György 9. beszédelőadás 2. Internetes média előadás 2011. 03. 29. T. Gy. Beszedfelism es szint. 2011. 03. 29. 1
• • Definíció Ismétlés Általános kodek jellemzők G. 729 kodek GSM kodek SPEEX kodek SILK kodek Kodek csipek T. Gy. Beszedfelism es szint. 2011. 03. 29. 2
CODECS • Codecs are used to convert an analog voice signal to digitally encoded version. Codecs vary in the sound quality, the bandwidth required, the computational requirements, etc. • Each Vo. IP service, program, phone, gateway, etc typically supports several different codecs, and when talking to each other, negotiate which codec they will use. T. Gy. Beszedfelism es szint. 2011. 03. 29. 3
Minek tömöríteni a beszédjelet – válaszaim: • Nagyon korlátozott a sávszélesség a rádiótelefonra rendelkezésre álló sávokban (a mai forgalomsűrűségnél). • Nagy az árverseny a transzkontinentális összeköttetéseken • Korlátos, de főként nem garantált az interneten rendelkezésre álló sávszélesség…. . • Korlátos a beszédjel tárolásához rendelkezésre álló kapacitás (pl. diktafon funkció mobiltelefonnál…) • Olimpiai közvetítések kommentátor hangjait TV hangminőségben telefonvonalon kell továbbítani…. (ma jellemző az 1 kép+100 hang arány) • A beszédjelet a jellegzetes átviteli hibákkal szemben ellenállóvá kell tenni (Fading –rádiós átvitelnél, csomagvesztés -- IP telefonnál) T. Gy. Beszedfelism es szint. 2011. 03. 29. 4
Mit várunk a beszédtömörítőktől? • Értse amit mondunk – nem! • Tudja milyen nyelven beszélünk – nem! • A beszédképzési vagy beszédfelfogási megközelítés jelenti az elvi határt a tömörítésben? Nyilvánvalóan a képzési megfontolások jelenthetik az elvi határt, azaz a kb. 250 bit/s elvi határértéket! T. Gy. Beszedfelism es szint. 2011. 03. 29. 5
"A lathe is a big tool. Grab every dish of sugar. " Eredeti 2400 bit/s T. Gy. Beszedfelism es szint. 2011. 03. 29. 6
T. Gy. Beszedfelism es szint. 2011. 03. 29. 7
(a) The vocal tract, modeled as a single one-dimensional acoustic tube of varying cross-sectional area and (b) an eight tube model suitable for discretization T. Gy. Beszedfelism es szint. 2011. 03. 29. 8
Egy keresztmetszetváltás és a csatlakozó csőszakaszok viszonyai T. Gy. Beszedfelism es szint. 2011. 03. 29. 9
Egy állandó keresztmetszetű szakaszon a haladó hullámok csak késleltetést szenvednek, ezért A keresztmetszetváltásnál felírható a folytonossági egyenlet Bevezetve a reflexiós tényezőt: T. Gy. Beszedfelism es szint. 2011. 03. 29. 10
A toldalékcső modellje egyenletesen felosztott, állandó keresztmetszetű csőszakaszokkal T. Gy. Beszedfelism es szint. 2011. 03. 29. 11
Hogyan határozhatók meg a csőmodell paraméterei a beszédjel mintáiból? T. Gy. Beszedfelism es szint. 2011. 03. 29. 12
Lineáris predikció alapok A beszédjel n-edik mintája becsülhető a megelőző p beszédminta lineáris kombinációjával ahol az αi lineáris predikciós együtthatók hordozzák a jelenségre vonatkozó előismereteket, tapasztalatokat. p -- a prediktor fokszáma T. Gy. Beszedfelism es szint. 2011. 03. 29. 13
A PARCOR eljárás T. Gy. Beszedfelism es szint. 2011. 03. 29. 14
T. Gy. Beszedfelism es szint. 2011. 03. 29. 15
A beszédtömörítés alapvető modelljei 2011 ben • A beszédjel mintákból a lineáris predikció PARCOR együtthatói rekurzív képlettel kiszámolhatók. • Az együtthatók kis hibával leírják a beszédjel egy szakaszát. • A hibajel és az együtthatók pontos értékei a számítási hibán belül pontosan leírják az eredeti beszédjelet. • A modell stabilitási kritériumai garantálhatók számítási és átviteli hibák esetén is. • A predikciós együtthatók és a hibajelek jól kvantálhatók staisztikai jellemzőik és percepciós kísérletek eredményei alapján. • A predikciós paraméterek és hibajel paraméterek a beszédképzési modell jellemzőivel közvetlen fizikai kapcsolatban állnak. T. Gy. Beszedfelism es szint. 2011. 03. 29. 16
Audio compressio n format Creator First public release date Latest stable version Encoder Cost Player Cost AMR-WB 3 GPP 2001. 4. 10 ETSI TS 126 190 V 8. 0. 0 (2009 -01) Non-free Nonfree (G. 722. 2) AMR-WB+ 3 GPP 2004. 6. 14 ETSI TS 126 290 V 8. 0. 0 (2009 -01) Non-free Nonfree apt-X APTX 1989 2007 Non-free Nonfree CELT Xiph. Org Foundation, Jean -Marc Valin 2007. 12. 8 2000. 9. 1 Free G. 711 ITU-T 1972 (ITU-T standard from 1988) G. 711 Appendix II (02/00) Free G. 722 ITU-T nov. 88 Free G. 722. 1 ITU-T szept. 99 G. 722. 1 (05/05) Free (AMR-WB) G. 723. 1 ITU-T márc. 96 G. 723. 1 (05/06) Non-free Nonfree
Audio compressio n format Creator First public release date Latest stable version Encoder Cost Player Cost G. 726 ITU-T dec. 90 Free G. 728 ITU-T szept. 92 Non-free Nonfree G. 729 ITU-T márc. 96 G. 729 (01/07) Non-free Nonfree GSM-FR ETSI Special Mobile Group 1990 -1994 (ETS 300 5802) ETSI EN 300 961 V 8. 1. 1 (2000– 11) Free i. LBC Global IP Solutions 2002 Free i. SAC Global IP Solutions ? Non-free Nonfree Free SILK Skype Limited 2009. 1. 7 Siren 7 Picture. Tel Corp. (now Polycom Inc. ) 1999 Speex Xiph. Org Foundation, Jean -Marc Valin 2003. 3. 24 2001. 1. 12 Free SVOPC Skype Limited 2007 ? ? Audio compressio n format Creator First public release date Latest stable version Encoder Cost Player Cost
Vo. IP CODEC Family • • • • • GIPS Family - 13. 3 Kbps and up GSM - 13 Kbps (full rate), 20 ms frame size i. LBC - 15 Kbps, 20 ms frame size: 13. 3 Kbps, 30 ms frame size ITU G. 711 - 64 Kbps, sample-based Also known as alaw/ulaw ITU G. 722 - 48/56/64 Kbps ADPCM 7 Khz audio bandwidth ITU G. 722. 1 - 24/32 Kbps 7 Khz audio bandwidth (based on Polycom's SIREN codec) ITU G. 722. 1 C - 32 Kbps, a Polycom extension, 14 Khz audio bandwidth ITU G. 722. 2 - 6. 6 Kbps to 23. 85 Kbps. Also known as AMR-WB. CELP 7 Khz audio bandwidth ITU G. 723. 1 - 5. 3/6. 3 Kbps, 30 ms frame size ITU G. 726 - 16/24/32/40 Kbps ITU G. 728 - 16 Kbps ITU G. 729 - 8 Kbps, 10 ms frame size Speex - 2. 15 to 44. 2 Kbps LPC 10 - 2. 5 Kbps Do. D CELP - 4. 8 Kbps SVOPC – 20 kbps T. Gy. Beszedfelism es szint. 2011. SILK 6 -40 kbps 03. 29. 19
• To use G. 729 or G. 723. 1 you may need to pay a royalty fee!!!!! • this code is available for you to download for education purposes only!!!!!! T. Gy. Beszedfelism es szint. 2011. 03. 29. 20
• In Vo. IP networks, codecs are used to compress regular audio (16 bit signed linear audio, usually sampled at 8000 Hz). Codecs are usually `lossy'. This means that the output data does not have to be perfectly identical to the source data , it just has to sound the same when converted to sound. • If your Vo. IP network is on an office LAN and the signal doesn't ever traverse a WAN connection (internet, VPN, DSL, etc), then compression isn't critical. If your Vo. IP signals may need to traverse a WAN, then you need to compress the signal as much as possible. This allows you to fit more simultaneous phone calls into a single WAN connection. Compression also creates smaller packets. Smaller packets means less audible delay and lower risk of packet loss. T. Gy. Beszedfelism es szint. 2011. 03. 29. 21
• Many devices offer only 1 or 2 low bit rate codecs, usually G. 729 and one other or just G. 729. If you have bought phones that only support G. 729, then you have little choice. • Some gateway providers will only allow you to talk to their gateway with G. 729. • A good G. 729 implementation uses less bandwidth and less CPU power than other low bit rate codecs such as i. LBC. G. 729 uses 8 kbps, i. LBC uses 13 kbps. • Some people have observed their CPU performing up to 50% better when doing G. 729 compression compared to i. LBC. T. Gy. Beszedfelism es szint. 2011. 03. 29. 22
• Few phones implement i. LBC (one such phone is Budgetone 101 and 102). Many others - Cisco 7940, Snom, Swissvoice - only offer G. 729 • Most phones offer G. 711 (ulaw/alaw) as well - that is actually 64 kbps, eight times the bandwidth required by G. 729. It is only for use on LANs. • G. 723. 1 is used for similar reasons to those just listed, but gives the benefit of using even less bandwidth but with a more noticable degradation of sound quality. T. Gy. Beszedfelism es szint. 2011. 03. 29. 23
• Features of G. 729, G. 729 A & G. 729 AB Vocoder • Compresses 8 k. Hz CODEC or linear audio data to 8 kbps. • Operates on 10 ms frames with short algorithm delays. • Short-term synthesis filter is based on a 10 th order Linear Prediction (LP) filter. • Long-term, or pitch synthesis, filter is implemented using the adaptive-code book approach. T. Gy. Beszedfelism es szint. 2011. 03. 29. 24
T. Gy. Beszedfelism es szint. 2011. 03. 29. 25
T. Gy. Beszedfelism es szint. 2011. 03. 29. 26
T. Gy. Beszedfelism es szint. 2011. 03. 29. 27
T. Gy. Beszedfelism es szint. 2011. 03. 29. 28
T. Gy. Beszedfelism es szint. 2011. 03. 29. 29
T. Gy. Beszedfelism es szint. 2011. 03. 29. 30
T. Gy. Beszedfelism es szint. 2011. 03. 29. 31
T. Gy. Beszedfelism es szint. 2011. 03. 29. 32
GSM KODEK követelmények • • • Nagy tömörítés (64 kbit/s-ről kb. 13 kbit/s-re) Tisztán digitális rendszer Jó minőség Hibatűrés (a rádiós átvitel sajátosságai miatt) Stabilitás Kis késleltetés (max. 50 ms) Kis fogyasztás Implementálhatóság Full Rate, Half Rate, Enhanced Full Rate, Adaptive Rate változatok T. Gy. Beszedfelism es szint. 2011. 03. 29. 33
T. Gy. Beszedfelism es szint. 2011. 03. 29. 34
T. Gy. Beszedfelism es szint. 2011. 03. 29. 35
T. Gy. Beszedfelism es szint. 2011. 03. 29. 36
Kodek alapjellemzők • Mintavételi frekvencia 8 k. Hz • Analízis keret 20 ms (160 minta) • Reflexiós együtthatók száma 8 (prediktor fokszáma) kifejezése LAR (Log Area Reflexion) paraméterekkel • Reziduális hiba tovább bontva 4 db 40 mintás alszegmensre RPE (Regular Pulse Exitation) kódolás és LTP (Long Term Predictor) kódolással • 260 bit/20 ms (13000 bit/s) nettó bitsebesség T. Gy. Beszedfelism es szint. 2011. 03. 29. 37
T. Gy. Beszedfelism es szint. 2011. 03. 29. 38
T. Gy. Beszedfelism es szint. 2011. 03. 29. 39
T. Gy. Beszedfelism es szint. 2011. 03. 29. 40
T. Gy. Beszedfelism es szint. 2011. 03. 29. 41
Speex is based on CELP and is designed to compress voice at bitrates ranging from 2 to 44 kbps. Some of Speex's features include : • Narrowband (8 k. Hz), wideband (16 k. Hz), and ultrawideband (32 k. Hz) compression in the same bitstream • Intensity stereo encoding • Packet loss concealment • Variable bitrate operation (VBR) • Voice Activity Detection (VAD) • Discontinuous Transmission (DTX) • Fixed-point port • Acoustic echo canceller • Noise suppression • http: //www. speex. org/samples/ T. Gy. Beszedfelism es szint. 2011. 03. 29. 42
A SPEEX kodek koncepciója • A fejlesztők egy nyílt forráskódú beszédkodeket terveztek, amelynél nem kell kodekenként díjat fizetni a szabadalom tulajdonosainak. Valami olyat terveztek, mint a Vorbis az audio (zenei) kodekek területén. • Nem a mobiltelefonok igényét tartották szemelőtt (persze abból már működik több, mint 2 milliárd darab), hanem kifejezetten az IP alapú hálózatok igényeit és a Vo. IP alkalmazásokat. Jól alkalmazható a SPEEX beszédjelek tömör tárolására is fájlokban. T. Gy. Beszedfelism es szint. 2011. 03. 29. 43
A SPEEX kodek koncepciója • Legyen rugalmas és széles beszédminőségtartományban használható azaz különböző bitsebességeknél. Felöleli a szélessávú (16 k. Hz mintavételes) jóminőségű beszédkódolástól a szokásos telefonminőségen át a 4, 8 kbps tömörítésig. • A SPEEX jól tűri a csomagveszést, de nem működik jól bithibák esetén. Azt feltételezi, hogy a csomagok vagy megérkeznek rendben vagy elvesznek. • Mivel sokféle eszközben tervezték a felhasználását, ezért törekedtek a fejlesztésénél ara, hogy megvalósításánál a processzorteljesítmény és tárterület igény minimális legyen. T. Gy. Beszedfelism es szint. 2011. 03. 29. 44
A SPEEX kodek koncepciója • A követelmények alapján a legjobban illeszkedő kódolási technika a CELP (Code Excitation Linear Prediction). Ez a technika egyrészt bevált, megbízható, továbbá alkalmas széles minőségi tartományban hasonló algoritmusú működésre. • A SPEEX kódolás veszteséges, azaz a tömörítést beszédminőség rovására hajtja végre. A tömörítési arány beállítható és lehetséges az állandó (CBR) vagy változó (VBR) bitsebességű működés is. (2, 15 kbps – 44 kbps) • A kódolás komplexitása is változtatható. T. Gy. Beszedfelism es szint. 2011. 03. 29. 45
A SPEEX kodek koncepciója • Beszéddetektálás (VAD) a kodek eldönti, hogy jön-e beszédjel, vagy beszédszünet van (esetleg háttérzaj). Ha nincs aktív beszédjel, akkor nem kódol, hanem csak egy pár mintával reprezentált „komfort” zajt ad ki. • A SPEEX kodek elvi (CPU idő nélküli) késleltetése 8 k. Hz mintavételezésnél 30 ms, 16 k. Hz-nél 34 ms. T. Gy. Beszedfelism es szint. 2011. 03. 29. 46
SPEEX keskenysávú módban T. Gy. Beszedfelism es szint. 2011. 03. 29. 47
SPEEX szélessávú módban T. Gy. Beszedfelism es szint. 2011. 03. 29. 48
SPEEX kodek elemek - segédelemek • • • Zajcsökkentés Automatikus szintszabályozás (AGC) Beszéddetektálás (VAD) Adaptív buffer Visszhangzár T. Gy. Beszedfelism es szint. 2011. 03. 29. 49
Visszhangzár elve (hangszórós működéskor fontos, hogy a partner ne hallja késleltetve vissza a saját hangját) T. Gy. Beszedfelism es szint. 2011. 03. 29. 50
A CELP elv T. Gy. Beszedfelism es szint. 2011. 03. 29. 51
A CELP eredő gerjesztőjele • Ahol: – e(n) - az LPC szintézis szűrőt gerjesztő jel – a predikált periodikus hibajel – C(n) a rögzített kódkönyvtárból vett gerjesztő jel T. Gy. Beszedfelism es szint. 2011. 03. 29. 52
Teljes keret elemzés 8 k. Hz mintavételt feltételezve • Egy keret 20 ms – (160 minta) • Keretenként számolandók a Line Spectra Pairs (LSP) értékek és global gain (gframe )értékek • Az értékek kvantálandók T. Gy. Beszedfelism es szint. 2011. 03. 29. 53
Miért nem az LPC együtthatókat kvantáljuk? • stabilitási kritérium -- P(z) és Q(z) gyökei az egységkörön vannak és felváltva jönnek • fizikai tartalom • Vektorkvantálás után elegendő 18 -30 bit az LSP együtthatók kvantált leírására. T. Gy. Beszedfelism es szint. 2011. 03. 29. 54
Alkeret elemzés szintézissel (Ab. S) 8 k. Hz-es mintavételnél • Minden keretet 4 db 5 ms hosszú alkeretre bontunk (40 beszédminta) • Az Ab. S a fő különbség a többi CELP kodekhez képest. • A SPEEX egy valós számmal írja le a pitch értéket, de egy háromlépcsős prediktort és 3 pitch gain értéket használ fel az ea(n) kiszámolásához T. Gy. Beszedfelism es szint. 2011. 03. 29. 55
T. Gy. Beszedfelism es szint. 2011. 03. 29. 56
Forrás • • • The Speex Codec Manual Version 1. 2 Beta 3 Jean-Marc Valin December 8, 2007 http: //speex. org/docs/manual/speex-manual. pdf T. Gy. Beszedfelism es szint. 2011. 03. 29. 57
SILK • A Skype Limited fejlesztette • 2009 -től vezették be • Teljeskörű leírás http: //tools. ietf. org/html/draft-vos-silk-01 566 oldal forráskóddal, magyarázatokkal • Több szempontból skálázott: négyféle mintavételi frekvencia, igazodás az átviteli jellemzőkhöz (bitsebesség, csomagvesztés, DTX), igazodás a rendelkezésre álló processzorteljesítményhez, jellemzői menet közben is változtathatók. T. Gy. Beszedfelism es szint. 2011. 03. 29. 58
T. Gy. Beszedfelism es szint. 2011. 03. 29. 59
Pitch estimator T. Gy. Beszedfelism es szint. 2011. 03. 29. 60
Prediction analysis –voiced speech • For a frame of voiced speech the pitch pulses will remain dominant in the pre-whitened input signal. Further whitening is desirable as it leads to higher quality at the same available bit-rate. To achieve this, a Long-Term Prediction (LTP) analysis is carried out to estimate the coefficients of a fifth order LTP filter for each of four sub-frames. The LTP coefficients are used to find an LTP residual signal with the simulated output signal as input to obtain better modelling of the output signal. This LTP residual signal is the input to an LPC analysis where the LPCs are estimated using Burgs method, such that the residual energy is minimized. The estimated LPCs are converted to a Line Spectral Frequency (LSF) vector, and quantized as described in Section 2. 1. 2. 7. After quantization, the quantized LSF vector is converted to LPC coefficients and hence by using these quantized coefficients the encoder remains fully synchronized with the decoder. The LTP coefficients are quantized using a method described in Section 2. 1. 2. 8. The quantized LPC and LTP coefficients are now used to filter the high-pass filtered input signal and measure a residual energy for each of the four subframes. T. Gy. Beszedfelism es szint. 2011. 03. 29. 61
Kell-e egy mai mérnöknek CODEC programot írnia? • Nem, mert letölthető sok változat, kapható kész chipset! T. Gy. Beszedfelism es szint. 2011. 03. 29. 62
T. Gy. Beszedfelism es szint. 2011. 03. 29. 63
T. Gy. Beszedfelism es szint. 2011. 03. 29. 64
T. Gy. Beszedfelism es szint. 2011. 03. 29. 65
T. Gy. Beszedfelism es szint. 2011. 03. 29. 66
T. Gy. Beszedfelism es szint. 2011. 03. 29. 67
• • Int. Headquarters ISRAEL Audio. Codes Ltd. 1 Hayarden Street, Airport City Lod, 70151 (Get Directions) • Tel: +972 -3 -976 -4000 • Fax: +972 -3 -976 -4040 T. Gy. Beszedfelism es szint. 2011. 03. 29. 68
Egyik alapvető kodek termék: Audio. Codes’ AC 494/5/6/7 family of System on Chip (So. C) provides IP phone and Customer Premises Equipment (CPE) manufacturers with cutting-edge Vo. IP processing system capabilities. The AC 494 family combines MIPS Controller, AC 49 x DSP Core and a rich set of peripherals such as Codecs, Ethernet MACs and Phys, integrated 3 Port Switch and more. Several silicon derivatives of this family allow cost optimization per application. T. Gy. Beszedfelism es szint. 2011. 03. 29. 69
Audio. Codes’ AC 494/5/6/7 Software Specifications • Channel Density: Up to 6 channels • Voice Coders: G. 711, G. 723, G. 729, G. 722. 2, i. LBC, G. 722* • Echo Canceller. G. 168 -2002 compliant; Full duplex acoustic EC • 3/4 Way Conferencing: 3/4 participants from PSTN or IP • Quality Enhancement: – – Voice Activity Detection (VAD), Comfort Noise Generation (CNG), Packet Loss Concealment (PLC), Adaptive Jitter Buffer (up to 300 msec) T. Gy. Beszedfelism es szint. 2011. 03. 29. 70
Hasznos linkek • http: //www. comms. eee. strath. ac. uk/~gozalvez/g sm/gsm. html • http: //ccnga. uwaterloo. ca/~jscouria/GSM/gsmrep ort. html • http: //www. analog. com/Uploaded. Files/Product_ Briefs/627038651430 chipset. pdf • http: //www. ddj. com/print/ (komplett C nyelvű algoritmus) • http: //www. commsdesign. com/design_corner/OE G 20030711 S 0010 T. Gy. Beszedfelism es szint. 2011. 03. 29. 71
Скачать презентацию Beszédfelismerés és beszédszintézis Internetes médiakommunikáció Közös előadás Beszédkodekek
939f19679efb368e18a4308c7fa9effd.ppt