Materiale di supporto all insegnamento di ELABORAZIONI IMMAGINI 1

Materiale di supporto all’insegnamento di ELABORAZIONI IMMAGINI 1 2 D Motion Estimation Prof. Carlo Regazzoni

2 D Motion e Optical Flow • • L’occhio umano percepisce il movimento identificando i punti corrispondenti a diversi intervalli di tempo. Tali corrispondenze sono determinate assumendo che il colore o la luminosità di due punti non cambia durante il movimento. È interessante notare che il movimento 2 D osservato può essere diverso dal reale movimento 2 D. 1) la sfera ruota, ma i punti della superficie, non cambiando colore/luminosità ed appaiono stazionari; 2) la sfera è ferma e la fonte luminosa ruota attorno alla sfera, che darà all’osservatore una sensazione di rotazione. Il moto osservato o apparente è noto come Optical Flow 2

Equazione Optical Flow • Consideriamo una sequenza video la cui variazione di illuminazione è rappresentata da Ψ(x, y, t). Supponendo un punto dell’immagine (x, y) al tempo t questo si è mosso da (x+dx, y+dy) al tempo t+dt. • Sotto la constant intensity assumption un’immagine dello stesso oggetto in due istanti di tempo ha lo stesso valore di luminanza. Allora: Usando l’espansione di Taylor, con dx, dy, dt abbiamo: . 3

Equazione Optical Flow • Combinando le equazioni precedenti e dividendo per dt si ottiene la Optical Flow Equation: Con V=(vx, vy) Assumendo che l’intervallo temporale sia breve: Gradiente spaziale del vettore luminosità 4

Equazione Optical Flow • Il flow vector v può essere decomposto come in figura: 90° Scomponendo il vettore V come: V=etvt+envn La Optical flow equation può essere riscritta come segue 5

Equazione Optical Flow • Le conseguenze delle equazioni scritte sono tre: 1. Per ogni pixel, non è possibile determinare il motion vector v basandoci su e separatamente. È necessario un vincolo che generalmente è espresso come il fatto che il flow vector deve variare in maniera “dolce” 6

Equazione Optical Flow 2. Dati la proiezione del motion vector lungo la normale è fissata, mentre lungo la direzione tangente è indeterminata. Ogni valore di tale proiezione soddisfa l’ optical flow equation. Questa ambiguità è nota come Aperture Problem. Il termine Aperture si riferisce Problem all’intervallo temporale entro il quale si può applicare la constant intensity assumption. Il movimento si può stimare unicamente se l’apertura contiene almeno due differenti direzione di gradiente come mostrato in figura 7

Equazione Optical Flow 3. In regioni con luminosità costante il vector flow è indeterminato. La stima del moto è realizzabile solo in regioni dove sono presenti variazioni di luminosità, ovvero regioni contorni o dove è presente una tessitura non uniforme. 8

Metodologie generali • Consideriamo la stima del moto tra due frame Ψ(x, y, t 1) e Ψ(x, y, t 2). Chiamiamo il frame al tempo t 1 Anchor Frame ed il frame al tempo t 2 Tracked Frame . 9

Metodologie generali • In generale possiamo rappresentare un vettore di moto come d(x, a), dove: a=[a 1, a 2, a 3, a 4, …. , a. L] è un vettore contenente i parametri caratterizzanti il moto. Il problema di stima del moto si riduce a stimare i parametri caratterizzanti il moto. I metodi sviluppati si dividono in due grosse categorie: • Feature based: si utilizzano delle caratteristiche prestabilite al based fine di stimare il moto fra due frame distinti • Intensity based: applica la optical flow equation ad ogni pixel based 10

Rappresentazione del Moto Rappresent azione Tecnica Problemi Stima del moto eseguita sui singoli pixel generalmente sempre applicabile ma richiede la stima di molti parametri non noti Region Based in scene con molti oggetti presenti è più appropriato dividere l’immagine in più regioni in modo da caratterizzare meglio il vettore di moto. Il problema è che non si conosce a priori quali blocchi hanno vettore di moto simile e dunque il processo di segmentazione e stima deve essere iterativo; Block Based un metodo per ridurre la complessità del Region-based è quella di dividere l’immagine in un numero fissato di piccoli blocchi. Questo metodo fornisce un buon compromesso in termini di complssità ed accuratezza, ma non impone alcun vincolo di transizione tra blocchi adiacenti causando una certa discontinuità; Mesh Based il miglioramento al metodo precedente consiste nel partizionare l’immagine in elementi poligonali non sovrapposti, che porta ad avere un vettore di moto continuo. . . graficamente. . Pixel Based 11

Criteri di stima del moto: Displaced Frame Difference • Il criterio più popolare per la stima del moto è basato sulla minimizzazione della somma degli errori tra le luminanze dei due frame Ψ 1 e Ψ 2. La funzione obiettivo sarà: • • • Λ= dominio dei pixel, w(x, a)=x+dx La condizione per minimizzare la funzione è porre il gradiente a zero al fine di ricavare i parametri caratterizzanti il moto. Il gradiente per p=2: • . 12

Criterio basato sulla Optical Flow Equation • Un altro approccio è risolvere il sistema di equazioni basato sul voncolo di Optical Flow. • Se la la variazione temporale dt tra due frame e piccola possiamo scrivere: • Risolvendo per x ci riduciamo ad un problema di minimizzazione con la seguente funzione obiettivo: • . 13

Criterio Bayesiano • Lo stimatore Bayesiano è basato sulla formulazione probabilistica del problema di stima del moto fatta da Konrad e Dubois [1][2]. • Sotto questa formulazione dato l’Anchor Frame Ψ 1, il Tracked frame Ψ 2 è considerato come una realizzazione del campo casuale Ψ, mentre il campo di moto d è una realizzazione del campo probabilistico D. • La probabilità a posteriori di D data Ψ può essere scritta come: • . 14

Criterio Bayesiano • Una stima basata sul criterio Bayesiano vuole massimizzare la probabilità a posteriori. Ma dati Ψ 1, Ψ 2 è cosa equivalente massimizzare solo il numeratore. Dunque la massima stima a posteriori (MAP) di d è: • Rappresentando ε lo spazio di probabilità di una immagine DFD allora per e(x)= Ψ 2(x+d), Ψ 1(x) dati x e Ψ 1 : • E dunque: • . 15

Criterio Bayesiano • Dalla teoria di codifica della sorgente la lunghezza minima di codice per una sorgente è la sua entropia. • La stima MAP è equivalente a minimizzare la somma della lunghezza del codice e il motion field d. Dunque la MAP stimata per d è equivalente ad una stima di tipo a minimun description lenght (MDL) • Essendo lo scopo degli stimatori di moto nella codifica video il minimizzare la bit rate, il criterio MAP è la migliore scelta che minimizza l’errore di predizione. 16

Pixel Based Motion Estimation • Nei metodi di stima di moto pixel-based si prova a stimare il vettore di moto per ogni pixel. Il problema in oggetto è mal posto. • Sotto l’ipotesi di constant intensity assumption ci saranno pixel che non potranno essere ”inseguiti” nel Tracked Frame poiché la loro luminosità rimane invariata nel tempo. • Sotto l’ipotesi optical flow il problema sarà ancora indeterminato. (1 equazioni, 2 incognite) 17

Pixel Based Motion Estimation • Per ovviare a questi problemi sono usati quattro approcci: 1. Tecniche di regolarizzazione; 2. Ipotesi di constant intensity o optical flow solo in una regione limitata; 3. Invariants constraints; 4. Fare uso delle relazioni fra funzioni di fase e frame prima e dopo il movimento. 18

Pixel Based Regolarizzazione basata su Motion Smoothness Constraint • Metodo che combina i criteri basati su: • Optical Flow • Motion Smooth • Horn e Schunck propongono di stimare il vettore movimento minimizzando la seguente funzione obiettivo: • La minimizzazione di tale funzione è realizzata tramite un metodo Gradient Based conosciuto come Gauss-Siedel. 19

Pixel Based Multipont Neighborhood • In questo approccio stimiamo il vettore di moto al pixel xn e assumiamo che il vettore di moto di tutti i pixel in una regione B(xn) siano gli stessi dn. • Minimizzando l’ errore DFD su B(xn): • Con w(x) sono i pesi assegnati a ogni pixel che decrescono allontanandosi da xn 20

Pixel Based Multipont Neighborhood • Il gradiente rispetto a dn è: • L’algoritmo di update determinato, essendo dnl la stima all’iterazione l-esima: • L’ aggiornamento dipende dalla somma dell’immagine gradiente scalata dai valori di DFD pesati ad ogni pixel. In generale questo algoritmo richiede molta computazione per ogni pixel 21

Block Matching Algorithms • Un problema con i metodi pixel-based è che bisogna rilassare alcuni vincoli al fine di regolarizzare il problema. • Un metodo per rilassare tali vincoli è dividere il dominio in regioni di immagini non sovrapposte, chiamate blocchi, ed assumere che il movimento in tali blocchi sia parametrizzabile semplicemente. • Nel caso più semplice il movimento in ogni blocco è assunto come costante e ogni blocco è soggetto a traslazione (block-wise translational model) 22

Block Matching Exhaustive Search Block Matching Algorithm (EBMA) • Dato un blocco dell’immagine nel anchor frame Bm il problema della stima del motoè determinare il blocco più appropriato B’m nel tracked frame in modo tale che l’errore tra i due blocchi sia minimizzato. • Lo scostamento dm tra la posizione spaziale dei due blocchi è il vettore di moto (MV). 23

Block Matching Exhaustive Search Block Matching Algorithm (EBMA) • Sotto le assunzioni fatte l’errore può essere scritto come: • Essendo la stima di MV di un singolo blocco affetta solo dall’errore di predizione del singolo blocco si può stimare ogni blocco individualmente, minimizzando l’errore di predizione accumulato sul blocco: • . 24

Block Matching Exhaustive Search Block Matching Algorithm (EBMA) • Un metodo per determinare dm che minimizza l’errore suddetto è usare la exhaustive search. • Si determina l’ottimo dm per un dato blocco Bm nell’ anchor frame comparandolo con i blocchi candidati B’m nel tracked frame in una regione predefinita e trovando quello ad errore minimo. (Fig. 1 slide successiva) 25

Block Matching Exhaustive Search Block Matching Algorithm (EBMA) Fig. 1 26

Block Matching Fractional Accuracy Search • Il passo con cui si cerca la corrispondenza dei blocchi non dovrebbe essere “intero”. Per una più accurata rappresentazione del moto le frazioni di pixel sono necessarie. • Un problema usando le frazioni di pixel è che potrebbero non esserci punti di corrispondenza tra anchor e tracked frame. • È quindi necessaria una interpolazione che ad esempio può essere di tipo bi-lineare. • La scelta del passo è generalmente application-dependent. • Questo tipo di algoritmo porta ad una crescita notevole del carico computazionale. 27

…qualche esempio… • (a) tracked frame • (b) anchor frame • (c-d) MV e immagine predetta con EBMA accuratezza a meta pixel • (e-f) MV deformato e stima basata su un algoritmo mesh -oriented 28

Rappresentazione del moto Node Based • Introduciamo un modello di movimento basato sul movimento di alcuni punti di un determinato blocco, chiamati nodi. • In questo modello assumiamo che un insieme selezionato di nodi di controllo in un blocco può muoversi liberamente e che lo spostamento di ogni punto interno può essere interpolato dallo spostamento dei nodi scelti. 29

Rappresentazione del moto Node Based • Siano: – K= numero dei nodi di controllo – Bm= blocco – dm= vettore del moto • La funzione del moto sarà: • Tale funzione esprime lo spostamento di ogni punto nel blocco come interpolazione dei nodi come mostrato in figura 1. Il Kernel interpolatore Φ dipende da quale peso si assegna al k-esimo punto di controllo. 30

Stima del moto usando il modello Node Based • La stima del moviemnto è indipendente blocco per blocco, dunque non considereremo tutti gli m blocchi di un’immagine. • Siano: – a= [dk, kЄK] , K={1, 2, 3, …. . , K} • I parametri del moto possono essere stimati minimizzando l’errore di predizione: • . 31

Stima del moto usando il modello Node Based • Ci sono molti modi per minimizzare tale errore inclusi l’ exhaustive search e metodi basati sul gradiente. • Il metodo proposto è basato sull’algoritmo di Newton-Ralphson. • Definiamo: • Eseguendo la derivazione di E rispetto ad a dopo alcuni passaggi si ottengono le equazioni di aggiornamento dell’algoritmo. 32

Stima del moto usando il modello Node Based • Usando si può calcolare il gradiente dell’errore: 33

Stima del moto usando il modello Node Based • La matrice essiana (eliminando il gradiente del secondo ordine): 34

Stima del moto usando il modello Node Based • In figura le equazioni di aggiornamento dell’algoritmo: • Come per tutti i processi iterativi basati sul gradiente, anche questo può raggiungere un minimo locale non corretto se la soluzione iniziale non è scelta propriamente. 35

Stima del moto basata sul Mesh-Based • Senza la conoscenza dei parametri di moto dei blocchi adiacenti la stima dei vettori di moto è spesso caotica, come in figura. Tracked frame Anchor frame • Un metodo per evitare ciò è usare una rappresentazione del moto basata sul modello a mesh (maglia). • . l’ anchor frame è coperto da una mesh, ed il problema di stima del moto è trovare il movimento per ogni nodo 36

Stima del moto basata sul Mesh-Based • Il metodo di rappresentazione mesh-based garantisce una continuità di rappresentazione dell’immagine ed è maggiormente robusto agli artefatti che i metodi di rappresentazione block-based possono produrre. • Un altro beneficio di una rappresentazione mesh-based è che consente in tracking continuo dell’insieme di nodi frame consecutivi, il che è desiderabile nelle applicazione di object-tracking 37

Rappresentazione del moto basata sulle Mesh • Con un approccio mesh-based l’immagine è partizionata in elemento poligonali non sovrapposti. • Ogni elemento è definito da pochi nodi e collegamenti tra nodi, come mostrato in Fig. 1 • Nella rappresentazione mesh-based l’insieme dei vettori di moto è descritto per mezzo dei nodi Fig. 1 Si usa una mesh (griglia) triangolare con tre nodi connessi ad ogni elemento 38

Rappresentazione del moto basata sulle Mesh • Siano: – M = numero elementi M = {1, 2, …. . , M} – N = numero nodi N = {1, 2, …. . , N} – K = numero di nodi che definisce ogni elemento K = {1, 2, …. . , K} – Dato l’ m-esimo elemento, n-esimo nodo al frame t (t 1 = anchor t 2= tracked). denotati da Bt, m mЄ M e xt, n n Є N ed il vettore di moto dell’ n-esimo nodo da dn = x 2, n- x 1, n. • Il campo di moto nell’elemento B 1, m è legato al vettore del moto dn da: 39

Rappresentazione del moto basata sulle Mesh • La funzione Φ è il kernel interpolatore e, come nel caso precedente, dipende dal contributo che sivuole dare ad ogni nodo. • Per garantire la continuità sugli elementi dell’immagine il kernel deve soddisfare: 40

Rappresentazione del moto basata sulle Mesh • Ad esempio un elemento standard a quattro lati (Fig. 1) può essere Fig. 1 rappresentato da funzioni di kernel come segue: Fig. 1 41

Rappresentazione del moto basata sulle Mesh • È importante non confondere l’ approccio mesh-based da quello node-based introdotto precedentemente. • Nell’approccio node-based sebbene blocchi adiacenti possano condividere gli stessi nodi, il vettore di moto è determinato indipendentemente blocco per blocco. • Nell’approccio mesh-based, al nodo n è assegnato il singolo mesh-based vettore di moto il quale influenzerà la funzione di interpolazione negli elementi collegati a questo nodo. • Nell’approccio node-based, il nodo n può avere 4 differenti node-based vettori di moto associati. 42

Stima del moto basato su mesh-based model • Con i metodi di rappresentazione del moto basato sulle mesh ci sono due insiemi di problemi da risolvere: – Data una mesh come determinare la posizione dei nodi nel tracked frame. Questo è essenzialmente un problema di motion estimation – Come definire la mesh nell’anchor frame in conformità con la forma dell’oggetto • Una mesh costruita in maniera arbitraria porterà a risultati in generale scadenti • Ci occuperemo comunque solo del primo problema. Il secondo problema è trattato in [1][2]. [1] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation scheme. IEEE Trans. Image Process. , 3: 610{624, Sept. 1994. [2] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h. 263 like coders. IEEE Trans. Circuits Syst. for Video Technology, 8: 243{252, June 1998. 43

Stima del moto basato su mesh-based model • I parametri del moto possono essere stimati servendoci ancora dell’approccio riguardante la minimizzazione della funzione errore. • Sotto le ipotesi del modello mesh-based: • E ricordando l’equazione del vettore di moto nel caso mesh-based si ha: 44

Stima del moto Globale • Abbiamo mostrato che, indipendentemente dal movimento della camera e dell’oggetto, la funzione che mappa la corrispondenza tra due frame può essere descritta da una traslazione, una trasformazione geometrica, etc…… • Ci sono in generale due approcci per stimare il moto globalmente – Stimare i parametri di moto globale minimizzando l’errore di predizione dato un insieme di parametri; – Determinando i vettori di moto dei pixel o di blocchi di pixel e dunque usando metodi di regressione per trovare il modello globale di movimento che meglio si adatta al campo di moto stimato 45

Stimatori Robusti • Il movimento di ogni pixel può essere decomposto in: – Global motion: causato dal movimento della camera – Local motion: a causa del movimento degli oggetti nella scena • Non tutti i pixel dello stesso frame portano conoscenza del movimento globale e idealmente non si potrebbe applicare lo stesso modello di movimento allo stesso frame. 46

Stimatori Robusti • • Questi problemi possono essere superati da un metodo detto stimatore robusto se il movimento globale e dominante sul movimento locale L’idea di base è che i pixel sono governati dal movimento globale. I passi da seguire sono: 1. 2. 3. 4. 5. Tutti i pixel hanno stesso modello di movimento globale e si stimano i parametri di moto minimizzando l’errore di predizione. Si determina un insieme iniziale di parametri Calcolo dell’errore di predizione su ogni pixel I pixel che avranno errore di predizione sopra una certa soglia saranno “scartati” dall’iterazione successiva Si ripete iterativamente il processo 47

Stima del moto Region-Based • Come evidenziato nelle slide precedenti ci sono generalmente molteplici tipi di movimento in una scena • I stimatori del moto region-based segmentano l’immagine in regioni multiple e stimano i parametri di moto in ogni regione • Le principali tecniche di segmentazione sono: – Clustering: il modello di movimento in una regione è una traslazione Clustering pura e la segmentazione tiene in considerazione tutti i pixel connessi con vettori di moto simili – Layered : si dividono le regioni di movimento in più layer (piani) dal primo, che è il più significativo all’ultimo 48

Stima del moto Multi-Resolution • Come visto dalle precedenti slide, i vari approcci di stima del moto si risolvono in minimizzazioni dell’errore. • Le due difficoltà maggiori nell’ottenere la soluzione corretta sono: – Non è facile trovare il minimo globale e spesso le condizioni iniziali influenzano negativamente la sua ricerca – Il carico computazionale è eccessivo • L’ approccio Multi-Resolution cerca la soluzione migliore a diversi gradi di ottimizzazione, partendo da un primo livello che porterà ad una prima soluzione “grossolana” 49

Multi-Resolution Formulazione Generale • La rappresentazione piramidale in figura rappresenta la divisione in livelli ottenuti filtraggi spaziali low-pass e sottocampionamento delle immagini. • Il livello più in basso è l’immagine originale. Immagine a bassa risoluzione ANCHOR FRAME TRACKED FRAME Immagine originale 50

Multi-Resolution Formulazione Generale • I vettori di moto fra i livelli corrispondenti delle due piramidi sono stimati, partendo dal livello “sottocampionato” progressivamente fino al livello dell’immagine originale. • Ad ogni livello di risoluzione più fine il campo di moto ottenuto dal precedente livello più grezzo è interpolato per ottenere la stima del moto al livello corrente. 51

Algoritmo di Block Matching Gerarchico • I benefici di tale approccio sono: – A livelli di risoluzione bassa il problema è meno mal posto e dunque la soluzione meglio approssima la soluzione ideale; – L’interpolazione porta ad una prima soluzione buona; – la stima ad ogni livello può essere confinata in termini di iterazioni ottenendo ottimi risultati rispetto alla stima ottima del movimento. • Un caso particolare di Block Matching Gerarchico è il Hierarchical Block Matching Algorithm (HBMA) che è un caso speciale del multi-resolution, dove l’ EBMA è applicato per stimare i campi di moto dei blocchi nei livelli. 52

Algoritmo di Block Matching Gerarchico Esempio di stima del moto usando l’algoritmo HBMA per due immagini. (a-b) campo di moto e immagine predetta al livello più grezzo (c-d) campo di moto e immagine predetta ad un livello più fine (e-f) campo di moto e immagine predetta al livello più fine 53

Bibliografia • • • [1] J. K. Aggarwal and N. Nandhahumar. On the computation of motion from sequences of images - a review. Proceedings of The IEEE, 76: 917{935, 1988. [2] Y. Altunbasak and A. M. Tekalp. Closed-form connectivity-preserving solutions for motion compensation using 2 -d meshes. IEEE Trans. Image Process. , 6: 1255{1269, Sept. 1997. [3] Y. Altunbasak and A. M. Tekalp. Occlusion-adaptive, content-based mesh design and forward tracking. IEEE Trans. Image Process. , 6: 1270{1280, Sept. 1997. [4] J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flow techniques. International Journal of Computer Vision, 12: 43{77, 1994. [5] M. Bierling. Displacement estimation by hierarchical block matching. In Proc. SPIE: Visual Commun. Image Processing, volume SPIE-1001, pages 942{951, Cambridge, MA, Nov. 1988. [6] P. J. Burt and E. H. Adelson. The laplacian pyramid as a compact image code. IEEE Trans. Commun. , COM-31: 532{540, 1983. [7] P. Chou and C. Brown. The theory and practice of bayesian image labeling. International Journal of Computer Vision, 4: 185{210, 1990. [8] R. O. Duda and P. E. Hart. Patterns classication and Scene analysis. John Wiley & Sons, 1973. [9] D. J. Fleet and A. D. Jepson. Computation of component image velocity from local phase information. International Journal of Computer Vision, 5: 77{104, 1990. [10] D. J. Fleet. Disparity from local weighted phase-correlation. In IEEE International Conference on Systems, Man, and Cybernetics: Humans, Information and. Technology, pages 48 {54, 1994. 54

Bibliografia • • • [11] S. Geman and D. Geman. Stochastic relaxation, gibbs distributions, and the baysian restoration of images. IEEE Trans. Pattern Anal. Machine Intell. , 6: 721{ 741, Nov. 1984. [12] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Trans. Commun. , 41: 604{612, 1993. [13] B. Girod. Motion-compensating prediction with fractional-pel accuracy. IEEE Transactions on Communications, 41(4): 604{612, April 1993. -. [14] H. -M. Hang, Y. -M. Chou, and S. -Chih. Cheng. Motion estimation for video coding standards. Journal of VLSI Signal Processing Systems for Signal, Image, and Video Technology, 17(2/3): 113{136, Nov. 1997. [15] R. M. Haralick and J. S. Lee. The facet approach to optical ow. In Proc. Image Understanding Workshop, 1993. [16] B. K. Horn and B. G. Schunck. Determining optical ow. Articial intelligence, 17, 1981. [17] B. K. P. Horn. Robot Vision. MIT Press, Cambridge, MA, 1986. [18] S. Hsu, P. Anandan, and S. Peleg. Accurate computation of optical ow using layered motion rapresentations. In Proc. Int. Conf. Patt. Recog. , pages 743{746, Jerusalem, Israel, Oct. 1994. [19] J. R. Jain and A. K. Jain. Displacement measurement and its application in interframe image coding. IEEE Trans. Commun. , COM-29: 1799{1808, Dec. 1981. [20] T. Koga et al. Motion-compensated interframe coding for video conferencing. In Proc. Nat. Telecommun. Conf. , pages G 5. 3. 1{G 5. 3. 5, New Orleans, LA, Nov. 1981. [21] T. Komarek and P. Pirsch. Array architecture for block matching algorithms. IEEE Trans. Circuits and Systems, 36: 269{277, Oct. 1989. 55

Bibliografia • • • • [22] J. Konrad and E. Dubois. Baysian estimation of motion vector elds. IEEE Trans. Pattern Anal. Machine Intell. , 14: 910{927, Sept. 1992. [23] C. Kuglin and D. Hines. The phase correlation image alignment method. In Proc. IEEE Int. Conf. Cybern. Soc. , pages 163{165, 1975. [24] O. Lee and Y. Wang. Motion compensated prediction using nodal based deformable block matching. Journal of Visual Communications and Image Representation, 6: 26{34, Mar. 1995. [25] X. Lee and Y. -Q. Zhang. A fast hierarchical motion compensation scheme for video coding using block feature matching. IEEE Trans. Circuits Syst. for Video Technology, 6: 627{635, Dec. 1996. [26] A. Mitchie, Y. F. Wang, and J. K. Aggarwal. Experiments in computing optical flow with gradient-based multiconstraint methods. Pattern Recognition, 16, June 1983. [27] H. G. Musmann, M. Hotter, and J. Ostermann. Object oriented analysissynthesis coding of moving images. Signal Processing: Image Commun. , 1: 119{138, Oct. 1989. [28] H. G. Musmann, P. Pirsch, and H. -J. Grallert. Advances in picture coding. Proceedings of IEEE, 73(4): 523{548, Apr. 1985. [29] H. H. Nagel. Displacement vectors derived from second-order intensity variations in images sequences. Computer Graphics and Image Processing, 21: 85{117, 1983. [30] H. H. Nagel and W. Enklemann. An investigation of smoothness constraints for the estimation of displacement vector elds from image sequences. IEEE Trans. Pattern Anal. Machine Intell. , 8: 565{593, Sept. 1986. [31] A. N. Netravali and J. D. Robbins. Motion compensated coding: some new results. Bell System Technical Journal, Nov. 1980 [32] P. Pirsch, N. Demassieux, and W. Gehrke. Vlsi architecture for video compression - a survey. Proc. IEEE, 83: 220{246, Feb. 1995. [33] B. S. Reddy and B. N. Chatterji. An t-based technique for translation, rotation, and scale-invariant image registration. IEEE Transactions on Image Processing, 5(8): 1266{71, August 1996. [34] J. Rissanen. A universal prior for intergers and estimation by minimum description length. The Annuals of Statistics, 11(2): 416{431, 1983. 56

Bibliografia • • • [35] P. J. Rousseeuw and A. M. Leroy. Robust Regression and Outlier Detection. John Wiley & Sons, New York, 1987. [36] V. Seferidis and M. Ghanbari. General approach to block matching motion estimation. Optical Engineering, 32: 1464{1474, July 1993. [37] H. Shekarforoush, M. Berthod, and J. Zerubia. Subpixel image registration by estimating the polyphase decomposition of cross power spectrum. In Proceed-ings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1996. IEEE, Los Alamitos, CA, pages 532{537, 1996. [38] C. Stiller and J. Konrad. Estimating motion in image sequences. IEEE Signal Processing Magazine, 16: 70{91, July 1999. [39] A. M. Tekalp. Digital Video Processing. Prentice Hall PTR, Upper Saddle River, NJ, 1995. [40] G. A. Thomas. Television motion measurements for datv and other applications. Research report 1987/11, BBC, September 1987. [41] Y. Wang and O. Lee. Use of 2 d deformable mesh structures for video compression. part i | the synthesis problem: Mesh based function approximation and mapping. IEEE Trans. Circuits Syst. for Video Technology, 6: 636{646, Dec. 1996. [42] Y. Wang and O. Lee. Active mesh | a feature seeking and tracking image sequence representation scheme. IEEE Trans. Image Process. , 3: 610{624, Sept. 1994. [43] Y. Wang and J. Ostermann. Evaluation of mesh-based motion estimation in h. 263 like coders. IEEE Trans. Circuits Syst. for Video Technology, 8: 243{252, June 1998. [44] Y. Wang, X. -M. Hsieh, J. -H. Hu, and O. Lee. Region segmentation based on active mesh representation of motion: comparison of parallel and sequential approaches. In Proc. Second IEEE International Conference on Image Processing (ICIP'95), pages 185{188, Washington DC, Oct. 1995. [45] O. C. Zienkewicz and R. L. Taylor. The nite element method, volume 1. Prentice Hall, 4 th edition, 1989. 57