Παρουσίαση της δημοσίευσης Photometric and Geometric Restoration of Document Images Using Inpainting and Shape-from-Shading των ερευνητών Li Zhang School of Computing, National University of Singapore Andy M. Yip Department of Mathematics, National University of Singapore Chew Lim Tan School of Computing, National University of Singapore Για το μεταπτυχιακό μάθημα Προηγμένη Τεχνητή Νοημοσύνη Από τον μεταπτυχιακό φοιτητή της 1ης κατεύθυνσης Μουζακίδη Αλέξανδρο Α. Μ. Μ 853
Περιεχόμενα παρουσίασης Αποκατάσταση της γεωμετρίας και του φωτισμού εγγράφων που έχουν ψηφιοποιηθεί από φωτογραφική μηχανή ώστε να διορθωθούν τα λάθη που προκύπτουν • Εξαγωγή κειμένου και περιεχομένου • Παράγωγη εικόνας σκίασης • Φωτομετρική αποκατάσταση • Αποκατάσταση γεωμετρίας • Ανακατασκευή του έγγραφου Πειραματικά αποτελέσματα
Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου Απομάκρυνση κειμένου, σχημάτων με χρήση inpainting τεχνικών Ψηφιακές inpainting και surface fitting τεχνικές για την εξαγωγή μιας ομαλής εικόνας σκίασης Απομάκρυνση των σκιών από την αρχική εικόνα φωτισμού ώστε να μείνει μόνο η εικόνα με την ένταση της ανάκλασης. Μόλις εξαχθεί η εικόνα σκίασης, μπορεί επίσης να χρησιμοποιηθεί για κατασκευή της 3Δ μορφής του έγγραφου χρησιμοποιώντας αλγόριθμους Shape From Shading (SFS). Χρήση της αρχικής εικόνας ως texture πάνω στο 3Δ μοντέλο, αφαίρεση των γεωμετρικών αναδιπλώσεων του μοντέλου και αναδημιουργία της εικόνας με τεχνικές ξεδιπλώματος (flattening )
Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου
Εξαγωγή κειμένου και περιεχομένου Πρέπει να δημιουργηθεί μια μάσκα που να εντοπίζει το χρώμα του υπόβαθρου 1) Μετατροπή της αρχικής εικόνας πλήρους χρώματος σε γκρίζας διαβάθμισης. 2) Ανίχνευση άκμων με χρήση του αλγόριθμου canny edge 3) Εφαρμογή μορφολογικής διαστολής (morphological dilation)
Παράγωγη εικόνας σκίασης Γέμισμα των κενών περιοχών που δημιούργησε η μάσκα με βάση τις τιμές των γειτονικών εικονοστασίων του υποβάθρου χρησιμοποιώντας harmonic and Total Variation (TV) inpainting Harmonic Total Variation Όπου λ είναι ο συντελεστής εξομάλυνσης , ΩΩΗ είναι η περιοχή των κενών και πρέπει να βρεθεί ένα Ι που να ελαχιστοποιεί την Ε(Ι)
Εξαγωγή σκίασης-απομάκρυνση θορύβου Η παραπάνω διαδικασία για την παραγωγή της εικόνας σκίασης μπορεί να έχει ως αποτέλεσμα μια εικόνα με θόρυβο Απομάκρυνση θορύβου χρησιμοποιώντας αλγόριθμους surface fitting με radial basis functions (RBF). Ως radial basis function μπορεί να χαρακτηριστεί οποιαδήποτε πραγματική συνάρτηση της οποίας καλύπτει την σχέση φ(x, c) = φ(||x-c||) , c είναι σταθερά. Είσοδος ενα σύνολο από 3Δ σημεία {(xi, f(xi)), i =1, 2, … , m} Μια fitted surface μπορεί να περιγραφεί ως Όπου h είναι μια συνάρτηση ακτίνας βάσης και yi (i = 1…n) είναι ένα σύνολο από συσχετιζόμενα σημεία. Σκοπός είναι να βρεθούν τα οι παράμετροι ai για τα οποία ελαχιστοποιείται το τετραγωνικό σφάλμα
Εξαγωγή σκίασης-απομάκρυνση θορύβου Στην παρούσα εργασία χρησιμοποιείται η συνάρτηση Όπου το c είναι μια σταθερά Tα πλεονεκτήματα της χρήσης τεχνικής με surface fitting και RBF είναι 1) Δίνει την παράγωγο της εικόνας ακριβέστερα από ότι υπολογιζόμενη με πεπερασμένες διαφορές, 2) Αντίθετα από το πολυωνυμικό ταίριασμα, οι RBF είναι πιο εύκαμπτες και μπορούν να χρησιμοποιηθεί για να αναπαραστήσουν πιο περίπλοκες επιφάνειες.
Φωτομετρική αποκατάσταση Θεωρείται ότι οι επιφάνειες είναι Lambertian οπού η ένταση φωτισμού της εικόνας είναι παράγωγο μόνο της έντασης σκίασης και της έντασης ανάκλασής. Αν υποθέσουμε ότι έχουμε το HSB πρότυπο χρωματισμού I = I s ・ Ir Αν γνωρίζουμε τη ένταση σκίασης Is η ένταση ανάκλασης θα υπολογίζεται από το τύπο Ir = elog I−log Is Η φωτομετρικά αποκατεστημένη εικόνα υπολογίζεται από το τύπο Ip = k ・ Ir, όπου k ∈ [0, 1].
Αποκατάσταση γεωμετρίας Χρήση τεχνικής shape from shading πάνω στην εικόνα σκίασης με την υπόδεση ότι το έγγραφο ψηφιοποιήθηκε με προοπτική προβολή. Με την υπόθεση ότι η επιφάνεια εγγράφου ακολουθεί την αντανάκλαση Lambertian, έχουμε την εξίσωση ακτινοβολίας εικόνας ως εξής: (u, v) είναι οι κοινωνικοποιημένες συντεταγμένες της εικόνας Ι(u, v) είναι η ένταση στο εικονοστοιχείο u, v (−p, −q, 1) είναι το κανονικό διάνυσμα της επιφάνειας F είναι το εστιακό μήκος (focal length), δηλαδή την απόσταση από το οπτικό κέντρο στο σημείο εστίασης Όπου z είναι η απόσταση του σημείου x, y της επιφάνειας από το επίπεδο u-v
Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework Η εξίσωση ακτινοβολίας εικόνας ξαναγράφεται σαν στατική εξίσωση Hamilton. Jacobi Ω είναι το επίπεδο της εικόνας, Γ είναι ένα υποσύνολο των σημείων του Ω όπου η τιμή z(u, v) ονομάζεται ως B(u, v), και καλείται συνοριακή τιμή αλλά μπορεί να βρίσκονται και στο εσωτερικό της εικόνας Ω. Χρησιμοποιώντας μία επαναληπτική μέθοδο για την εύρεση των z(u, v) βασισμένη στoν τύπο Lax-Friedrichs Hamiltonian υπολογίζονται (Δu, Δv) είναι το μέγεθος του πλέγματος, σu, σv τα τεχνητά viscosities
Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework Η επαναληπτική μέθοδος είναι βασισμένη σε ένα γρήγορα επαναληπτικό σχήμα Κατ' αρχάς, υπολογίζονται οι τιμές των όρων B(u, v). Έπειτα, τα z(u, v) ενημερώνεται με τη σάρωση του πλέγματος από τις τέσσερις εναλλασσόμενες κατευθύνσεις. Τέλος, μετά από κάθε. σάρωση οι τιμές ύψους αξιολογούνται στα όρια όπου ο τύπος αναπροσαρμογών αποτυγχάνει να υπολογίσει. Η πολυπλοκότητα είναι O(N) όπου το N είναι ο αριθμός σημείων πλέγματος.
Αποκατάσταση γεωμετρίας – Πέρασμα 2 Ελαχιστοποίηση με κοινωνικοποίηση Το πρώτο πέρασμα παράγει τα ιξώδη( viscosities ) τού SFS προβλήματος αλλά η υπαρξη θορηβου στην εικόνα σκίασης πολλές φορές προκαλεί μεγάλα σφάλματα. Τα αποτελέσματα του πρώτου περάσματος μπορούν να χρησιμοποιηθούν σε μια μέθοδο ελαχιστοποίησης αλγορίθμου SFS με συνάρτηση για τον υπολογισμό των p, q I(p, q) η ακτινοβολία E(u, v) είναι η ένταση εικόνας, λi συντελεστής της integrability και λs συντελεστής εξομάλυνσης Για των υπολογισμό των υψών z στα αντίστοιχα q και p χρησιμοποιείται η συνάρτηση Περνάει ως είσοδος τα αποτελέσματα των (p, q) από το πρώτο πέρασμα και επαναλαμβάνεται μια διαδικασία για των υπολογισμό καλύτερων (p, q)m που ελαχιστοποιούν την F 1 που είναι είσοδος της F 2 και παίρνουμε νέα ύψη z.
Physically-based Flattening Χρήση της διορθωμένης ως προς τον φωτισμό εικόνας έγγραφου ως ύφη (texture) Χαρτογράφηση της υφής (texture mapping) πάνω στο 3Δ ανακατασκευασμένο σχήμα Η χαρτογράφηση γινεταί χρησιμοποιώντας τον μετασχηματισμό της προοπτικής προβολής x/u = y/v = z/f. Το ξεδίπλωμα του 3Δ μοντέλου θα δώσει την διορθωμένη εικόνα.
Πειραματικά αποτελέσματα (a) (b) (c) (d) (e) (f) (g) (h) (i) (a) Original warped image (b) Inpainting mask; (c) Extracted shading image after surface fitting; (d) Reconstructed shape after pass I; (e) Shape after pass II; (f) Surface mesh with texture; (g) Photometrically restored image with k = 0. 9; (h) Geometrically restored image; (i) Final restored image.
Скачать презентацию Παρουσίαση της δημοσίευσης Photometric and Geometric Restoration of
37f16b8f44ec19e367a02d77bb14cf42.ppt