计算机视觉 Computer Vision 艾海舟 2011年 3月 Sept. 17, 2010
Outline 课程目标，资料来源，授课方式… 教材与参考书、作业、课程设计、考核方式 Web sites FTP sources Tools (Intel Open. CV, IPL, …) Demo 相关学科与相关课程的联系 Overview Introduction recommended：Forsyth’s introduction to CV, other related Sept. 17, 2010
课程目标，资料，授课方式 目标 ü 全面了解计算机视觉研究领域，掌握基本原理，具有 一定的实践能力。 资料 ü 使用网上公开的资料，挑选、推荐各种资料（ ppt, pdf, codes, etc. ），并直接使用我认为合适的讲稿进 行讲解。 授课方式 ü 课堂上全面介绍基本原理，引导资料阅读；课后需要 学生阅读相关文献，消化理解。如有时间，建议课前 预习。 Sept. 17, 2010
学习方法的建议 根据自己学习本门课程的目的考虑投入时间 ü 一般了解、掌握、精通 根据自己研究方向有所侧重 ü 有选择地专研部分内容 ü 将精读与一般了解相协调 ü 将建立基础知识与把握当前研究热点相结合 结合自己的研究课题加深相关基础知识 ü 了解本方向的研究情况，研究趋势等。 Sept. 17, 2010
实践：课程设计、专题研究 实践非常重要，CV是实验学科，脱离实践， 很难有所收获。 课程设计（程序作业） ü ü ü 可以使用Open. CV 具， 可以使用Mathlab 具， 充分利用其他网上资源 专题研究 ü ü ü 结合自己的课题，挑选论文精读， 实现论文中的方法， 分析存在的问题，如何解决，如何改进，…… Sept. 17, 2010
教材 英文原版：Szeliski, Richard, Computer Vision: Algorithms and Applications, Springer, Oct. , 2010 中文翻译版：艾海舟，兴军亮 等， 《计算机视觉：算 法与应用》，2011年 x月（预计 2011年内出版）；清华 大学出版社 英文影印版：DA Forsyth and J. Ponce, Computer Vision: A Modern Approach, Prentice Hall. 1 st edition (August 14, 2002) ; 清华大学出版社 中文翻译版：林学言，王宏 等， 《计算机视觉：一种 现代的方法》，2004年 6月；电子 业出版社 Sept. 17, 2010
参考书 马颂德，张正友，《计算机视觉》，科学出版社，北京， 1998。 R. Jain, R. Kasturi and B. G. Schunck, Machine Vision, Mc. Graw. Hill companies, Inc. 机械 业出版社， 2003. 8。 L. G. Shapiro and G. C. Stockman, Computer Vision, Prentice Hall Inc, 2001. M. Sonka, V. Hlavac, and R. Boyle, Image processing, analysis, and machine vision , Chapman & Hall Computing, London, 3 rd Edition, THOMSON Learning, 2008. M. Sonka, V. Hlavac, and R. Boyle, (艾海舟、苏延超 等译), 图 像处理、分析与机器视觉（第 3版），清华大学出版社, 2011. 1。 章毓晋，图象 程 （第 2版），清华大学出版社, 2007. 5 Sept. 17, 2010
参考书(模式识别与机器学习) Christopher M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006. 8 R. O. Duda, P. E. Hart and D. G. Stork, Pattern Classification， 机械 业出版社，2003. 6。 R. O. Duda, P. E. Hart and D. G. Stork (李宏东，姚天翔等 译) , 模式分类，机械 业出版社，2003. 9。 S. Theodoridis and K. Koutroumbas, Pattern Recognition, 机械 业出版社，2003. 9。 边肇祺，张学 等，模式识别，清华大学出版社，2000. Sept. 17, 2010
参考书(图像处理) 1. 2. 3. 4. 5. R. C. Gonzalez, R. E. Woods，Digital Image Processing, 第三 版 (影印) 电子 业出版社& Pearson Education, 2010. R. C. Gonzalez, R. E. Woods, (阮秋琦、阮宇智等译)，数字 图像处理，第二版，电子 业出版社& Prentice Hall, 2003. 章毓晋，图象 程 （第 2版），清华大学出版社, 2007. 5 郎锐，数字图像处理学Visual C++实现，北京希望电子出 版社，2002. 12 周长发，精通Visual C++图像编程，电子 业出版社， 2000. 1 Sept. 17, 2010
作业、课程设计、考核方式 书面作业 课程设计 考核方式 ü ü ü Sept. 17, 2010 书面作业 10% 课程设计 60% 期末考试 30%
Web sites (1) ---Search Engine CVPapers - Computer Vision Resource ü http: //www. cvpapers. com/ Google search ü ü ü computer vision Computer vision homepage Computer vision online Computer vision source codes Computer vision test data Computer vision …. Paper search http: //www. researchindex. com Sept. 17, 2010
Web sites (2) ---Courses 计算机视觉 Slides and lectures of Szeliski’s book’s supplementary material UW 455: Undergraduate Computer Vision, http: //www. cs. washington. edu/education/courses/455/. UW 576: Graduate Computer Vision, http: //www. cs. washington. edu/education/courses/576/. Stanford CS 233 B: Introduction to Computer Vision, http: //vision. stanford. edu/teaching/cs 223 b/. MIT 6. 869: Advances in Computer Vision, http: //people. csail. mit. edu/torralba/courses/6869/6. 869. computervision. htm. Berkeley CS 280: Computer Vision, http: //www. eecs. berkeley. edu/trevor/CS 280. html. UNC COMP 776: Computer Vision, http: //www. cs. unc. edu/lazebnik/spring 09/. Middlebury CS 453: Computer Vision, http: //www. cs. middlebury. edu/schar/courses/cs 453 -s 10/. Sept. 17, 2010
Web sites (3) ---Course Ware 计算机视觉”课程的网上课件入口 Computer Vision Education Digital Library Collection http: //cved. org/ ü Computer Vision § http: //www. cs. washington. edu/education/courses/576/Current Qtr/ ü Introduction to Computer Vision § http: //www. cse. psu. edu/~cg 486/ ü Learning and Inference in Vision § www. ai. mit. educourses 6. 899 Sept. 17, 2010
Web sites (4) --- Codes, tutorial, etc. KLT: An Implementation of the Kanade-Lucas. Tomasi Feature Tracker ü http: //www. ces. clemson. edu/~stb/klt/installation. html Epipolar geometry, essential matrix, etc: online tutorial ü http: //homepages. inf. ed. ac. uk/rbf/CVonline/LOCAL_C OPIES/EPSRC_SSAZ/node 18. html RANSAC ü http: //homepages. inf. ed. ac. uk/rbf/CVonline/LOCAL_C OPIES/FISHER/RANSAC/ ………. Sept. 17, 2010
Tools (1) Intel Open. CV (Open source Computer Vision library) ü ü This library allows high level functions for computer vision and image processing. Open. CV offers many high-level data types such as sets, trees, graphs, matrices. . . Open. CV is open source to run on many computer platforms. High level functions such as ü ü ü Camera calibration (Zhang Zhengyou’s method) Face detection (a variation of Viola-Jones’s detector) Motion analysis and object tracking § Optical flow § Lucas-Kanade algorithm ü Estimators § Kalman § Sept. 17, 2010 Condensation
Tools (2) Intel IPP (Integrated Performance Primitives) ( It is a signal processing, image processing and matrix calculation library developed by Intel Corporation. IPP offers to programmers a wide range of low-level functions which are optimized when used on an Intel processor (from Pentium to Itanium). It is really a good library for signal, image, video and sound processing with very good performances due to optimized instructions. IPP is not a free library, it comes under an Intel licensing policy which is explained at Intel website Sept. 17, 2010
demo Face detection Object contour tracking Motion object detection and tracking ASM/AAM shape modeling Perceptual interface: smart room Visual surveillance Robotics vision 3 D modeling, face animation ……… Sept. 17, 2010
相关学科与相关课程的联系 计算机图形学 集合论 计算几何 线性代数 高等代数 机器视觉 计算机视觉 数字图象处理 最优化方法 模式识别 。。。。。。 计算机视觉专题 高级语言程序设计 数据结构 基础知识 （图象与视觉计算） 重 叠 量 反 应 相 关 程 度 信号与系统 先后顺序 Sept. 17, 2010
Overview (1) 计算机视觉的几何学基础 ü 摄像机模型 ü 运动估计 § 单摄像机(pinhole model/perspective transformation) § 双摄像机 (epipolar geometry: fundamental matrix/essential matrix) § 三摄像机及更多(multi-view geometry) § 对应点问题（correspondence problem） § 光流计算方法 § 刚体运动参数估计（minimal projective reconstruction） • • • ü 2 -view, 7 points in correspondence; (Faugeras) 3 -view, 6 points in correspondence; (Quan Long) 3 -view, 8 points with one missing in one of the three view. (Quan Long) 几何重构（Geometry reconstruction） § 立体视觉(stereo vision) § Shape from X (shading/motion/texture/contour/focus/de-focus/…. ) Sept. 17, 2010
Overview (2) 计算机视觉的物理学基础 ü 摄像机及其成像过程 § 视点、光源、空间中光线、表面处的光线…. § 明暗 shading、阴影 shadow ü 光学/色彩 light/color § 辐射学，辐照率…radiometry, ü 物体表面特性 § 漫反射表面（各向同性）Lambertian surface 漫反射表面（各向同性） § BDRF (bi-directional reflectance distribution fucntion) Sept. 17, 2010
Overview (3) 计算机视觉的图像模型基础 ü 摄像机模型及其校准 § 内参数、外参数 ü 图像特征 § 边缘、角点、轮廓、纹理、形状… ü 图像序列特征 (运动) § 对应点、光流 Sept. 17, 2010
Overview (4) 计算机视觉的信号处理层次 低层视觉处理 ü ü 单图像：滤波/边缘检测/纹理 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion 中层视觉处理 ü ü ü 聚类分割/拟合线条、曲线、轮廓 clustering for segmentation, fitting line… 基于概率方法的聚类分割/拟合 跟踪 tracking 高层视觉处理 ü ü 匹配 模式分类/关联模型识别 pattern classification/aspect graph recognition 应用 ü 距离数据（range Sept. 17, 2010 data）/图像数据检索/基于图像的绘制
Overview (5) 计算机视觉的数学基础 摄影几何、微分几何 概率统计与随机过程 数值计算与优化方法 机器学习 计算机视觉的基本的分析 具和数学模型 Signal processing approach: FFT, filtering, wavelets, … Subspace approach: PCA, LDA, CCA, ICA, … Bayesian inference approach: EM, Condensation/SIS/…, MCMC, …. Machine learning approach: SVM/RVM/Kernel machine, Boosting/Adaboost, NN/Regression, … HMM, BN/DBN, … Gibbs, MRF, … Sept. 17, 2010
Overview (6) 计算机视觉问题的特点 高维数据的本质维数很低，使得模型化成为 可能。 High dimensional image/video data lie in a very low dimensional manifold. 问题的不适定性 缺少约束的逆问题 优化问题 Sept. 17, 2010
Introduction Recommended Forsyth’s introduction to CV Ullman’s introduction to Computer and Human Vision (part 1) Ullman’s introduction to Computer and Human Vision (part 2) Seitz’s conclude on CV Sept. 17, 2010
CV 文献 杂志 IJCV, PAMI, CVIU, PR, IVC等 会议 ICCV, CVPR, ECCV, FG, ACCV, ICPR, ICIP 等 Sept. 17, 2010
Скачать презентацию 计算机视觉 Computer Vision 艾海舟 2011年 3月 Sept 17
6acc06c44bce63e9c46fded6144167f9.ppt