Key words: Binocular stereo vision, planar 3d display, naked-eye 3d, camera calibration, stereo matching, discrete wavelet transform, noise visibility function, image segmentation, OpenCV, DIBR
南京航空航天大学硕士学位论文
目录
第一章绪论 (1)
1.1 研究背景 (1)
1.1.1 平面3D显示技术及应用 (1)
1.1.2 双目立体视觉技术 (2)
1.2 国内外研究现状 (4)
1.3 课题选题依据和意义 (7)
1.4 论文主要研究内容和结构层次 (8)
1.4.1 论文主要研究内容 (8)
1.4.2 论文章节结构安排 (8)
第二章3D显示及双目立体视觉技术 (10)
2.1 引言 (10)
2.2 平面3D显示技术 (10)
2.2.1 平面3D显示技术原理 (10)
2.2.2 平面3D显示器分类 (11)
2.3 双目立体视觉技术 (14)
2.4 双目立体视觉系统模型 (15)
2.4.1 小孔成像原理 (15)
2.4.2 平行式与会聚式双目立体视觉系统模型 (16)
2.4.3 视差及深度计算 (17)
2.5 双目立体视觉系统关键技术 (18)
2.6 双目立体视觉系统组成 (20)
2.7 本章小结 (23)
第三章摄像机标定技术 (24)
3.1 引言 (24)
3.2 摄像机成像模型 (24)
3.2.1 线性摄像机模型坐标系定义 (24)
3.2.2 模型坐标系之间的变换 (26)
3.2.3 非线性摄像机模型 (28)
3.3 摄像机标定方法 (30)
v
基于双目立体视觉裸眼3D显示技术研究
vi
3.3.1 线性摄像机模型标定方法 (30)
3.3.2 非线性摄像机模型标定方法 (32)
3.4 基于OpenCV的标定和校正方法 (33)
3.4.1 张正友标定方法 (33)
3.4.2 双目摄像机标定 (36)
3.4.3 立体校正方法 (37)
3.5 本章小结 (38)
第四章立体匹配算法研究及DIBR技术 (39)
4.1 引言 (39)
4.2 立体匹配的约束和方法 (39)
4.2.1 立体匹配约束准则 (39)
4.2.2 立体匹配方法 (41)
4.3 基于图像分割的立体匹配算法 (42)
4.3.1 相似性测度函数定义 (44)
4.3.2 平面拟合提炼方法 (45)
4.3.3 基于BP优化算法的平面分配 (45)
4.4 基于小波变换与HVS模型的立体匹配算法 (46)
4.4.1 离散小波变换原理 (46)
4.4.2 基于HVS模型的噪声可见度函数 (47)
4.4.3 匹配算法的流程设计 (48)
4.4.4 实验结果及分析 (49)
4.5 基于深度的图像绘制技术 (51)
4.5.1 多视点图像的绘制 (51)
4.5.2 DIBR技术及其原理 (52)
4.5.3 DIBR仿真实验 (54)
4.6 本章小结 (55)
第五章系统实验及显微手术立体显示方案 (56)
5.1 引言 (56)
5.2 实验流程及软件设计 (56)
5.3 基于OpenCV的摄像机标定 (58)
5.3.1 平行配置摄像机图像采集 (58)
5.3.2 摄像机标定实验 (58)
南京航空航天大学硕士学位论文
5.3.3 偏振式3D显示效果实验 (61)
5.3.4 深度图像生成 (62)
5.4 手术显微镜系统方案 (64)
5.5 本章小结 (65)
第六章总结与展望 (66)
6.1 论文总结 (66)
6.2 后续研究展望 (67)
参考文献 (69)
致谢 (74)
在学期间的研究成果及发表的学术论文 (75)
攻读硕士学位期间发表（录用）论文情况 (75)
攻读硕士学位期间申请专利及软件著作权情况 (75)
攻读硕士学位期间参加科研项目情况 (75)
vii
基于双目立体视觉裸眼3D显示技术研究
viii 图清单
图 1.1 Marr视觉理论的三个层次 (3)
图 1.2 TrueVision立体手术系统 (6)
图 1.3 美国火星探测机器人 (7)
图 2.1 视差立体成像原理 (11)
图 2.2 互补色式3D显示 (11)
图 2.3 偏振式立体显示 (12)
图 2.4 快门式立体显示 (12)
图 2.5 壁障与柱透镜视差立体显示示意图 (13)
图 2.6 Philips274G5D偏振3D显示器 (14)
图 2.7 人眼双目视觉模型 (14)
图 2.8 小孔成像模型 (16)
图 2.9 平行式与会聚式相机模型 (16)
图 2.10 平行放置方式成像模型 (17)
图 2.11 双目立体视觉平面图 (18)
图 2.12 双目立体视觉系统 (20)
图 2.13 DVP-30GC03相机外观结构图 (21)
图 2.14 VT-LEM0614MP3光学镜头尺寸图 (22)
图 2.15 Intel PWLA8391GT千兆网卡 (22)
图 2.16 双目立体视觉实验平台 (23)
图 3.1 线性模型坐标系结构 (25)
图 3.2 像平面坐标系与图像像素坐标系 (27)
图 3.3 左右视图立体校正 (38)
图 4.1 左右图像中的极线与极点 (40)
图 4.2 图像分割视差估计算法流程 (43)
图 4.3 均值漂移分割图像 (44)
图 4.4 一级和二级小波变换示意图 (47)
图 4.5基于小波变换与噪声见度函数的算法框图 (48)
图 4.6 本文算法实验对比图 (50)
南京航空航天大学硕士学位论文
图 4.7 基于双目立体视觉的多视点图像生成方法 (51)
图 4.8 基于深度图像绘制技术原理图 (52)
图 4.9 DIBR技术处理基本框架 (53)
图 4.10 参考图像（左）及其对应深度图像（右） (54)
图 4.11 基于视差图像的新视点绘制流程 (54)
图 4.12 带空洞的新视点图像（左）及填补空洞后的新视点图像（右） (55)
图 5.1 实验基本流程设计 (56)
图 5.2 软件主界面 (57)
图 5.3 标定棋盘格模板 (58)
图 5.4 标定棋盘图像对 (59)
图 5.5 左摄像机的角点提取 (60)
图 5.6 合成左右图像 (61)
图 5.7左右格式图像显示效果 (61)
图 5.8 拍摄参考图像及其深度图像 (62)
图 5.9 测量深度与实际深度对比 (63)
图 5.10 体式显微镜图像采集及光学结构 (64)
图 5.11 手术显微镜3D显示系统结构 (65)
ix
基于双目立体视觉裸眼3D显示技术研究
x 表清单
表 2.1 DVP-30GC03相机主要参数 (21)
表 4.1 实验结果与其他算法的比较 (50)
表 5.1 棋盘平面特征点世界坐标 (59)
表 5.2 深度提取实验结果 (63)
南京航空航天大学硕士学位论文
注释表
xi
基于双目立体视觉裸眼3D显示技术研究xii
南京航空航天大学硕士学位论文
第一章绪论
1.1 研究背景
1.1.1平面3D显示技术及应用
平面显示技术在如今的生活和工作中扮演着一个重要角色，是人类传递信息的重要手段之一，平面显示器更是存在于工作生活的每一个角落。现代研究表明，视觉是获取信息最直接和最有效的方式，占人类感知客观世界信息的80%以上[1]，近些年，随着3D电影的火热使得立体显示技术进入一个新的发展浪潮。传统的平面显示技术已经无法满足市场要求，更多更新的3D显示技术随之发展而来，无论是需要佩带眼镜等辅助工具的立体显示技术还是裸眼3D显示技术都在以非常迅速的发展势头走进日常生活和工作，正是基于这个契机，给许多研究领域带来了技术革新，其中包括医疗、军事、商业、娱乐以及艺术等众多领域[2]。
立体显示技术即能提供带有深度信息画面的多媒体技术，它能给人逼真、立体的感受。传统的平面显示技术只是二维图像信息的载体，缺乏反映场景中物体远近位置的深层次信息。随着现代技术的发展，尤其是在光电、微电子技术上的进步使得融合及显示多画面成为可能，这极大的促进了立体显示技术的进步。如今，市场上出现的3D显示器的品牌和种类非常多，包含的立体技术也很广，主要有以下两种为主：一是佩戴辅助设备的立体显示技术；二是裸眼3D 显示技术；此外，还有如手持显示设备和头盔式显示设备等。佩带辅助工具的方式在一定程度上限制了观察者的自由，但其立体视觉效果更好；相对来说裸眼3D技术提供了更大的自由空间，是未来发展的一个主要方向。立体显示技术的发展经历了将近二十年的持续研究，各领域的研究者们突破了大量关键技术瓶颈才有了现在的成果，但最早的立体电视系统甚至可以追溯到1928年，最早的彩色立体电影也出现于1935年。但是，现在的立体显示技术仍然面临着很多的不足和缺陷，技术发展还有很大的空间，尤其是运用于各个领域当中还会遇到很多实际和特别的困难，这些都需要研究人员的进一步研究。一个理想的立体显示器需要满足多项要求，比如较大的观察视角可以保证观看者的数量、观察者活动自由、无需其他辅助工具、具备移动视差、深度信息准确以及画面品质（分辨率、色彩等）足够好等等，满足这些要求将使立体显示器具备完全再现三维场景的能力。
如今随着3D技术走向成熟，人们对它的需求与日俱增。3D技术带给各个行业的优势也逐渐体现出来，目前3D技术已经获得了比较广泛的应用，虽然在部分领域尚不成熟但毫无疑问它是未来发展的方向，其主要应用领域包括以下几个方面：
1、医疗卫生领域，如今的外科医疗手术如眼科、耳鼻喉科等医生都渴望能获得更精确的三
1
基于双目立体视觉裸眼3D 显示技术研究
2 维信息，立体显示技术尤其是裸眼3D 技术可以解放医生，提供准确的手术现场信息，在远程医疗诊断中也能提供比平面显示更多的诊疗实况方面的视觉信息。在内窥镜诊疗、体内成像（MRI 、CT 、B 型超声）、体内造影、虚拟手术、外科手术教学等方面立体显示技术也具有不可替代的应用价值。
2、军事领域，由于立体显示技术能够真实反映实际场景情况，其在军事领域同样获得了大力的推广。其中最重要的一项是针对飞行员、潜艇驾驶员、坦克驾驶员等的模拟实战培训，如DTI （Dimension Technologies Inc ）公司为美空军和海军设计的飞行模拟系统等。此外，还应用于立体摄像侦察、卫星图像分析、潜艇水下领航等。
3、工业领域，在辅助CAD/CAM 设计方面立体显示技术提供了立体深度信息，使得设计人员能更真实的感受设计效果，极大的提高了CAD/CAM 的设计效率。其次，立体显示技术还在工业造型设计、远程机器人视觉、工业作业控制、危险品生产以及微小零件装配等众多方面获得了应用。
