中图分类号：TP493 单位代号：10280

密 级： 学 号：17820182

博 士学位论文
SHANGHAI UNIVERSITY
DOCTORAL DISSERTATION

题 水下双目立体视觉成像
目
若干关键技术研究

作 者 谢亮亮
学科专业 机械制造及其自动化
导 师 屠大维 教授
完成日期 2022 年 3 月
上海大学博士学位论文

姓 名：谢亮亮 学号：17820182

论文题目：水下双目立体视觉成像若干关键技术研究

上海大学

本论文经答辩委员会全体委员审查,确
认符合上海大学博士学位论文质量要求。

答辩委员会签名：

主任：

委员：

导 师：

答辩日期： 2022 年 6 月 21 日

I
上海大学博士学位论文

姓 名：谢亮亮 学号：17820182

论文题目：水下双目立体视觉成像若干关键技术研究

原 创 性 声 明

本人声明：所呈交的论文是本人在导师指导下进行的研究工作。

除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表

或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何

贡献均已在论文中作了明确的说明并表示了谢意。

签 名： 日 期：

本论文使用授权说明

本人完全了解上海大学有关保留、使用学位论文的规定，即：学

校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可

以公布论文的全部或部分内容。

（保密的论文在解密后应遵守此规定）

签 名： 导师签名： 日期：

II
上海大学博士学位论文

上海大学工学博士学位论文

水下双目立体视觉成像若干关键技
术研究

姓 名：谢亮亮
导 师：屠大维 教授
学科专业：机械制造及其自动化

上海大学机电工程与自动化学院
2022 年 3 月

III
上海大学博士学位论文

A Dissertation Submitted to Shanghai University for the Degree

of Doctor in Engineering

Research on Key Technologies of

Underwater Binocular Stereo Vision
Imaging

Candidate：Liangliang XIE
Supervisor：Dawei TU Professor
Major：Mechanical Manufacturing and Automation

School of Mechatronic Engineering and Automation,

Shanghai University
March, 2022

IV
上海大学博士学位论文

摘 要

水下立体视觉成像技术在水下近距离探测作业中具有十分重要的应用。近年
来，水下立体成像系统表现出多样化的特点和需求，如，当进行深海生物形态学
研究和水下考古发现时，需要对水下目标进行原位观测成像，获取其三维特征信
息，强调的是对水下目标的高精度三维测量（毫米级）；当进行海底地形地貌和
水下大型结构观测时，要求三维成像视觉系统在满足一定精度前提下具有尽可能
大的视场，强调的是三维成像系统的观测视场问题。本文基于水下双目立体视觉
成像原理，分别面向水下目标原位测量和水下场景大视场三维成像进行了深入研
究。针对水下目标原位测量的应用需要，采用主动激光线扫描双目立体视觉测量
技术，利用线激光投射光条作为左右相机像素匹配线索，提高左右相机图像对应
点匹配精度。针对水下场景大视场三维成像应用需求，采用鱼眼镜头作为双目立
体视觉系统左右相机的成像物镜，以扩大双目立体视觉系统的视场范围。然而，
受水下作业环境和成像系统自身性能的影响，两者在水下应用时存在诸多问题。
为此，本文围绕水下主动激光线扫描双目立体视觉测量系统、水下鱼眼镜头大视
场双目立体视觉系统，对这两种水下双目立体视觉成像系统的关键技术进行研究。
具体研究工作如下：
（1）基于双目立体视觉测量原理，针对水下物像关系不满足小孔成像模型
的问题，建立了水下相机多层平面折射成像模型。在此基础上，重新建立了水下
双目立体视觉成像模型，提出了系统参数标定方法；
（2）理论研究了水下光学成像特性，并对引起水下图像质量退化的原因进
行了分析。针对水下图像存在对比度低、细节特征模糊的问题，基于 CLAHE 方
法和暗通道先验算法，完成对影响水下图像质量的水下均匀光成分估计方法的改
进，实现对水下图像的增强处理，为后续双目立体视觉三维重建奠定了基础；
（3）采用线激光光条作为左右相机像素匹配线索，提出基于共面约束的像
素匹配算法，提高左、右两个相机像素的匹配精度。在静态扫描精度实验中，被
测球棒两靶球球心距多次扫描测量结果的标准差达到 2.3mm，表明系统具备较高
的测量精度；
（4）对于被测目标与激光线扫描系统之间的相对晃动导致三维重建失败问

V
上海大学博士学位论文

题，分析了系统在水下成像时存在动态测量误差的原因，提出一种基于标志点的
误差补偿算法，通过相对位姿关系的求取，完成对被测目标物的动态测量误差补
偿。在动态扫描补偿实验验证中，被测靶球直径多次扫描测量结果的标准差为
0.5mm，验证了所提误差补偿方法的可行性；
（5）采用鱼眼镜头作为左右相机成像物镜的大视场双目立体成像系统中，
对于水下鱼眼透镜成像的严重图像畸变，提出基于多频外差技术实现对鱼眼镜头
相机成像映射关系的标定，结合标定的系统参数，完成了对水下鱼眼镜头相机图
像的校正。实验表明,校正后的水下鱼眼镜头相机图像平均重投影误差为 0.26 像
素，验证了所提标定方法的有效性；
（6）建立了一种图像转化模型，将校正后的水下鱼眼镜头相机图像转换为
在空气中拍摄的等效图像，转化后的图像结合现有的立体匹配方法，实现对水下
大范围场景的三维重建。在水下大场景三维重建实验中，多个陶瓷盘构成的目标
物三维成像效果良好，结果表明，研制的成像系统具备水下大场景三维成像观测
能力。
综上所述，本文以适用于水下目标原位测量和水下场景大视场观测的双目立
体视觉成像为研究对象，开展了相关关键技术研究，为水下三维成像的研究和应
用提供技术支撑。

关键词：水下双目立体视觉成像；系统参数标定；三维重建；水下目标原位测量；
水下大场景三维成像

VI
上海大学博士学位论文

ABSTRACT

As a crucial technology in underwater short-range detection operations,

underwater stereo vision has diverse applications, such as conducting deep-sea
biological morphological research and underwater archaeological discoveries in
recent years. Under those conditions, it is necessary to perform in-situ observation and
imaging of underwater targets to obtain their 3D feature information, especially for
high precision 3D information of underwater targets(mm). Also, when observing
submarine topography and large underwater structures, the 3D imaging vision system
is required to have as large a field of view as possible under the premise of satisfying
a certain accuracy.
In this paper, thorough researchs about in-situ high precision measurement of
underwater targets and 3D imaging of underwater scenes with large field of view are
deeply carried out as per the principle of underwater binocular stereo vision imaging.
For the application of high precision in-situ measurement of underwater targets, the
active line laser scanning binocular stereo vision measurement technology is adopted,
and the line laser projection light bar is used as the pixel matching clue of the left and
right cameras, which can improve the matching accuracy of the corresponding points.
In addition, to satisfy the application requirements of underwater large field of view
3D imaging, the fisheye lens is used in binocular stereo vision system to expand the
field of view.
However, due to the dual influences of the underwater operating environment
and the performance of the imaging system, there are quite a few issues to be solved
in the underwater applications. Therefore, this paper focuses on the underwater active
laser line scanning binocular stereo measurement system and the underwater fisheye
lens large field of view binocular stereo vision system, and studies the key
technologies of the above mentioned systems. The specific researchs are as follows.
(1) Based on the principle of binocular stereo vision measurement, a multi-layer
plane refraction imaging model of underwater camera is established to solve the

VII
上海大学博士学位论文

problem that the underwater object-image relationship does not satisfy the pinhole
imaging model. On this basis, the underwater binocular stereo vision imaging model
is re-established, and a calibration method of the system parameter is proposed as
well.
(2) The characteristics of underwater optical imaging are theoretically studied,
and the reasons for the degradation of underwater image quality are analyzed. Aiming
at the issues of low contrast and blurred details in underwater images, the CLAHE
method and the dark channel prior algorithm are applied to improve of the underwater
uniform light component estimation which affects the quality of underwater images is
completed. As a result , the enhancement of underwater image lays a foundation for
the subsequent 3D reconstruction of binocular stereo vision system is realized.
(3) Using the line laser light bar as the pixel matching clue of the left and right
cameras, a pixel matching algorithm based on coplanarity constraint is proposed to
improve the matching accuracy of the binocular stereo vision system. In the static
scanning accuracy experiment, the standard deviation of the measurement results of
multiple scanning measurements of the distance between the two target balls reached
2.3mm, indicating that the system has a higher measurement accuracy.
(4) For the failure of 3D reconstruction caused by relative shaking between the
measured target and the line laser scanning system, the reasons for the dynamic
measurement error of the system are analyzed, and an error compensation algorithm is
proposed. In the experimental verification of dynamic scanning compensation, the
standard deviation the measured target ball diameter with multiple measurement is
0.5mm, which verifies the feasibility of the proposed method.
(5) In the large field of view binocular stereo imaging system with fisheye lens, a
multi frequency heterodyne technology is proposed to calibrate the imaging mapping
relationship of fisheye lens camera. Combined with the calibrated system parameters,
the underwater fisheye lens camera image is corrected. Experiments show that the
average reprojection error of the corrected underwater fisheye camera images is 0.26
pixels, which verifies the effectiveness of the proposed calibration method.

VIII
上海大学博士学位论文

(6) An image conversion model is established, which converts the corrected

underwater fisheye lens camera image into an equivalent image captured in the air.
The converted image is combined with the existing stereo matching method to realize
the transformation of large-scale underwater scenes. In the 3D reconstruction
experiment of large underwater scene, the measured targets composed of multiple
ceramic discs have good appearances. Results showed that the developed imaging
system has the 3D imaging observation ability of large underwater scene.
In summary, this paper takes binocular stereo vision imaging suitable for in-situ
high precision measurement of underwater targets and large field of view observation
of underwater scenes as the targets, and carries out relevant key technology researches,
providing support for the research and application of underwater 3D imaging.

Keywords: Underwater binocular stereo vision imaging; System parameters

calibration; 3D reconstruction; In-situ high precision measurement of underwater
target; 3D imaging of underwater large scene

IX
上海大学博士学位论文

目 录
摘 要 ............................................................ V
ABSTRACT ......................................................... VII
目 录 ............................................................ X
第一章 绪论 ....................................................... 1
1.1 水下双目立体视觉成像应用.......................................................................................... 1
1.2 水下主动激光线扫描双目立体视觉成像 ...................................................................... 2
1.3 水下鱼眼镜头双目立体视觉成像.................................................................................. 7
1.4 论文主要研究内容........................................................................................................ 11
第二章 水下双目立体视觉成像建模及系统参数标定 .................... 13
2.1 引言 ............................................................................................................................... 13
2.2 双目立体视觉测量原理................................................................................................ 13
2.3 水下相机成像建模........................................................................................................ 15
2.4 水下双目立体视觉成像建模........................................................................................ 19
2.5 系统参数标定及仿真分析............................................................................................ 23
2.5.1 界面法线标定..................................................................................................... 23
2.5.2 界面厚度标定..................................................................................................... 25
2.5.3 仿真分析 ............................................................................................................ 26
2.6 本章小结 ....................................................................................................................... 28
第三章 水下图像增强 .............................................. 29
3.1 引言 ............................................................................................................................... 29
3.2 水下光学成像特性分析................................................................................................ 29
3.3 水下图像增强主要方法................................................................................................ 31
3.3.1 基于空间域的图像增强..................................................................................... 32
3.3.2 基于频域的图像增强......................................................................................... 35
3.4 基于 CLAHE 方法和暗通道先验算法的水下图像增强 ............................................ 36
3.4.1 CLAHE 图像增强 .............................................................................................. 36
3.4.2 暗通道先验图像增强......................................................................................... 39
3.4.3 实验 .................................................................................................................... 42
3.5 本章小结 ......................................................................................................................... 43
第四章 面向水下目标原位测量的激光线扫描双目立体视觉成像研究 ...... 45
4.1 引言 ............................................................................................................................... 45
4.2 水下激光线扫描双目立体视觉成像测量研究 ............................................................ 45
4.2.1 基于共面约束的像素匹配................................................................................. 46
4.2.2 样机研制 ............................................................................................................ 48
4.2.3 实验 .................................................................................................................... 51
4.2.3.1 系统标定实验.......................................................................................... 51
4.2.3.2 实验室精度实验...................................................................................... 53
4.2.3.3 南海海域测量实验.................................................................................. 55
4.3 水下激光线扫描双目立体视觉动态测量误差补偿研究 ............................................ 57
X
上海大学博士学位论文

4.3.1 系统动态测量误差分析..................................................................................... 58
4.3.2 动态测量误差补偿算法研究............................................................................. 61
4.3.3 实验 .................................................................................................................... 65
4.3.3.1 基于人工标志点的误差补偿实验 .......................................................... 65
4.3.3.2 基于场景中自然特征的误差补偿实验 .................................................. 68
4.4 本章小结 ....................................................................................................................... 69
第五章 面向水下大场景观测的双目立体视觉成像研究 .................. 70
5.1 引言 ............................................................................................................................... 70
5.2 水下鱼眼镜头相机成像建模........................................................................................ 70
5.2.1 鱼眼镜头相机多层平面折射成像建模 ............................................................. 72
5.2.2 水下鱼眼镜头相机多层平面折射成像建模 ..................................................... 75
5.3 水下鱼眼镜头相机系统参数标定................................................................................ 76
5.3.1 基于多频外差技术的鱼眼镜头相机成像映射关系标定 ................................. 76
5.3.2 鱼眼镜头相机系统参数标定............................................................................. 78
5.3.3 实验 .................................................................................................................... 79
5.4 水下鱼眼镜头双目立体视觉三维重建 ........................................................................ 85
5.4.1 图像转换 ............................................................................................................ 86
5.4.1.1 图像转换建模.......................................................................................... 87
5.4.1.2 透视投影图像获取.................................................................................. 88
5.4.2 水下鱼眼镜头双目立体视觉下图像转换 ......................................................... 90
5.4.2.1 多透平面成像坐标系建立 ...................................................................... 90
5.4.2.2 立体视觉下图像转换.............................................................................. 91
5.4.3 三维坐标计算..................................................................................................... 93
5.4.4 实验 .................................................................................................................... 94
5.4.4.1 图像转换验证实验.................................................................................. 94
5.4.4.2 三维重建实验.......................................................................................... 99
5.5 本章小结 ..................................................................................................................... 103
第六章 全文总结与展望 ........................................... 104
6.1 全文总结 ..................................................................................................................... 104
6.2 展望 ............................................................................................................................. 105
参考文献 ......................................................... 107
作者在攻读博士学位期间公开发表的论文及授权发明专利 ............... 118
作者在攻读博士学位期间参与的项目 ................................. 119
致 谢 .......................................................... 120

XI
上海大学博士学位论文

第一章 绪论

1.1 水下双目立体视觉成像应用

水下光视觉三维成像在生物学、考古学、地理学和工程应用等领域[1-6]的应
用日渐凸显。近年来，水下光视觉三维成像技术的研究得到了快速发展[7-10]。其
中，双目立体视觉技术基于视差理论[11-13]，利用左右相机获取被测目标物的两幅
图像，通过计算两幅图像中对应像素点的位置偏差，经由三角公式得到目标物的
三维信息[14-18]。双目立体视觉测量方法具有非接触测量、分辨率高、系统结构简
单、效率高和适用范围广等特点[19,20]，在近距离水下三维成像及测量探测作业中
具有广阔的发展前景[21-24]。
当进行海洋生物形态学研究[25,26]、水下考古成像[27-30]和海底管道焊缝焊接作
业[31-33]等原位成像测量场合时，被测目标物表面的特征细节通常需要精细化的三
维重建，强调的是对水下目标的高精度三维测量。其中，主动式激光线扫描双目
立体视觉成像系统，具有结构简单和成像分辨率高等特点[34-38]。激光线扫描成像
技术利用投射器将线激光投射至被测物体表面上，以增强目标物表面的纹理信息，
提高水下图像对应像素点的匹配精度[39,40]。通过双目相机同时拍摄线激光条纹图
像，经像素匹配后即可实现对目标物的三维重建。近年来，国内外相关学者对激
光线扫描双目立体视觉成像系统开展了初步的研究，并将其应用于水下三维成像
及测量的场合中[41-45]。
当进行海底地形地貌观测[46-49]和水下大型构件表观检测[50-53]等水下大范围
观测作业时，成像系统的视场范围是一个重要考量指标[54,55]。通常要求系统具有
一次成像观测尽可能获得大的场景，强调的是三维成像系统的观测视场问题。其
中，鱼眼镜头是超广角镜头中的一种特殊镜头[56-58]，其视场角可达 280°，对于
具有鱼眼镜头的光学视觉成像系统，其特点是视野宽阔，能够获得较大视场的成
像画面[59-63]。将鱼眼镜头安装在双目立体视觉成像系统的左右相机上，可以扩大
双目立体视觉成像系统的成像范围，基于鱼眼镜头的视觉成像系统在水下大视场
观测场合中具有较好的应用前景。

1
上海大学博士学位论文

1.2 水下主动激光线扫描双目立体视觉成像

对于水下激光线扫描双目立体视觉成像系统而言，水下双目立体视觉成像建
模、左右相机条纹图像的像素匹配影响到系统最终的三维成像及测量精度。针对
上述问题，国内外学者进行了相关的研究。Giambruno 等[64]基于双目立体视觉成
像技术，使用线激光对水下物体扫描成像并进行三维重建，目标物重建形状效果
良好。由于忽略了折射的影响，三维测量模型的建立具有局限性，被测目标物三
维点云测量精度不高。Chi 等[65]设计了一套适用于水下作业的激光线扫描系统。
该系统利用电流计改变线激光平面方向，以获得连续的线激光条纹实现对水下目
标物的自动扫描。然后，利用目标平面和图像平面之间的单应性约束完成对系统
参数的标定。通过优化电流计转轴方程的代价函数，对入射光和界面发射之间光
的折射进行了补偿。最后，对水下的标准球进行三维重建，结果表明目标物具有
较好的重建效果。王宗义[66]对水下线激光扫描成像系统进行了研究，建立了水
下相机成像模型，并对由折射引起的误差进行了相应的补偿，提出了一种针对线
激光扫描成像的标定方法，由建立的各坐标系间转换关系，确定亮激光条纹上各
点三维坐标值，实现对水下目标物的三维测量。该方法具有相当的实用性，然而，
在坐标系转换过程中，引入了累积误差，在一定程度上减小了三维测量精度，且
该方法应用范围有限，使用局限性强。Achar 等[67]在浑浊水域中利用线激光扫描
成像系统对目标物进行了三维测量实验。根据接收到的激光图像光强的变化规律
和光平面的几何关系模型，得到被测物体的三维信息。但是，光强变化规律的无
序性使得接收的数据产生一定的误差，影响到最终的测量精度。翼光强[68]基于
主动式线激光对目标物进行扫描，采用基于骨架提取和方向模板技术相结合的灰
度重心提取法，完成对线激光条纹中心的提取，提取的像素点经坐标变换后，根
据二维与三维坐标系的映射关系，实现了对水下目标的三维重建。系统参数标定
时涉及到坐标变换过程的计算，由于采用了近似求解的方法，使得标定参数产生
累积误差，导致目标物三维重建精度受到一定的影响。解则晓等[69]提出了一种
水下线扫描三维成像技术，采用振镜反射激光面，与被测物体相交形成光条，由
相机对变形光条进行拍摄，根据像面上光条每一像素点的位置计算出该点因折射
产生的偏移大小，并进行相应的补偿。最后，利用给定的方程计算出物体表面的
三维坐标。该方法存在一定的补偿累积误差，影响测量精度。Roman 等[70]研制
2
上海大学博士学位论文

了一套用于水下考古的线激光扫描双目视觉系统，该系统采用线激光器作为主动
投射光源，并配置高分辨率的双目相机对目标物进行拍摄成像。在成像距离为
2m 处时，系统测量精度达到厘米级，三维重建结果如图 1.1 所示。实验结果验
证了该线激光扫描成像系统在水下考古作业应用的可行性。

（a） （b）
图 1.1 水下文物三维重建： （a）水下文物； （b）三维点云重建图像
Fig. 1.1 3D reconstruction of underwater cultural relics. (a) Underwater cultural relics. (b) 3D
point cloud reconstruction image

Yang 等[71]提出了一种基于线激光扫描成像的水下目标物三维重建方法。通
过对相机的直接标定，建立了二维像素坐标与三维世界坐标之间的坐标映射关系，
然后利用二维扫描数据实现对物体的三维重建。该系统使用 532nm 的线激光作
为光源，对水下的贝壳等目标物进行扫描，并由双目相机获取目标物二维图像，
重建的三维效果图如图 1.2 所示。系统标定过程中，坐标系转换产生的累积误差
影响了系统的三维重建效果。

（a） （b） （c）

图 1.2 水下线激光扫描三维成像： （a）水下目标物； （b）水下扫描场景； （c）目标物三维重
建效果
Fig. 1.2 3D imaging of underwater line laser scanning. (a) Underwater target. (b)Underwater
scanning scene.(c)3D reconstruction results of the targets
3
上海大学博士学位论文

针对水下成像过程中光线发生折射，导致水下双目立体视觉系统对应点匹配
不满足空气中极线约束的问题，张强等[72]提出一种适用于水下的极线约束模型，
指出外极线由于折射的存在而发生弯曲变形成为曲线约束，且可以通过计算方式
求取该曲线，最终实现了对水下双目立体视觉成像的立体匹配，但该方法测量模
型建立是在假定光心连线与折射面平行的基础上，在实际使用时具有一定的局限
性，不适合于一般的应用场合。随后，基于张强提出的外极线约束构想，解则晓
等[73]设计了一种基于线结构光阵列的水下双目相机视觉测量系统，建立了水下
双目光路折射模型，并提出一种改进的外极线双目匹配方法，通过极线几何约束
获得初始匹配范围，对特征点筛选剔除误匹配点完成像素匹配，实现对水下目标
物的三维重建，实验场景及三维测量结果如图 1.3 所示。然而，由于线激光条纹
投射角度的限制，该系统扫描成像范围受到一定的限制。

（a） （b） （c）

图1.3 水下线激光扫描成像三维测量结果： （a）水下测量实验场景； （b）被测目标； （c）三
维点云
Fig. 1.3 3D measurement results of underwater laser scanning imaging. (a) Underwater
measurement experiment scene. (b) Measured target. (c) 3D point cloud

Moore[74]研究了一套水下线激光扫描成像系统，该系统通过对接收装置和激
光器发射装置间位姿的校准，以及系统参数的标定，实现对目标物的三维成像及
测量。然而在实际使用时，由于该系统对目标物的测量距离有一定的限制，其测
量范围受到局限。Cebrian 等[75]通过固定线激光器和相机，利用被测物体的运动
来完成水下扫描任务，实现对目标物的三维重建，该方法存在时效性较差的问题，
且对水下目标的深度测量误差较大，使用条件具有一定的限制性，不适合对水下
物体的原位扫描测量。崔子浩[76]设计了水下实时彩色线激光扫描三维成像系统。
在扫描成像过程中，激光发射单元发射波长为 532nm 绿线激光条纹，经由旋转
平台带动实现扫描，并利用相机对目标物进行拍摄成像，实现对大范围目标的三

4
上海大学博士学位论文

维重建，被测目标物及三维成像如图 1.4 所示，结果表明，研究的三维成像系统

具有较好的三维成像效果，目标物特征明显。该系统适用于对大范围场景的三维
重建，但测量精度有待进一步提高。

（a） （b）
图 1.4 水下线扫描实验场景及三维成像结果： （a）水下目标物； （b）三维重建结果
Fig. 1.4 Underwater line scanning experimental scene and 3D imaging results. (a) Underwater
target. (b) 3D reconstruction results

加拿大 2G Robotics 公司[77]研制了 ULS 系列的 ULS-500 Pro 水下线激光扫描

双目立体视觉成像系统。该系统采用连续蓝光进行线扫描，其扫描范围为
1.5m~20m, 水下扫描视场角为 50o。该产品实物图及被测物扫描重建前后的三维
图像如图 1.5 所示。

（a） （b） （c）

图 1.5 水下线激光扫描系统和重建前、后的被测目标物： （a）扫描系统；（b）水下目标物；
（c）三维重建结果
Fig.1.5 Underwater laser scanning system and the measured objects before and after
reconstruction. (a) Line laser scanning prototype. (b) Underwater target. (c) 3D reconstruction
results

目前，水下激光线扫描成像系统的工作环境前提是在静止状态下的成像及测
量，当被测目标与扫描系统之间存在相对运动时，上述测量方案就存在导致测量
误差增大的问题。通常，水下激光扫描成像系统由船舶、潜器等设备进行搭载作

5
上海大学博士学位论文

业，而水的流动、潜器的晃动等因素不可避免。若在上述情况下使系统开展作业，
在激光线扫描成像过程中，引起晃动的因素会使得被测目标与测量系统之间相对
位姿发生变化，位姿的改变直接影响到系统的三维成像，对最终的测量精度带来
较大的误差，甚至有可能导致测量失效。因此，当工作环境中存在使得被测目标
与测量系统之间位姿发生变化的因素时，为保证三维成像及测量精度，有必要对
水下激光线扫描成像系统在动态环境下导致的测量误差进行分析，并作相应的补
偿研究。
针对成像系统在动态测量时引起测量误差的问题，国内外相关研究者对误差
补偿进行了研究。郭继平等[78]提出一种基于彩色条纹边界编码的动态三维重建
和流水式三维建模的方法，通过定位隐边界的方式以消除隐边界对边界追踪的影
响，实现了对运动物体深度数据的动态获取，提出一种基于标志点匹配的流水式
动态三维建模方法，提高了匹配精度和效率，结果表明，该方法具有较小的的匹
配误差。王军等[79]针对被动式光学捕捉系统丢点或误匹配问题，利用编码标志
点的连续性和局部相关性提出了对应的检测和补偿方法。该方法根据编码标志点
运动的连续性，且标志点与其相邻点位姿关系呈相对固定不动的关系，利用轨迹
的二阶导数对标志点的畸变进行检测。最后，根据线性模型实现了对畸变点坐标
的修正与补偿。黄康为[80]基于双目立体视觉成像技术，实现了对水下动态鱼体
尺寸的测量。利用 Mask-RCNN 方法对水下动态鱼体图像进行分割，并由分割精
细化方法对分割结果进行优化补偿得到鱼体的三维点云数据，最后，提出一种三
维旋转椭球拟合的测量方法，实现对水下动态鱼体尺寸的测量。该方法运用深度
学习技术，能够快速检测得到目标物并测量其尺寸，然而，由于系统参数标定精
度受限，导致目标物重建效果不好，测量精度较低。Bleier 等[81]设计了一套线激
光扫描自标定系统，该系统由相机、可自由移动的手持式十字线激光投影仪和编
码点组成。在实验时，手持移动十字线激光对目标物和编码标志点进行扫描，并
由相机进行拍摄成像，最后通过映射关系完成对目标物的三维重建，实验场景和
重建效果如图 1.6 所示。然而，由于为手持式进行移动扫描作业，目标物整体形
状不能被完全呈现，三维重建效果一般，且测量精度不高。

6
上海大学博士学位论文

（a） （b） （c）

图 1.6 十字线激光扫描自标定实验及扫描三维点云图： （a）十字线激光扫描自标定场景； （b）
实验场景； （c）管道扫描三维点云图
Fig. 1.6 Cross line laser projector for underwater calibration experiment and 3D point clouds. (a)
Cross line laser projector in a waterproof housing for underwater calibration scanning. (b)
Eperimental scene. (c) Reconstructed 3D point clouds

然而，在建立水下成像测量模型时，部分研究对折射问题进行了近似简化计
算，并开展了相关的补偿。在此情况下，系统参数在标定时易引起累积误差，影
响最终的测量精度；部分研究具有一定的测量精度，但存在扫描成像测量范围小，
或使用场合受限等问题。因此，为实现对水下目标的原位测量，有必要对水下激
光线扫描双目立体视觉成像系统左右相机的像素匹配进行研究。此外，针对激光
线扫描系统和目标物之间的位姿相对变化引起测量失效的问题，有必要提出一种
误差补偿方法，对动态成像环境下的水下目标物完成三维成像及高精度测量。

1.3 水下鱼眼镜头双目立体视觉成像

鱼眼镜头相机成像时，因其成像物镜本身的特殊结构，使得拍摄的图像发生
畸变。当其在水下环境中作业时，加之水下图像物像关系不满足小孔成像原理导
致水下拍摄的图像发生畸变，导致水下鱼眼镜头相机图像出现严重的变形，使得
加装鱼眼镜头的水下双目立体视觉系统在立体匹配时不符合极线约束，难以对水
下大场景目标物开展三维成像工作。针对水下鱼眼镜头相机图像畸变和三维重建
的问题，相关学者对水下鱼眼镜头相机图像的校正，以及水下鱼眼镜头相机双目
立体视觉的三维成像进行了研究。
Yamashita 等[82]将普通标准相机和曲面镜反射原理相结合，建立了水下鱼眼
镜头相机成像模型，并使用光线追踪算法对水下鱼眼镜头相机图像进行了校正。
最后，使用传统立体匹配算法对水下双目立体鱼眼镜头相机图像进行了三维重建。

7
上海大学博士学位论文

由于使用了近似的成像模型，最终的三维重建效果较差。Kawahara 等[83]采用像
素级变焦相机模型水下折射过程，计算出每个像素的折射光线路径，从而得到像
素的三维坐标。但是，在求解过程中，需要对每个像素的光线传播路径进行大量
的计算，使得算力耗费较大，算法的实用性一般。Tong 等[84]提出了一种基于球
面模型的全方位图像关键点描述子与匹配算法开展对水下目标物的三维重建，然
而，由于无法处理全方位图像中的失真问题，基于 SIFT 匹配的算法在水下鱼眼
图像立体匹配中实际重建效果不佳。Naruse 等[85]提出了一种消除折射的光线追
踪方法，以校正水下鱼眼镜头相机图像。实验场景如图 1.7 所示，构建了鱼眼镜
头双目立体视觉系统，运用提出的光线追踪法计算两条光线，并使用 SAD 算法
完成对应像素点的立体匹配，实现对水下目标物的三维重建及测量，但在计算的
过程中，使用的光线追踪法不能够对所有的特征点进行立体匹配，累计的匹配误
差影响到最终的三维重建效果及测量精度。

（a） （b）
图 1.7 水下鱼眼镜头双目立体视觉实验场景和光线追踪模型： （a）水下实验场景； （b）光线
追踪模型
Fig. 1.7 Underwater binocular fisheye stereo vision experimental scene and ray tracing model. (a)
Underwater measurement experiment scene. (b) Ray tracing experiment scene

Li 等[86]提出了一种考虑畸变和折射的水下鱼眼镜头相机图像立体匹配算法，
建立了水下双目立体鱼眼镜头相机成像模型，并以极曲线方程的方式完成了对水
下成像公式的推导，提出了一种基于 Mean-shift 分割的自适应窗口的立体匹配算
法。实验结果表明，自适应窗口方法可提高水下鱼眼镜头相机图像的测量精度。
然而，该成像模型的建立是基于相机图像平面与防水玻璃平面的基础上完成的，
成像系统由于生产及装配的原因，难以达到所建模型的要求，在实际应用时，拍
摄的水下图像产生相应的畸变，三维重建效果及测量精度出现较大的误差。另外，

8
上海大学博士学位论文

由于采用了均值漂移法对鱼眼相机图像进行分割，局部成像效果一般。Duda 等
[87]
研究了一种基于鱼眼镜头的双目立体视觉成像系统，实现对海底地图的构建
和辅助导航。该系统通过线激光对海底地形地貌进行扫描，并用两个鱼眼镜头视
觉系统进行拍摄成像，然后对拍摄的点云图像进行三维重建，图 1.8 为该系统经
图像拼接技术呈现出的海底地形地貌三维成像效果。由图可知，该系统能够较好
地重建绘制出海底地形地貌形状，具有一定的使用价值。然而，从图中可明显看
出，部分激光线条呈现弯曲变形且图像出现部分缺失，表明该系统对水下鱼眼图
像校正及三维重建效果不理想，影响到最终的三维成像。

图 1.8 海底地形地貌三维成像结果
Fig.1.8 3D imaging result of the seabed topography

范伟[88]建立了一种基于球面玻璃防水罩的基于鱼眼镜头的水下双目立体视
觉成像模型，提出一种计算具有不规则像素的离散球面图像的梯度算子，并结合
鱼眼镜头相机图像的颜色信息和梯度信息作为代价计算，实现水下鱼眼镜头相机
图像的立体匹配。最后，为进一步提高匹配精度，提出了一种自适应窗口和极曲
线约束的匹配算法。结果表明，提出的匹配算法有较好的三维重建结果，如图
1.9 所示。由于使用了球面防水罩，引入了多个未知量的计算，使得求解过程变
得复杂，加大了累积误差。

9
上海大学博士学位论文

（a） （b） （c）

图 1.9 水下鱼眼镜头双目立体视觉稠密立体匹配结果：（a）和（b）分别为左右水下鱼眼相
机图像； （c）三维重建结果
Fig. 1.9 Dense stereo matching of underwater fisheye lens binocular stereo vision. (a) and (b) are
the corresonding images of underwater fisheye lens cameras. (c) 3D reconstruction result

宋涛[89]建立了一种基于鱼眼镜头的水下双目立体视觉成像折射模型，提出
了两步标定方法，在空气中使用张正友标定方法标定出相机参数，然后，根据已
知水下棋盘格参考点坐标和其对应的像点坐标，通过构造评价函数，经粒子群算
法对标定结果进行优化。对于立体匹配，其推导了水下图像的极曲线约束，并提
出了一种基于色彩分割的自适应窗口实现对水下鱼眼镜头相机图像的立体匹配。
最后，利用提出的测量方法实现对水池中的铁罐测量验证。结果表明，提出的方
法能够实现对水下目标物的三维重建，且有较好的测量精度，实验场景如图 1.10
所示。然而，在进行标定时，直接使用畸变较大的鱼眼图像进行标定易引起相应
的系统参数误差，水下被测目标物的三维测量精度有待进一步提升。

（a） （b）
图 1.10 水下鱼眼镜头双目立体视觉标定和测量实验场景： （a）水下标定实验场景； （b）水
下测量实验场景
Fig. 1.10 Underwater binocular fisheye lens stereo vision calibration and measurement experiment
scene. (a) Underwater calibration experiment scene. (b) Underwater measurement experiment

10
上海大学博士学位论文

现阶段基于水下鱼眼镜头相机图像校正及系统立体匹配的研究，主要是建立
相似的水下鱼眼镜头相机成像模型并求解系统参数，利用空气中的标定方法标定
出系统参数，通过不断优化以逼近系统参数的最优解，实现对目标物的三维重建，
但该方法在求解系统参数时易产生累积误差，影响最终的测量精度；或通过光线
追踪和曲线约束实现对特征点的匹配，但该方法计算过程复杂、耗时较长，实验
时仅得到少数特征点的匹配结果，目标物整体三维重建效果较差，实际应用场合
受限。因此，针对上述存在的问题，有必要对水下鱼眼镜头相机三维成像进行研
究，通过成像模型的建立、系统参数的标定，以及系统立体匹配的研究，实现对
水下大场景目标物的三维重建。

1.4 论文主要研究内容

针对水下目标物原位测量的需要，采用主动线激光扫描双目立体视觉测量技
术，利用线激光投射光条作为左右相机像素匹配线索，提高左右相机图像对应点
匹配精度。针对水下大场景三维成像的需要，采用鱼眼镜头作为双目立体视觉系
统左右相机的成像物镜，以扩大双目立体视觉系统的视场范围。本文围绕影响水
下成像和三维测量的若干问题开展关键技术研究。论文整体结构如图 1.11 所示。

图 1.11 论文结构
Fig. 1.11 Structure of the dissertation
11
上海大学博士学位论文

论文共分为六章，主要内容如下：
第一章，绪论。介绍了国内外水下激光线扫描双目立体视觉成像和基于鱼眼
镜头的水下双目立体视觉成像的研究现状，针对各自存在的问题，引出本论文的
主要研究内容；
第二章，水下双目立体视觉成像建模及系统参数标定。介绍了双目立体视觉
测量原理，针对水下物象关系不满足空气中小孔成像的问题，建立了水下多层平
面折射成像模型，并以光线四维参数的形式描述了光线在水下传播成像的过程。
在此基础上，建立了水下双目立体视觉成像模型。最后，对系统参数进行了标定，
并通过仿真实验验证了标定方法的正确性；
第三章，水下图像增强。通过对引起水下图像质量退化的原因进行分析，提
出基于 CLAHE 方法和暗通道先验算法，实现对影响成像质量的水下均匀光成分
估计方法的改进。实验结果表明，提出的改进方法可有效提高水下图像的清晰度
和对比度，为后续双目立体视觉三维重建奠定了基础；
第四章，面向水下原位测量的激光线扫描双目立体视觉成像关键技术研究。
采用线激光扫描光条作为左右相机像素匹配线索，及基于共面约束的像素匹配算
法，以提高左、右两个相机像素的匹配精度。分析了线激光扫描系统在水下成像
时存在动态测量误差的原因，提出了一种误差补偿算法，实现对系统动态扫描三
维成像的误差补偿。实验结果表明，研制的系统在静态和动态扫描成像时均具备
水下原位测量功能，且有较高的测量精度，验证了所提关键技术方法的准确性和
可行性；
第五章，面向水下大场景观测的双目立体视觉成像关键技术研究。采用鱼眼
镜头作为左右相机成像物镜，结合多频外差技术实现对鱼眼镜头相机成像映射关
系的标定，以及对水下鱼眼镜头相机畸变图像的校正。提出一种图像转化模型，
将校正后的水下鱼眼镜头相机图像转化为空气中拍摄的等效图像，转换后的图像
结合现有的立体匹配方法，实现了对水下大场景目标的三维重建。实验结果表明，
研制的成像系统具备水下大场景三维成像观测能力；
第六章，全文总结与展望。对全文的研究内容进行了概括总结，指出全文研
究的不足以及对未来研究的工作的展望。

12
上海大学博士学位论文

第二章 水下双目立体视觉成像建模及系统参数标定

2.1 引言

水下光学成像过程中，由于折射的影响，水下目标物与拍摄图像之间的物像
关系已不满足小孔成像原理，即空气中物像之间的线性关系不再适用于水下相机
成像模型，无法构建起有效的水下双目立体视觉成像模型。针对该问题，本章主
要对水下相机成像建模和水下双目立体视觉测量模型进行相关理论公式推导，建
立准确的水下视觉成像模型，对所建模型涉及的相关系统参数进行了标定，并对
标定算法开展了验证分析。

2.2 双目立体视觉测量原理

双目立体视觉技术开创于 20 世纪 60 年代，美国学者 Roberts 通过从数字图

像中提取立方体等多面体的三维结构，将简单的二维图像转化为三维目标物。随
着研究的深入，麻省理工学院的 David Marr 教授率先系统性地提出视觉理论框
架[90]，推动了立体视觉成像的相关研究，为计算机视觉技术的快速发展奠定了
基础。双目立体视觉技术是根据人的双眼视觉系统仿生学原理建立起来的，其基
于视差理论，利用两个不同位置的相机对场景中同一目标特征点进行同时拍摄，
通过对两幅图像对应像点间位置偏差的计算，并由三角公式得到被测目标物的三
维信息，测量原理如图 2.1 所示。

图 2.1 双目立体视觉测量原理图
Fig. 2.1 Principle of binocular stereo vision measurement

13
上海大学博士学位论文

相机成像是将现实客观存在的三维场景信息投影至二维图像平面上，经计算
机处理后，将光学信息转化成相应的数字信息并以图像的形式呈现出来。根据相
机位置放置的不同，双目立体视觉测量模型被划分为理想和非理想两个成像测量
模型，即当两个相机的像平面在同一平面中且行对齐的情况下，称为理想测量模
型，否则为非理想测量模型[91]。然而，在实际情况下，双目立体视觉测量模型
不可能满足理想情况下的条件。在实际计算中，通常对两个相机的位姿关系进行
标定，将两个相机的像平面转化为理想情况下的位置状态，实现对特征点三维坐
标的计算。双目立体视觉三维测量理想模型如图 2.2 所示，假定 Ol 和 Or 分别为
左、右相机的光心点，二者基线距离为 T 空间中任一物点 P0 在左、右图像平面
上的投影点分别为 Pl 和 Pr，其中 xl 和 xr 为像点在像平面上的横坐标,则可得到投
影点之间的视差为 d = xl - xr。

图 2.2 双目立体视觉三维测量理想模型
Fig. 2.2 Ideal model of binocular stereo vision three-dimensional measurement

由空间三角形几何关系可得下式：

T   xl  xr  T
 （2-1）
Z f Z

对上式进行整理，可得物点到基线之间的距离大小为：

f T
Z （2-2）
 xl  xr 
由式（2-2）知，当求得双目图像的视差值和相机之间的位姿关系，即可得
到空间物点 Po 的在 Z 方向上的坐标。同理，根据三角相似关系可得到在 X 和 Y
方向的坐标，从而可获得物点的三维信息。

14
上海大学博士学位论文

2.3 水下相机成像建模

水下成像时，光线在空气、窗口玻璃和水三种介质中传播，其传播方向在不
同介质的分界面处发生折射。若以常规直线的方式描述光线在水下的传播及成像
过程，很难对其建立精确的数学成像模型。由于多种介质的存在，本文将光线在
水下的传播及成像过程视为光线在多层平行介质中传播，并在不同界面处发生折
射，折射后的光线最终投影至相机的像平面上。基于上述思想，本章采用光线四
维参数化的形式，方便记录和追踪光线在水下传播过程中的方向信息和位置信息，
实现对水下相机成像过程的建模与分析。

图 2.3 光线四维参数化表示
Fig. 2.3 The four-dimensional parameterized representation of the light

如图 2.3 所示，光线 OOd 垂直穿过距离为 1 个单位长度的两平行平面，并与

两个平面分别交于点 O 和 Od。其中，矩阵[u, v]T 用来表示光线的位置点 O，以

记录光线的位置信息，矩阵[s, t]T 用来表示光线方向向量 o,od ，以记录光线的方

向信息。此外，对于场景中任意光线，也可以采用方向矢量 a 和该点位置 q 表示，

两种表示方法之间的关系如下：
 L   u v s t T

  s t 1
T

a  （2-3）
  s t 1

 q  u v depth 
T

结合光线四维参数化表示方法，建立的水下相机多层平面折射成像模型如图
2.4 所示。相机坐标系位于相机光心处，其 z 轴与相机光轴平行，n 为多层平
面法线，且垂直于分界面。以多层界面法线 n 为 z 轴，法线 n 与相机 z 轴的
叉乘为 x 轴，构建多层平面折射坐标系。两坐标系之间转换关系如下：
15
上海大学博士学位论文

 Pc  c Rr Pr  c tr
c
 Rr   nc  zc nc  (nc  zc ) nc 
c （2-4）
 tr   0 0 0 
T


 zc  0 0 1
T

其中，Pc 为相机坐标系下的三维点坐标，Pr 为多层折射坐标系下的三维点坐标，

nc 为相机坐标系下的界面法向量， c Rr 和 c tr 分别为多层折射坐标系相对相机坐标

系的旋转和平移矩阵。物体坐标系与多层折射坐标系的转换关系为：

Pr  r Ro Po  r to （2-5）

四维参数光线的位置平面 [u, v] 定义在多层平面折射坐标系 xy 平面上，且

与其坐标原点重合，方向平面 [s, t] 距离位置平面为一个单位长度，且与位置平
面平行。其中，d 为相机光心到分界面距离，di 为各界面间距离，µi 为各层介
质折射率。

图 2.4 多层平面折射成像模型
Fig. 2.4 Multi-layer plane refraction imaging model

基于多层平面折射模型的水下相机成像过程为：物点 P 所对应的光线经过
m 层介质折射，反向传播到相机光心，并与成像平面交于点 Pw（即水中像点）。
在实际的水下成像系统中，仅包含水、玻璃、空气三层介质，由于玻璃厚度 d1 远

16
上海大学博士学位论文

小于光线在水中的传播距离 d2，光线在此传播过程中只会发生微小的径向偏移
而方向不变，故在实际的计算中，一般忽略玻璃层。为方便建模，假定水下图像
已进行了畸变校正。根据光路可逆原理，采用逆向分析方法对水下相机成像过程
进行分析。
（1）由小孔成像原理知，相机坐标系下物点Pc (x, y, z)与像点m = [uo, vo]T的
关系可建立为：

m KPc （2-6）

式中，K 为相机的内参矩阵，任意像素 m 决定一条通过光心和像素的光线。

（2）在相机坐标系下，光线方向 Ic 可表示为：

K 1m
Ic  （2-7）
K 1m

（3）根据公式（2-4）坐标系之间的换算关系，将光线从相机坐标系转化到
多层平面折射坐标系下，光线方向 Ir 可表示为：

I r  r Rc I c  c Rr 1I c （2-8）

（4）四维参数光线可描述为（注：不特别说明的情况下，表达式中带有 L
符号的参数为四维参数光线）：
T
  1 
  I  3 0 
  r 
  1 
L  0 0 I rT  0  （2-9）
 I r  3  
 
  0 0 
  
  

（5）光线从多层折射坐标系 xy 平面上传播一定距离 d 后，表达式如下：

1 d 
 1 d
L '  T (d )  L   L （2-10）
 1 
 
 1

式中，T(d)为光线传播距离 d 后的数学表达式,  表示克罗内克积。

（6）当光线发生折射时，根据折射定律，光线的折射过程可表达为：

17
上海大学博士学位论文

1 
 1 
L '  R( s, t ,  ,  ')  L   L （2-11）
  ( s, t,  ,  ') 

  ( s, t,  ,  ') 

其中， 和  ' 分别为入射介质和出射介质的折射率；R[s, t, ,  ' ] 为折射表达式；

 =[s, t, ,  ' ]T 和  =[s, t, ,  ' ]T 为经过折射后光线方向变化的待定参数，具体求

解过程如下：

假 定 入 射 光 线 的 的 表 达 式 为 L  u, v , s , t  ， 折 射 光 线 的 表 达 式 为
T

L '  u ', v ', s ', t '  ， 则 可 得 光 线 入 射 角 可 表 达 为 ：   arctan

T
 s2  t 2 ，
s2  t 2
sin    。
s2  t 2  1

同理，光线折射角可表达为  '  arctan  2 2


s '  t ' ， sin  '  
s '2  t '2
s '2  t '2  1
。

 sin  
根据折射定律  sin     'sin  '  ， sin  '   联立可得：
'

 2  s2  t 2 
s'  t' 
2 2
（2-12）
 '2 1  s 2  t 2    2  s 2  t 2 

由于折射光线与入射光线保持在同一平面上，所以满足约束 s ' t  st ' ，因此，

综上可得：

 = = （2-13）
 ' (1  s  t 2 )   2 ( s 2  t 2 )
2 2

（7）光线 Lr 传播距离 d 0 ，并从介质 0 进入介质 1 后，光线可表达为：

1
Lr  R( s0 , t0 , 0 , 1 )  T (d0 )  0 Lr （2-14）

不失一般性，对于光线 i Lr 传播距离 d i ，然后从介质 i 进入介质 i 1 ，折射

后的光线可表达为：

i 1
Lr  R( si , ti , i , i 1 )  T (di )  i Lr （2-15）

18
上海大学博士学位论文

（8）当光线穿过多层介质后，折射后的光线可表示为：

n
Lr    R( s , t ,  , 
i n 1,n 2,...,2,1
i i i i 1 )  T (di )   0 Lr （2-16）

2.4 水下双目立体视觉成像建模

水下双目立体视觉测量模型如图 2.5 所示。不失一般性，假定模型左、右相

机的焦距为 f，基线距离为 d0，两相机之间的光心连线平行于光学玻璃窗表面，
同时也平行于设定的坐标系轴。光心与防水玻璃的距离为 g，玻璃厚度为 h。其
中，空气、玻璃和海水的折射率分别为 n0、n1 和 n2。水下物点在左相机坐标系
下的三维坐标为 P，其在左相机和右相机的像素坐标分别为 ql 和 qr。

图 2.5 水下双目立体视觉测量模型
Fig. 2.5 Underwater binocular stereo vision measurement model

假定四维参数光线在垂直多层折射坐标系平面上传播距离为 d，此时光线的
表达式为：
L '  T (d )  L
1 d 
 1 d （2-17）
T (d )   
 1 
 
 1
光线在水下发生折射时，假定入射光介质的折射率为 n1 ，折射光介质的折射

率为 n2 ，入射角为 1 ，折射角为  2 ，则由折射定律得：

19
上海大学博士学位论文

sin 1  n2
 （2-18）
sin  2  n1

s2  t 2
sin 1   （2-19）
1  s2  t 2

联立公式（2-18）和（2-19）可得：

n1 s 2  t 2
sin  2   （2-20）
n2 1  s 2  t 2

由于折射光线与入射光线法线在同一平面上，所以满足以下约束：
s ' t  st ' （2-21）
此外，折射光线也满足折射角的如下公式：

s '2  t '2
sin 2   （2-22）
1  s '2  t '2

继而可得光线的方向为：

n12  s 2  t 2 
s '2  t '2 
n2 2 1  s 2  t 2   n12  s 2  t 2 
s
s'  s '2  t '2 （2-23）
s t
2 2

t
t'  s '2  t '2
s t
2 2

综上，四维参数光线发生折射的传播过程可用矩阵表示为：
u ' u 
v ' v 
   Re  n1 , n2    （2-24）
 s ' s
   
t' t 

相机的一个像点与光心的连线确定一条光线。左相机点 ql   x1, y1  ，右相机

点 qr   x2 , y2  ，主点位置为 q0   x0 , y0  。其中，坐标单位为 mm。若为像素，可

先进行转换[x1，y1]=pix_width[xpix，ypix]。左、右相机像点确定的光线分别可描述
为下式所示。

20
上海大学博士学位论文

 0   d 
 0   0 
   
 x0  x1   x0  x2 
Lql   Lqr   （2-25）
f  f 
   
 y0  y1   y0  y1 
 f   f 
   
当系统参数已知时，物点坐标可通过两条光线的求交获得。进一步地，为便
于研究，继续采用光路可逆原理对水下成像过程进行分析。以左相机为例，光线
由像平面上某一像素点传递到水中物点的过程所述如下：
（1）光线在空气中传播距离 g，到达玻璃内表面处：

L glass1_ out  T  g   Lql （2-26）

（2）光线由空气进入玻璃，发生折射：
Lglass1_ in  Re  n0 , n1   L glass1_ out （2-27）

（3）光线在玻璃中传播距离 h，到达玻璃外表面：
Lglass 2 _ in  T  h   L glass1_ in （2-28）

（4）光线在玻璃处表面处发生折射，由玻璃介质到海水介质：

Lglass 2 _ out  Re  n1 , n2   L glass 2 _ in （2-29）

（5）在海水中传播未知距离 depth，到达物点：
Lobject  T  depth   L glass 2 _ out （2-30）

综上分析，像素光线到物点位置的光线传播过程表达如下：
Lobject  T  depth   Re  n1 , n2  
（2-31）
T  h   Re  n0 , n1   T  g   Lql

同理，对于右相机可得：
R object  T  depth   Re  n1 , n2   T  h 
（2-32）
 Re  n0 , n1   T  g   R qr
由于式（2-31）和（2-32）表示同一物点，因此，联立求解可得物点距离（两
条直线相交在深度 depth 处），且其满足下述约束方程：
u1  u2 v1  v2
depth  = （2-33）
s2  s1 t2  t1

其中, u1 、 v1 、 s1 、 t1 、 u2 、 v2 、 s1 和 t1 为玻璃到海水面上的出射光线。

21
上海大学博士学位论文

图 2.6 水下双目立体视觉成像模型
Fig. 2.6 Underwater binocular stereo vision imaging model

基于多层折射成像模型的水下双目立体视觉成像模型如图 2.6 所示，它由左、

右封装相机组成。对于空间上任意一点 P 在左、右相机相平面对应的像素为 l m

和 r m ，首先根据 2.3 章节的公式推导，分别计算左、右相机像素 l m 和 r m 通过多

层 界 面 折 射 后 到 达 最 后 一 层 介 质 对 应 的 四 维 光 线 nl L= ul , vl , sl , tl  和
T

L= ur , vr , sr , tr  ，并将它们转换为对应的点和矢量 l a 、 l q 、 r a 和 r q 。然后，将

n T
r

右相机坐标系中的点和矢量 r a 、 r q 转换到左相机坐标系下， r a '  l Rr  r a ，

r q '  l Rr  r q  l tr 。左相机坐标系中的 P 点同时位于光线 nl L 和 rn L 上。因此满足

以下两个约束：

l a   P  l q  0
（2-34）
r a '  P  r q '   0

式（2-34）中，符号  表示向量叉乘。使用反对称矩阵代替交叉积，可得下式：

  l a     l a  l q 
 P    （2-35）
 r a '   r a ' r q '
对公式（2-35）进行奇异值分解，即可求解得到物点P点在左相机坐标系下
的三维坐标，即获取了被测物点的三维信息。

22
上海大学博士学位论文

在实际计算时，由于左、右像点的匹配存在误差，两像素对应的最终的两条
光线并不相交于一点，此时，物点的计算需要求取最优值，即选择距离两个光线
最小的点作为物点。空间三维点计算过程流程图如图 2.7 所示。

图2.7 空间三维点计算流程图
Fig. 2.7 Diagram of 3D reconstruction

2.5 系统参数标定及仿真分析

对于水下双目立体视觉成像系统参数的标定，首先对单相机的内参以及立体
视觉的外参进行标定，并对标定结果进行优化[92,93]。由2.3节可知，在计算时需
对三个系统参数，分界面法向量 n、介质厚度 di 和不同介质的折射率 μi 进行标
定，其中，折射率可以通过查阅文献方式获得。本节对分界面法向量 n 和介质
厚度 di 的标定进行理论推导，并对标定算法进行仿真验证分析。

2.5.1 界面法线标定

假定成像系统中，不同介质构成的多层平面是平行的，则各平面具有相同的
法线。基于此，对于建立的水下多层平面折射成像模型，在折射定律下，入射光
线、折射光线和界面法线三者之间具有共面属性。根据共面约束，便可标定出界
面的法线。
在相机坐标系下，对于由任一物点 Pc 形成的入射光线，根据共面约束原理

23
上海大学博士学位论文

知，该入射光线在其对应像点和光心形成的光线 Ic 和法向量 n 所确定的平面上。

因此，由共面约束知，三个向量的混合积为0，可得：

PcT  n  I c   0  I cT  n  Pc   0 （2-36）

假定物体坐标系和相机坐标系的位姿关系为 c Ro 和 c to ，则在相机坐标系下，

物点 Po可表达为 Pc  c Ro Po  cto 。根据坐标系变换关系，并联立公式（2-36），则

共面约束可表示为：

 
I cT n   c Ro Po  cto   I cT EPo  I cT s  0 （2-37）

其中， E  n  c Ro , s  n  cto 。

将矩阵 E 按列向量形式保存在向量E(:)中，⊙表示kronecher积，则式（2-37）
可表示为：

 E : 
 PoT I cT I cT   0 （2-38）
 s 

 E (:)
当物体坐标系中有11个以上的已知点时，则可利用最小二乘法求得  。
 s 

设物体坐标系中存在 N 个已知点，方程组可表达为：
 0 PoT 0
I cT 0
I cT 
 E (:)   
B  0 B  （2-39）
 s   N PoT N
Ic T
I c 
N T


对 B 进行奇异值分解 B  U V T ，其解是最小特征值对应的列向量 V 的最后

 E (:) 
一列。因此可得到    V :,12  ，由此可求解得到 E。又因为 E  n  Ro ,则
c

 s 

nT E  0 ，即 n 是 E 的左零空间向量。设 E 的的奇异值分解为 E  U V T ，该 nT

对应于最小特征值的行向量（U 的最后一行）， nT  U  3,: ，须对其进行单位化

计算。由 s  n  cto 知，平移向量 c to 可以由 s  n  depth  n 计算得到（depth 未知）。

假设 c to =s  n ，由文献[94]可以从 E 中得到 R。

24
上海大学博士学位论文

2.5.2 界面厚度标定

由多层平面折射成像模型可知，当标定分界面法向量后，即可对各介质厚度
进行求解。本小节对界面厚度 d i 进行标定，具体求解过程如下所述。由式

L '  R  s, t, ,  '   L 知，折射光线的方向与入射光线的方向、界面法线和两个介

质的折射率有关，与光线的位置并无关联。因此四维参数光线可表示为：
n
Lr    R( s , t ,  , 
i n 1,n 2,...,2,1
i i i i 1 )  T (di )   0 Lr （2-40）

当第 N 层折射光线到达一定深度 d n 后，可得:

o
Lr  uo vo so to   T  d n   n Lr （2-41）

联立以上两个公式得：
 d0 
s sn    u
   o
sn 1
n
Lr  0  （2-42）
 t0 tn 1 
ti   d n 1   vo 
 
 dn 
根据物体坐标系与多层折射坐标系之间的关系式，以及光线四维参数坐标系
的定义，公式（2-42）可表示为：

 d0 
 s0 sn    1 0 0 r
to   Po 
  Ro r
sn 1
 （2-43）
t
0 tn 1 ti   d n 1  0 1 0  0
  
1   1 
 
 dn 

由 N 个点的约束方程不难发现，所有点的 d 0  d n1  保持不变，但唯独 d n

T

的大小随物点的变化而变化。在物体坐标系下，对于K个已知点，可以建立2K个
约束方程，变量个数为 n+K。若使方程有解，只需K>=n即可。方程组可表示为：

 s0 sn 1 sn1 0 0 0
   d 0   1 0 0 r
 1
 c T
 c 1 
 
0    0 1 0 
R P R t
1
 t0 tn 1 tn 0 0 o o r o 

 s0 sn 1 0 sn 2 0 0    
  n 1   1
 d 0 0 r 
2
0   1    R P 2
 c
R T
 c
to  
2

 t0 1 0 
tn 1 0 tn 0
d n   0 o o r
（2-44）
 s0 sn 1 0 0 0   2   
  d
 t0 tn 1 0 0 0  n   
s    1 0 0 r 
sn 1 0 0 0 sn k   k      Ro Po k  c Rr T  c to  k  
 0  d
tn k   n   
0 1 0 
 t0 tn 1 0 0 0
25
上海大学博士学位论文

对于水下成像中各介质折射率的不同，根据式（2-44）使用最小二乘法即可
求得 di。至此，通过上述理论公式的推导即可标定得到法向量 n 和界面厚度 di。
此外，为获得更加精确的标定参数，本文采用正向投射误差作为目标函数，
对标定的初始参数 n 和 di 进行非线性优化。正向投射误差是指对于平面的标定物，
将对应性的像素使用光线四维参数变换后，求得在物体坐标系下的点坐标，将该
坐标与物点实际坐标相减。正向投影误差的代价函数如下式所示：
F   Pi   ( pi , n, d i , , R, t ) （2-45）
i

其中，  ( pi , n, di , , R, t ) 为正向投影函数， Pi 为对应的物点。通过对该代价函数

进行最小化求解，即可得到优化后的系统参数。

2.5.3 仿真分析

由水下相机多层平面折射成像模型知，分界面法向量的求解对整个系统参数
的标定结果起决定性作用。其中，标定板与相机距离大小，以及标定板与相机摆
放的相对位姿对法向量标定精度有直接的影响。本小节在 Matlab 软件中，分别
对上述影响因素进行仿真验证分析，为后续的标定实验提供指导作用。
（1）标定板与相机的距离对法向量标定精度的影响。在仿真分析时，将棋
盘格标定板放置在相机的正前方，且相机与标定板的相对位置由近及远摆放，距
离分别为 1000mm、1500mm、2000mm 和 2500mm 处。此外，考虑到在实际拍照
时外界环境和系统内部产生的噪声的影响，因此，在提取的角点数据时，分别加
入均值为 0、标准差σ为 0 到 1 的模拟高斯分布噪声。根据角点数据分别计算 200
次分界面法向量初值与理论值的角度误差，在不同噪声下的误差均值如图 2.8 所
示，结果表明，当拍摄距离为 1000mm 时，其平均误差远高于其他距离下的误差
值，拍摄距离在 1500mm~2500mm 处，系统平均误差相对较小。

26
上海大学博士学位论文

图 2.8 不同拍摄距离处法线标定精度误差
Fig. 2.8 Accuracy error of normal at different distances

（2） 标定板与相机摆放位姿对法向量标定精度的影响。在一定拍摄距离下，
标定板偏离像平面中心位置不同距离处进行仿真实验。设定相机与标定板的垂直
距离 2000mm，分别将标定板偏离像平面中心距离为 0mm、100mm、200mm 和
300mm 处对标定板进行拍照，同时加入均值为 0、标准差σ为 0 到 1 的高斯分布
噪声，模拟噪声对标定精度的影响。根据提取的角点分别计算 200 次分界面法向
量初值与理论值的角度误差，不同噪声下的误差均值如图 2.9 所示。由图可知，
当标定板偏离像平面中心距离越大时，平均误差大小也随之增大。

图 2.9 标定板中心偏离像平面法线不同距离处标定结果
Fig. 2.9 Calibration accuracy at different distances where the center of the calibration plate
deviates from the normal of the image plane

27
上海大学博士学位论文

结果表明，为获得高精度的分界面法向量参数，在标定时，标定板与相机之
间须有合适的距离值，且标定板的摆放应尽量向相机视野的中心位置处，同时，
须降低环境噪声以提高标定精度。

2.6 本章小结

本文建立了水下多层平面界面折射成像模型，根据光路可逆原理，采用光线
四维参数的形式描述了其在成像模型中传播的整个过程。在此基础上，建立了水
下双目立体视觉成像测量模型，得到物点在左相机坐标系下的三维坐标。为分析
参数标定性能及验证法线标定算法的正确性，进行了仿真实验验证。结果表明，
为提高系统参数的标定精度，在标定实验时相机和标定板之间的放置距离和位姿
关系均需在合适的参数范围内，同时须尽量减小噪声。

28
上海大学博士学位论文

第三章 水下图像增强

3.1 引言

水下光学成像时，受水体介质本身、悬浮颗粒和溶解的有机质的影响，光线
在水中传播呈现严重的衰减作用，使得拍摄的水下图像存在对比度降低、图像细
节纹理特征模糊和图像失真等问题，导致水下图像质量受损。本章对水下光学成
像特性进行了分析，介绍了相关图像增强方法，并基于 CLAHE 方法和暗通道先
验算法，实现对影响水下图像质量的水下均匀光成分估计方法的改进。水下图像
质量的提高，为后续水下双目立体视觉的三维成像提供保障。

3.2 水下光学成像特性分析

水下图像成像质量降质的原因主要由水体中光的散射、光的吸收以及水下光
照度不均引起[95,96]：散射使得水下图像的纹理细节呈现模糊、对比度降低；吸收
使得图像的颜色失真；水下光照度不均使得图像不同区域出现亮斑或昏暗，严重
影响三维重建特征点的提取精度[97-100]。Jaffe-McGlamery 等[101]将水下相机接收
光线表示为前向散射光、后向散射光以及目标物反射后衰减光之和，水下光学成
像模型如图 3.1 所示。其中，前向散射是指目标物反射光透过悬浮颗粒等介质后
到达相机像平面上的光线，后向散射是指经悬浮颗粒等介质后反射后到达相机像
平面上的光线，目标物反射衰减光是指水下目标物体直接反射到相机像平面上的
光线，则相机接收到的光线可以表示为：
c
ELF (u)  Edc (u)  E cf (u)  Ebc (u) （3-1）

由郎伯-比尔定律[102]知，光强度在水中以指数形式衰减，水下目标反射衰减
光的光强可以表示为：

Edc (u)  E c (u)  exp[a(c)  d (u)] （3-2）

式中，u 表示图像中的像素点，E(u)表示未经衰减的水下目标的反射光，c 表示
图像的 RGB 颜色通道，d(u)为相机到水下目标的距离，a(c)为光线水下衰减系数，
由于不同波长光线在水下的衰减程度不同，衰减系数 a(c)的值会随着颜色通道的

29
上海大学博士学位论文

改变而变动。

图 3.1 水下光学成像模型
Fig. 3.1 Underwater optical imaging model

前向散射光线的光强可表示为点扩展函数 g c (u) 和目标反射衰减光强的卷积：

E cf (u)  g c (u)  Edc (u) （3-3）

式中函数 g c (u) 可定义为：

g c (u)  F 1{exp[ B  d (u)]  f }  {exp[G  d (u)]  exp[a(c)  d (u)]} （3-4）

其中，B、G 为常数值且满足条件 G  a(c) ， F 1 表示傅里叶逆变换， f 表示图

像的空间频率。
后向散射光线的光强表达式可定义为：

Ebc (u)  A  {1  exp[a(c)  d (u)]} （3-5）

其中，A 表示水下均匀背景光成分。通常情况下，水下前向散射作用对相机采集
的图像质量的影响小于水下后向散射作用的影响，所以水下相机接收到的总光强
表达式可以简化为：
c
ELF (u)  E c (u)  exp[a(c)  d (u)]  A  {1  exp[a(c)  d (u)]} （3-6）

根据水下图像成像模型可知，水下微粒和杂质对光线的散射作用使得水下图
像存在模糊和对比度下降。
由式（3-1）可知，光照在水下传播的损失主要受吸收和散射两部分的影响，

30
上海大学博士学位论文

具体介绍如下：
（1）光线吸收。水体本身的特殊性对光线的吸收作用，水介质对
不同频率的光照呈现明显的选择性性吸收。一般情况下，波长越短的光具有较强
的穿透能力，即在水中的传播距离越长，蓝绿色光谱在水下通常有较高的透射比，
这也是水下图像呈现蓝绿色调的主要原因，引起图像失真；
（2）光线散射。水下
成像光束水下光线在传播时，受悬浮颗粒阻碍的影响而发生散射现象。其中，前
向散射使得部分目标物光线发生损耗，图像细节模糊，纹理信息缺失。后向散射
使得背景光进入相机中，图像相应增加较多的噪声，即图像表面呈现白色雾化效
果，图像对比度降低。此外，水下图像拍摄成像过程中，图像采集和传输过程中
出现的电子干扰噪声亦是引起图像质量降质的原因之一。
基于上述分析，为提高水下图像成像质量，研究者们通常采用相应的成像系
统、合理的照明方式对水下目标物进行成像[103-105]。当水下图像采集完毕后，有
必要通过图像增强的技术手段抑制因吸收和散射对水下成像的影响，增加水下图
像纹理细节，为后续目标物特征提取和立体匹配提供有效支持。

3.3 水下图像增强主要方法

图像增强技术的目的是提高图像的清晰度，并有针对性的增强感兴趣区域，
突出图像的细节纹理，丰富图像结构和边缘信息[106,107]。图像增强本质上是一种
选择性凸显感兴趣区域图像信息，而消弱或去除冗余信息，提高图像清晰度的处
理方法[108,109]。经消除图像噪点、增强图像对比度和调整色差等处理后，可进一
步突出目标物的特征点，有利于后续从数字图像中提取目标物的特征参数，满足
对目标物的识别、跟踪等应用需求。
近年来，国内外学者对水下图像增强技术进行了大量的研究，通常，图像增
强的处理方法有两种[110-112]，即空间域的图像增强和频率域的图像增强：空间域
增强是基于灰度映射变换对图像像素点进行处理，经典的空域图像增强算法包括
直方图均衡化、白平衡法和限制对比度直方图均衡化方法。Bhatia 等[113]将分段
性图像增强和非线性变换相结合，提高了图像的清晰度。Hitam 等[114]提出一种
混合对比度受限的自适应直方图均衡化方法对水下图像的可视性差问题进行改
善，并采用欧几里得范数将处理结果进行合成获得增强后的图像。Xu 等[115]在分
析图像直方图与对比度增强和白平衡之间的关系基础上建立了广义均衡模型，实

31
上海大学博士学位论文

现了对水下图像的增强；频域增强则是通过滤波器对图像中的变换系数进行修正，
然后再反变换到空间域中，最终实现对图像的增强。频域图像增强算法主要借助
频率滤波器实现，其中，小波变换在去除水下图像噪声中取得了较好的效果。
Trucco 等[116]构建了一种自校正图像复原滤波器，通过全局对比度最优化估计图
像的最佳滤波参数。Bazeille 等[117]提出一种新型预处理滤波器用于恢复水下图
像，利用同态滤波器、小波变换和各向异性滤波器等处理方法对水下图像进行不
均匀光照校正、噪声抑制和对比度增强。Carlevaris-Bianco 等[118]提出了一种用于
消除水下散射光影响的图像增强算法，该方法根据不同波长光线在水下衰减速率
不同的特性，利用水下图像三个颜色通道的衰减差异进行场景深度估计，对图像
进行散射光消除提高图像质量。Queiroz-Neto 等[119]利用在有雾环境中的光线传
播模型对水介质中光线的衰减进行补偿，为水下立体视觉提供了高质量的图像保
障。Nascimento 等[120]采用基于光线传播物理模型的方法对水下图像进行全自动
恢复，该方法通过对相同环境条件下不同视点的成对图像进行对比度度量最优化
迭代的方式估算出模型参数，并基于校准后的模型对自然光水下场景图像质量进
行提高。图像增强主要方法如图 3.2 所示。

图 3.2 图像增强主要方法
Fig. 3.2 Main methods of image enhancement

3.3.1 基于空间域的图像增强

空间域增强是指对图像中像素的灰度值进行数据运算，获得增强后的目标图
像。其数学表达式如下式所示：

g ( x, y )  T  f ( x , y )  （3-7）

其中，g(x,y)为增强后的图像，f(x,y)为待增强图像，T 为空间域变换函数，通过

32
上海大学博士学位论文

该函数，对待增强的图像进行数据运算，以获得增强后的图像。
基于空间域的图像增强算法通常分为两类，即点运算和局部运算。点运算是
指对图像进行逐点运算，主要包括灰度变换和直方图修正法等。局部运算是指对
图像中不同区域的差异情况，有针对性地进行不同的增强，主要包括图像平滑和
图像锐化等。上述方法在图像增强中起到均衡图像色彩、扩展动态变化范围，以
及提高对比度的作用。
（1）灰度变换
灰度变换可以调整图像的灰度动态范围或者图像对比度，是图像增强中的重
要方法之一。在拍摄图像的过程中，如果曝光不足或者过度的情况下，都可能导
致图像的灰度分布在很小的范围内，这个时候图像呈现的效果通常是模糊不清的，
缺乏灰度层次感。利用线性灰度变换可以很好的将图像的灰度进行线性拉伸，提
高图像的对比度，改善图像的视觉成像效果。线性灰度变化的另外一种方式是对
图像的灰度进行分段处理，突出感兴趣的目标所在的灰度区间，相应的，该方法
对不感兴趣的灰度区间起到抑制作用。利用分段线性灰度变换可以灵活地得到想
要的灰度分布，以突出感兴趣灰度区域。
（2）直方图修正法
直方图修正的目的是使修正后的图像的灰度间距拉伸或者图像灰度分布均
匀，从而增大色差，使图像的灰度细节更加丰富且动态范围变大，从而达到图像
增强的效果。直方图均衡化和直方图规定化都属于直方图修正法。这两种方法之
间既有相互联系，也有区别。通过对原图像进行某种变化，直方图均衡化可以将
原图的灰度直方图调整为均匀的直方图。直方图规定化对图像作调整使原图像灰
度直方图变成规定形状的直方图。在做直方图规定化操作之前首先要将原始图像
作均衡化处理，直方图均衡化是直方图规定化的一个特例，而规定化是对均衡化
的一种拓展。
在直方图均衡化方法中，以 r 和 s 分别表示归一化后的原图像灰度和直方图
修正后的图像灰度。假设 r 的取值范围为[0,L-1]，L 是图像中可能灰度级的数量，

且 r = 0 表示黑色，r = L-1 表示白色，则 0  r, s  L  1 。在[0, L-1]区间内的任意

一个 r，经变换 T(r)都可以产生一个 s，即 s= T(r)。由概率论可知，如果随机变

量 r 的概率密度函数为 pr ( r ) ，而随机变量 s 是 r 的函数，则 s 的概率密度 ps ( s) 可

33
上海大学博士学位论文

以由 pr ( r ) 求出。如果 pr ( r ) 和 T(r)已知，且在感兴趣的值域上式连续且可微的，

则变换后的变量 s 的概率密度函数可以由下面的公式得到：

dr
ps (s)  pr (r) （3-8）
ds

变量函数有下面的形式：

d  
r
s  T (r)  ( L  1)   pr ( w)dw （3-9）
dr  0 
其中，w 为积分的假变量，该式中的上限 r =L-1 时，积分值等于 1。由莱布尼茨
准则可知，关于上限的定积分的导数是被积函数在该上限的值，即：

d  
r
ds dT ( r )
  ( L  1)   pr ( w)dw  ( L  1) pr ( r ) （3-10）
dr dr dr  0 
代入式（3-8），可得：

1 1
ps ( s)  pr ( r )  ,0  s  L  1 （3-11）
( L  1) pr ( r ) ( L  1)

对于离散的数字图像，一幅数字图像中的灰度级 rk 出现的近似的概率为：

nk
pr ( rk )  , k  0,1,2, , L 1 （3-12）
T
其中，T 是图像的总像素， nk 是灰度为 rk 包含的像素个数。那么变换函数的离散

形式就可以表示为：
k
( L  1) k
s  T ( rk )  ( L  1) pr (rj )   n j , k  0,1, 2, , L  1 （3-13）
j 0 MN j 0

（3）图像平滑和图像锐化
空域滤波指使用空域模板，如掩模或窗口等对图像进行处理。图像平滑是通
过滤掉图像中的高频分量，删去微小细节或连接中断的细节特征，从而达到减小
图像噪声的效果，但是相应的图像也会变得模糊。常用的平滑滤波器主要由均值
滤波、中值滤波和高斯平滑滤波等，其中，中值滤波能够在去噪的同时，能够较
好的保留特征边缘和图像细节等信息，因此在图像增强时应用较广泛。与平滑相
反，锐化能够加强特征的边缘和轮廓，突出图像的细节，通过增强高频分量以减
少图像中的模糊，但是相应的也会增加图像中的噪声。空间域滤波流程图如图

34
上海大学博士学位论文

3.3 所示。

图 3.3 空间域滤波流程图
Fig. 3.3 Flow-process diagram of spatial domain filtering

3.3.2 基于频域的图像增强

频域图像增强是指对图像进行频率变换，将图像从空间域转换到频域，然后
在频域内对整个图像经高通或低通滤波处理，以增强图像边缘的高频信号，最后
将处理后的图像逆变换到原来空间域中，提高图像的纹理细节及清晰度，达到图
像增强的效果。其数学表达式如下式所示：

G( x, y )  F 1  H (u, v)  F (u, v) （3-14）

其中，G(x,y)为增强后的图像，F(u,v)为待增强图像的傅里叶变换，H(u,v)为滤波
变换函数。
通常，频率域图像增强包括以下三个步骤：
（1）选定变换方法，转化到频域
空间在频域空间中；
（2）设计转移函数进行图像处理；
（3）将处理后的图像从频
域空间中使用反变换得到相应的图像增强效果。根据图像不同的处理需求，在实
现图像频率域增强的过程中，可以选择不同的转化函数，得到不同的处理结果。
常用的方法有低通滤波、高通滤波、带通带阻和小波变换滤波等。
低通滤波可以过滤图像的高频部分，也就是噪声集中在的区域，因此可以达
到去除噪声改善图像质量的效果。理想低通滤波器、布特沃斯滤波器和高斯滤波
器是三种常用的滤波器，这三种滤波器涵盖了从非常急剧（理想）的滤波到非常
平滑（高斯）的滤波范围。与低通滤波器过滤高频成分平滑图像不同，高通滤波
35
上海大学博士学位论文

器会衰减傅里叶变换中的低频成分而不会干扰高频信息，起到锐化图像的作用。
常用的高通滤波器有理想高通滤波器，布特沃斯滤波器和高斯高通滤波器。带通
带阻滤波器与高、低通滤波器的不同点在于，通过衰减或者过滤某个区域的频率
获取想要的图像处理效果。

3.4 基于 CLAHE 方法和暗通道先验算法的水下图像增强

由水下图像成像质量降质的原因知，光照度不均对水下图像成像质量具有重
要的影响，本节基于 CLAHE 方法和暗通道先验算法对水下均匀光成分估计方法
进行改进，实现对水下图像的增强处理，提高水下图像成像质量。

3.4.1 CLAHE 图像增强

直方图均衡化是一种常用的灰度变换方法，其基本思想是将原始图的直方图
变换为均匀分布的形式，增加了图像像素灰度值的动态范围，达到增强图像整体
对比度的效果。对于一张图像，由于图像中信息明暗分布的问题，对它进行全局
的直方图均衡化可能导致图像部分细节丢失，且出现对比度降低的问题。如果整
张图像都使用一个直方图进行均衡化进行处理的话，可能很难得到想要的结果。
因此，自适应直方图（Adaptive Histogram Equalization，AHE）方法就应运而生，
其基本思想是对原图中的每一个像素，计算其周边矩形内的直方图，达到扩大局
部对比度，显示平滑区域细节的问题。该方法的巧妙之处在于将一幅图像分成不
同的几个部分，分别进行直方图均衡处理，使图像的各个区域都可以获得较好的
对比度。然而，经过该方法的处理后，分块处理的结果使得块与块之间会产生很
明显的不平滑的图像边界，为解决此问题，通常利用插值的方法消除人为产生的
图像边界。研究结果表明，经过上述两步处理以后，图像的整体对比度得到很大
的提升，但伴随而来的问题是，这些处理过程可能会放大图像中的噪声。因此，
为进一步消除噪声，在处理过程中加入了限制对比度自适应直方图均衡化
（Contrast Limitied Adaptive Histogram Equalization, CLAHE）的处理[121]，使图像
可以有更好的增强效果，该算法流程图如图 3.4 所示。

36
上海大学博士学位论文

图 3.4 CLAHE 算法流程图

Fig. 3.4 Flow-process diagram of the CLAHE algorithm

（1）图像分块
为减少计算量，一般将图像分块为 NrX*NrY 的区域，并分别对每个子区域
进行直方图变换。如果图像的 X 和 Y 方向的像素个数不能被整除，可以考虑适
当地拓展图像的边界。
（2）分块绘制区域直方图
计算出每个子块中的各个灰度值包含的像素个数，绘制出对应的区域直方图，
其中横坐标表示不同的灰度值，范围为 0 到 255，纵坐标表示子块中各个灰度值
包含的像素个数，整张图像的低灰度值和高灰度值包含的像素较少，中等灰度值
包含的像素较多，整张图像的效果应该是亮度适中的。
（3）限制对比度的直方图均衡化
为直方图设定一个像素上限值，当灰度值的个数超过像素上限时，超出的部
分将重新分配到所有的灰度值中，使图像的像素分配的更加均匀。经过重新分配
的像素的直方图在灰度范围 0 到 255 之间变得更加的均匀，灰度值较大的部分也
分配了更多的像素，整体的图像效果会变得更加明亮。图 3.5 和图 3.6 为处理前
后限制对比度的直方图均衡化的效果。

37
上海大学博士学位论文

图 3.5 水下原图
Fig. 3.5 Original underwater image

图 3.6 分块直方图均衡化效果图
Fig. 3.6 Image after block histogram equalization

（4）双线性插值消除边界
对比图 3.5 和图 3.6 可以看出，经过限制对比度的直方图均衡化处理后，图
片边界处的灰度值存在明显差异，因此需要通过双线性插值的方法消除边界。双
线性插值示意图如图 3.7 所示。

图 3.7 双线性插值方法
Fig. 3.7 Bilinear interpolation

假设点 P (x,y)分布在 Q11，Q12，Q21 和 Q22 四点之间，他们的坐标分别为

38
上海大学博士学位论文

Q11(x1,y1)，Q12(x2,y1)，Q21(x1,y2)和 Q22(x2,y2)，则点 P 灰度值的大小可由下式

求解：
f (Q11 ) f (Q21 )
f ( x, y )  ( x2  x)(y 2  y)  (x  x1 )(y 2  y)
( x2  x1 )( y2  y1 ) ( x2  x1 )( y2  y1 )
（3-15）
f (Q12 ) f (Q22 )
 ( x2  x)(y  y1 )  (x  x1 )(y  y1 )
( x2  x1 )( y2  y1 ) ( x2  x1 )( y2  y1 )

其中， f (Q11 ) 、 f (Q21 ) 、 f (Q12 ) 和 f (Q22 ) 表示相邻四个像素点的灰度值。

图 3.8 CLAHE 方法处理后的图像

Fig. 3.8 Image enhanced by CLAHE algorithm

从图 3.8 中可以看出，经过双线性插值方法处理后，分块处理产生的人为边
界消除了，而且图像边界的过度也非常平滑，具有较好的视觉呈现效果。限制对
比度的 ClipLimit 参数可适应不同的实验场景亮度，获得更好的图像增强效果。

3.4.2 暗通道先验图像增强

2011 年，何凯明等[122]提出一种基于暗通道先验理论的图像去雾算法，该理
论是作者通过对大量的无雾图像进行观察后得出的结论，即在无雾图像中，每一
个局部区域中都很有可能会有阴影，或者是纯颜色的东西，又或是黑色的东西。
因此，每一个局部区域中都很有可能存在至少有一个颜色通道具有很低的值，这
个统计规律称为暗通道先验。换言之, 该区域某些像素通道中的最小值是个很小
的数，几乎趋近于 0。由于雾总是白色的，因此一旦受到雾的影响，这些局部区
域中本来是黑色的地方就变得灰白，也即形成了雾。由此可知，可以根据图像灰
白程度判断雾的浓度。这个规律看起来很简单，但在研究去雾的问题上却是本质
的基本规律。

39
上海大学博士学位论文

对于任意的输入图像 J, 其暗通道可以用下式表达：

J dark ( x, y)  min  min J c ( x, y )  （3-16）

y x , y   cr , g ,b 

其中， J c ( x, y ) 表示 RGB 图像三个颜色通道中的单个通道，   x, y  表示滤波窗

口，即以像素点(x, y)为中心的区域。原理为：对于一幅 RGB 图像，依次获取每

一个像素的三通道中灰度最小的值，得到一幅和原图像大小相同的灰度图，然后，

在该灰度图中，以每一个像素为中心并取一定大小的矩形窗口   x, y  ，取该窗

口中灰度值最小的值替代中心像素的灰度值，进而得到原输入图像的暗通道图像。
示例如图 3.9 所示。

（a） （b）
图 3.9 水下图像暗通道图像：（a）输入图像； （b）暗通道图像
Fig. 3.9 Dark channel diagram of underwater image. (a) Input image. (b) Dark channel image

根据 Jaffe-McGlamery 水下图像退化理论，水下图像的成像可描述为真实图
像信息与水体透射率的乘积，然后与水下背景散射光分量求和可得,水下图像数
学模型可由下式表示：

I ( x, y )  J ( x, y )  t ( x, y )  A 1  t ( x, y )  （3-17）

其中， I  x, y  为水下原始图像（待增强图像）， J  x, y  为增强后清晰图像（待求

解目标图像）， t  x, y  为水体透射率，A 为水下均匀光成分。由式（3-17）知，水

下图像的增强处理实质就是从原始图像中获取清晰图像的过程，此外，还需求解
透射率以及水下均匀光成分。
（1）水下均匀光成分预估

40
上海大学博士学位论文

为得到准确性和鲁棒性较好的水下均匀光成分估计值，本章提出利用基于
CLAHE 图像增强和暗通道先验相结合的方法对均匀光成分进行估算。首先对求
得的暗通道图像中的每个像素点进行局部区域的方差计算，并经 CLAHE 图像增
强方法消除图像边界。然后，将处理后的暗通道图像按照亮度大小取前 0.1%的
像素点作为预计水下均匀光估计点，并从估计点中选取灰度方差图像中方差值最
低的像素点，将其灰度值作为水下均匀光成分估算值。
（2）水下透射率预估和优化
在获得水下均匀光成分估算值后，对式（3-17）进行归一化处理，水下散射
成像模型可以变换为：

Ic Ic
=t  x , y  +1  t  x, y  （3-18）
Ac Ac

根据暗通道先验假设，水下透射率在任意局部区域为一常数值，其预估值定
义为 t(x,y)。对水下成像模型进行最小值滤波可得：

 Ic   Ic 
min  min c  =t  x, y  min  min c  +1  t  x, y  （3-19）
 
 c A   c A 

由暗通道先验理论可知，对于水下清晰图像其暗通道值 J  x, y  趋近于 0，所

以有：

 Ic 
min  min c   0 （3-20）

 c A 

结合式(3-20)可以求得水体透射率的预估值为：

 Ic 
t  x, y   1  min  min c  （3-21）

 c A 

图 3.10(a)为使用式（3-21）初步估计的水体透射率图，可以看出初始透射率
图精细程度较低，呈现明显的晕块效应。本章采用引导滤波方法对水体透射率进
行细化处理，结果如图 3.10(b)所示，引导滤波优化后的透射率图更加平滑，晕
块效应得到显著的改善。

41
上海大学博士学位论文

（a） （b）
图 3.10 水体透射率图： （a）初始估计透射率图；（b）引导滤波优化后的透射率图
Fig. 3.10 Water transmittance diagram. (a) Initial estimated transmittance diagram. (b)
Transmittance diagram after guided filter optimization

（3）水下图像增强

在求得水下均匀光成分和水体透射率后，将估算的折射率 t  x, y  和大气光带

入式（3-16），便可获得增强后的水下图像 J  x, y  ：

I ( x, y )  A
J ( x, y )  A （3-22）
t ( x, y )

水下图像的增强效果如图 3.11 所示，通过对比可以看出，原始水下图像存在

细节特征信息模糊、对比度较低。采用改进后的暗通道先验算法处理后，水下图
像的质量得到了改善。

（a） （b）
图 3.11 水下图像增强： （a）原始水下图像； （b）增强后水下图像
Fig. 3.11 Underwater image enhancement. (a) Original image. (b) Enhanced underwater image

3.4.3 实验

实验在水池中进行，以水下陶瓷盘作为初始图像样本，分别对水下原图像、

42
上海大学博士学位论文

基于 CLAHE 算法和暗通道先验算法结合增强后的图像进行对比，如图 3.12、3.13

所示。本实验应用 Matlab R2015 软件为实验验证平台，操作系统为 Win7 64Bit。

（a） （b） （c）

图 3.12 水下原图像信息： （a）水下原图像；（b）灰度直方图； （c）三维 mesh 图
Fig. 3.12 Underwater original image information. (a) Underwater original image. (b) Gray
histogram. (c) 3D mesh diagram

（a） （b） （c）

图 3.13 增强后的水下图像信息： （a）增强后图像； （b）灰度直方图； （c）三维 mesh 图
Fig. 3.13 Enhanced underwater image information. (a) Enhanced image. (b) Gray histogram. (c)
3D mesh diagram

图 3.12 给出了处理前的水下图像信息，从原图像 3.12（a）可看出，水下图

像的灰度值整体比较低，且目标物陶瓷圆盘和背景的对比度较低。原图像的灰度
直方图如图 3.12（b）所示，灰度值大多集中在 20~120 的范围内，图像整体灰暗。
在原图像的三维 mesh 图 3.12（c）中，图像中存在一定的尖锐噪声信息。图 3.13
为本章所提算法增强处理后的效果图，由结果知，增强后的水下图像有效改善
了整个水下图像的清晰度和对比度。水下图像质量的提高，有助于开展后续双目
立体视觉三维成像及测量工作。

3.5 本章小结

本章主要对水下图像增强进行了研究。对水下光学成像特性进行了分析，针
对拍摄的水下图像存在对比度低、图像模糊的问题，本文通过水下图像增强的技

43
上海大学博士学位论文

术手段，对水下图像的质量加以提高。介绍了水下图像增强主要方法，包括空间
域图像增强、频域图像增强和几种现代图像增强的算法。最后，基于 CLAHE 方
法和暗通道先验算法，对影响水下图像质量的水下均匀光成分估计方法进行改进，
实现对水下图像的增强处理，由实验结果知，提出的方法能够有效提高整体图像
的纹理信息和对比度，为水下双目立体视觉三维重建及测量奠定了基础。

44
上海大学博士学位论文

第四章 面向水下目标原位测量的激光线扫描双目立

体视觉成像研究

4.1 引言

针对水下目标高精度原位观测应用需求，采用主动激光线扫描照射以提高双
目立体视觉成像对应点的匹配精度，分别提出了基于共面约束的像素匹配和动态
测量误差补偿的关键技术方法进行加以研究。经系统标定实验、静态扫描精度实
验，以及动态扫描补偿精度实验，验证了研制的成像系统具有水下目标原位三维
重建测量功能，且有较高的三维测量精度。

4.2 水下激光线扫描双目立体视觉成像测量研究

水下激光线扫描双目立体视觉成像测量原理图如图 4.1 所示。激光器发出一

线结构光，经平面镜反射，透过光学窗片 1 投射于被测目标物，形成由被测物体
表面形状所调制的变形光条。变形光条漫反射光穿过光学窗片 2、3，并被左、
右相机记录。由双目视觉成像原理知，只要得到物体上的照明光条每一点在左右
相机图像上的匹配点，即可得到物体表面的三维坐标[123]。通过平面反射镜的转
动，线激光快速扫过被测目标物的表面，可以完整地构建被测目标物表面的三维
点云图像，提取出被测物体表面的特征数据。

图 4.1 水下激光线扫描双目立体视觉测量原理图
Fig.4.1 Principle of underwater binocular stereo vision with laser scanning measurement

45
上海大学博士学位论文

4.2.1 基于共面约束的像素匹配

激光线扫描系统在水下成像过程中，尽管光线在不同介质中传播时发生折射，
但其依然符合共面约束这一特性。以左相机入射光线为例，当来自被测目标的反
射光线从目标表面传播到相机时，整个过程中发生两次折射。假设来自目标表面

的四维参数光线为 L1  u1 , v1, s1, t1  ，在水中传播一段距离后，光线到达封装玻璃

的外表面，折射后的光线记录为 L2  u2 , v2 , s2 , t2  。显然，根据折射定律，入射

光线、界面法线和折射光线在同一平面上，满足下列公式：

s1  t2  s2  t1 （4-1）

同理，光线在封装玻璃内表面也将发生折射，假设折射后的光线记为

L3  u3 , v3 , s3 , t3  。那么下面的约束同样被满足：

s2  t3  s3  t2 （4-2）

根据以上两式的约束条件可得：

s1  t3  s3  t1 （4-3）

由此可知，来自被测目标物表面的反射光线，经过多次折射之后，最终与折
射光线共面。显然，这个结论具有一般性，即光线在不同介质中传播过时，无论
经过多少次折射，入射光线和最终的折射光线均共面。
此外，对于水下左、右相机线激光条纹图像上的像素，对应的像素在进行匹
配时满足两个约束[124]：1）对于左相机图像上的任一像素点，其对应的像素点必
然在对应的右图像上的一列像素点中，因此直接在对应的右激光条纹图像上进行
一维搜索即可。即在整个像平面的二维搜索，简化为在线激光条纹上的一维搜索；
2）在折射定律下，入射光线、折射光线和多层平面折射面法线三者之间是共面
的。即当左右相机激光条纹上的像素点与各自的光心的连线在空间相交时，三个
矢量共面，通过混合积为 0 的计算，可求得对应匹配的像素点。经上述分析知，
对于水下激光线扫描成像系统，被测量的目标点既满足左、右两个相机折射平面
的约束，又必然满足线激光面的约束。图 4.2 为像素匹配两个约束示意图，即在
两相机的公共视场范围内任意的一个像素点 P，对于左相机线激光条纹上的像素
点 PL，其对应像素点 PR 必然在右相机线激光光条上。然后，根据共面约束这一
46
上海大学博士学位论文

特性，可利用混合积为 0 实现对左、右相机像素进行快速匹配，从而提高了像素
匹配的速度和精度。

（a） （b）
图 4.2 像素匹配两个约束： （a）像素匹配搜索示意图；（b）共面约束示意图
Fig.4.2 Two constraints of the pixel matching. (a) Schematic diagram of pixel matching search. (b)
Schematic of coplanar constraints

对于左相机条纹上的任一像素，其对应匹配的像素在右侧相机条纹上执行一
维搜索。将折射后的光线转化为传统的矢量表达形式：

a
s t 1
T

， q  u v depth 
T
（4-4）
s t 1

其中，a 表示光线的方向矢量，q 表示光线在此处的位置点。

由左、右相机的相对旋转和平移转换矩阵 l R r 和 l t r ，将右相机坐标系下折射

光线的方向和点矢转换到左相机坐标系下：

a r '  l R ra r , q r '  l R rq r  l t r （4-5）

当左右相机记录的折射光线在空间交于一点时，即三个矢量

a ，a '，q
l r r ' ql   0  的混合积为 0，因此有如下约束：

a l   q r ' q l   a r '  0 （4-6）

其中  表示矢量的混合积。
综上分析可知，基于共面约束像素匹配求解步骤可具体如下：
（1）通过标定，得到系统的相关参数。线激光器对被测目标物进行扫描，
两相机同时对线激光条纹图像进行拍摄；

47
上海大学博士学位论文

（2）对左相机拍摄的线激光条纹图像，逐像素计算其第 n 条折射光线的矢
量点 q 和方向 a 并保存。同理，对右相机拍摄的图像执行同样的操作；
（3）对于左相机线激光条纹图像上的每一个像素，使用混合积为 0 这一约
束条件，在右相机上找到与之对应的像素。对左、右图像上的线激光条纹中心像
素点分别从上到下依次排序。对于左图像条纹上第 1 个像素点，与其对应的右图
像条纹上像素点的求解过程如下：1）计算右激光条纹图像中第 1 个像素点的点

矢，并将其与左相机中所取的第 1 个像素点的点矢进行混合积计算，得到 V1 ；2）

取右激光条纹图像中第 2 个像素点的点矢，并将其与左相机中所取的第 1 个像素

点的点矢进行混合积的计算，记为 V2 ；3）若 V1 V2 ≤0，则判断在第 1 和第 2 个

点之间存在混合积为零，即在右激光条纹第 1、2 个像素点之间存在与左激光条

纹中心点第 1 个像素点的对应点；4）若 V1 V2 ＞0，继续计算右激光条纹中心点

第 3 个点与左条纹图像中第一个像素点点矢的混合积，记为 V3 ；5）若 V2 V3 ≤0，

则右激光条纹中心对应点存在于第 2、3 个像素点之间；6）若 V2 V3 ＞0，继续

计算 V4 ，依次类推，直到找到混合积过零点。同理，对左相机条纹上其余的像素

点，依次在右图像上求取对应的像素点；
（4）由于线激光条纹中心像素的提取存在不可避免的误差，及在计算过程
中的截断误差，算法中设置阈值 T 对匹配像素点进行约束，即：

a l  dl r  a r '  T （4-7）

当求解出对应的匹配像素点后，根据第二章节中双目立体视觉成像模型，通
过对应像素点各自与光心形成的光线，对其在测量模型中经由四维光线方式的传
播及折射计算，最后经奇异值分解，即可获得水下物点在左相机坐标系下的三维
坐标。进一步地，对视场内被测目标物表面的所有点的三维坐标计算后，便可实
现对目标物整体的三维重建。

4.2.2 样机研制

样机按照适应水深 4000m 深海作业需要设计（静水压力 40MPa），采取三个

筒单独密封的形式，如图 4.3 所示。根据海洋仪器质量管理规范，按照 150%工

48
上海大学博士学位论文

作水深静水压力要求（即 60MPa）开展结构及壁厚、窗口玻璃厚度设计计算。
中间筒包含激光器 1、扫描器 2 和控制单元 3 等主要元器件；左、右两个密封的
相机筒，包含相机 4 和 5。

图 4.3 激光扫描双目立体成像系统结构
Fig.4.3 Structure of laser scanning binocular stereo imaging system

中间筒中的激光器及扫描器，如图 4.4 所示。图 4.4 中，激光器 1 发射一束

激光，经光路转换器 2 中的平面反射镜 3 改变方向，再经一柱面透镜 4 成为线结
构光，线结构光打在扫描反射镜 5 上，通过中间筒窗口出射。为减小出射窗口孔
径，扫描反射镜 5 尽可能靠近窗口。扫描反射镜 5 受步进伺服电机 6 通过减速器
7 驱动，来回摆动，实现对线结构光的扫描，其扫描速度可通过对步进伺服电机
的编程控制来调节。

（a） （b）

图 4.4 激光扫描装置及其光路转换器结构：（a）激光扫描装置；（b）光路转换器
Fig.4.4 Structure of the Laser scanner and Optical path converter. (a) Laser scanner. (b)
Optical path converter

49
上海大学博士学位论文

样机电气部分主要由 Arduino 开发板、微型电脑 NUC 等电气元件组成，如

图 7 所示。其主要作用是：接收上位机（潜器舱内）发出的通信信号，启动该双
目立体成像系统工作，包括启动激光器发出激光，启动扫描系统工作，启动左右
两相机同步拍摄。图 4.5 中，微型电脑 NUC 连接开发板，开发板通过总线扩展
器 GPIO 口，连接相机并拍摄采集图像，通过 USB3.0 数据线与 NUC 实现图像
的传输。Arduino 发射脉冲信号控制继电器的通断，打开或关闭激光器。NUC 通
过 RS485 通信方式控制电机的速度与转角。系统在软件的作用下自动完成通信
及控制流程。上下位机各模块间互相配合，共同完成在激光扫描成像过程中的系
统参数设置、三维点云生成和重建等一系列操作，最终实现对被测目标物的三维
测量。
减速器及扫描
反射镜
电 激
机 光
器
左 右
相 相
机 机
GPIO

Arduino

NUC

上位机

图 4.5 系统控制单元
Fig. 4.5 System control unit

研制的样机结构如图 4.6 所示，该样机在空气中总重量为 45Kg，水中重量

约为 25Kg。主体宽度 1340mm，高度 592mm（含水密接插件），厚度为 216mm。
激光器采用加拿大 OSELA 品牌的 ILS-520-1000-RS-D-50-C C 产品，功率为
1000mW，波长为 520nm，线激光水下发散及扫描范围为 60º60º。相机采用加
拿大 PointGrey 的 GS3-U3-32S4M-C，幅面尺寸为 1/1.8"，分辨率为 2048 ×1536，
像素大小为 3.45µm，帧率为 121 fps，采用 Kowa 镜头 LM5JC10M，焦距为 5mm。
取基线距离大小为 1200mm，则可得像素匹配精度（标准差）为 0.5 pixel。

50
上海大学博士学位论文

图 4.6 样机结构示意图
Fig.4.8 Schematic diagram of the prototype

4.2.3 实验

4.2.3.1 系统标定实验

在空气中，利用改进后的张正友标定算法对左、右相机的内参分别进行标定，
并求出双目相机相对位置关系。空气中标定实验如图 4.7（a）所示，实验中使用
14×11 的圆环标定板，并将背光板作为辅助光源，有助于提高图像的质量。然后，
根据提出的水下标定算法标定出系统参数，其中，由于玻璃厚度较小，在标定时
将其计算在参数 g 中。水下标定实验在水深约为 1m 水池中完成，如图 4.7（b）
所示，实验中使用规格为 7×11，长、宽均为 35mm 的棋盘格作为标定板，背光
板作为辅助光源。最后，使用另外组水下棋盘格图片对标定参数进行测试，经验
证知，系统参数标定的结果满足设计要求。
最终得到系统的标定参数如表 4.1 所示，其中，fx, fy 为相机焦距，cx, cy 为相
机的主点坐标，k1,k2,k3 为相机的径向畸变系数，p1, p2 为相机的切向畸变系数，
R0 和 t0 分别为两相机相对位置关系的旋转和平移矩阵，n 为相机光学玻璃的法线，
μ 为水的折射率。

51
上海大学博士学位论文

（a） （b）
图 4.7 系统标定实验场景： （a）空气中标定场景;（b）水下标定场景
Fig.4.7 Calibration scenes of the prototype. (a) Calibration scene in air. (b) Underwater calibration
scene

表 4.1 系统标定参数
Table 4.1 Calibration parameters of the system

参数 左相机标定参数 右相机标定参数
fx, fy 1451.306, 1451.021 1450.380, 1450.551
cx, cy 1052.594, 773.619 1033.636, 772.173
k1, k2 ,k3 0.015, 0.000, -0.014 0.012, 0.003, -0.016
p1, p2 0.001, 0.001 0.000, 0.000
n -0.0233, -0.0132, 0.9996 -0.0172, -0.0169, 0.9997
g 29.3420 28.5466
μ 1.3330 1.3330
平均重投影误差 0.029 pixels 0.031 pixels
R0 0.0121 0.2110 0.0024
t0 -1147.8163 14.362 237.1978

为进一步验证第二章节中系统参数求解的正确性以及优化的有效性，本章对
标定算法进行相关的验证实验。将标定板放置在距相机 1500mm~2500mm 位置处
进行拍摄，并在提取的角点数据中分别加入均值为 0、标准差σ为 0~1 的高斯分
布噪声。首先根据获得的角点数据求得待优化参数的初值，然后利用其中 12 幅
图片对系统参数进行正向投影误差非线性优化，最后对另外 4 幅图片中角点进行
平均重投影误差计算，以验证标定结果的精度。结果如表 4.2 所示，分析可知，
当使用提出的标定方法并进行优化后，系统的平均重投影误差为 0.078pixels，表
明提出的标定算法的有较高的精度。

52
上海大学博士学位论文

表 4.2 仿真标定结果
Table 4.2 Simulation results

真实值 初值 正向投影优化
0 -0.161 -0.006
n 0 -0.109 -0.013
1 0.981 0.999
𝑑0 30 38.121 30.191
𝑑1 10 15.215 10.236
平均重投影误差(pixel) 0 5.889 0.078

4.2.3.2 实验室精度实验

系统静态扫描精度实验场景如图 4.8（a）所示。样机在尺寸为 3.0m（L）× 3.0m

（W）× 3.5m（H）的实验室水池中开展精度实验。样机计算扫描单元及相机单
元的玻璃窗口完全浸没在水中，且离池底大约 3.0m 距离。将标准球棒放置在池
底，两球直径均为 ø150.1mm，球心距为 497.7mm。启动样机扫描测量，获得点
云数据，运用 Polyworks 软件对靶球进行三维重建如图 4.8（b）所示，得到扫描
重建的两球直径 D1、D2 及两球球心距 X。

（a） （b）
图 4.8 实验室水池精度实验： （a）水池实验场景； （b）靶球三维重建结果
Fig.4.8 Measurement accuracy experiment in tank. (a) Experiment scene in tank. (b) 3D
reconstruction of the target bar

在池底 2m×2m 范围内，靶球随机摆放 10 个位置，如图 4.9 所示。经测量

系统扫描重建后，分别得到 10 组靶球的两球直径 D11、D12…D110，D21、
53
上海大学博士学位论文

D22…D210，以及球心距 X1、X2…X10 等数据。计算得到两靶球直径误差，两

球直径和球心距相应的标准差，结果如表 4.3 所示，表中数据的单位为 mm。

（a） （b）
图 4.9 水池实验球棒摆放位姿： （a）球棒水平摆放时位姿;（b）球棒上下倾斜 45°时位姿
Fig.4.9 Position and posture of the test bat in tank. (a) The bat is placed horizontally. (b) The bat is
tilted up and down with 45 angle
表 4.3 实验室水池多位姿实验测量结果/mm
Table 4.3 Result of the multi-positions accuracy in laboratory/mm

序 球径 1 球径 1 球径 2 球径 2 球心距 球心距
球径 1 球径 2 球心距
号 误差 标准差 误差 标准差 误差 标准差
1 150.6 0.5 150.9 0.8 499.9 2.2
2 150.4 0.3 150.8 0.7 499.3 1.6
3 149.1 -1.0 149.6 -0.5 499.6 1.9
4 150.8 0.7 150.2 0.1 500.0 2.3
5 150.8 0.7 0.5 150.5 0.4 0.6 499.6 1.9 2.3
6 150.2 0.1 149.9 -0.2 498.8 1.1
7 150.7 0.6 151.3 1.2 500.5 2.8
8 150.0 -0.1 150.8 0.7 500.6 2.9
9 150.6 0.5 150.7 0.6 500.8 3.1
10 150.3 0.2 150.4 0.3 500.2 2.5

由表 4.2 知，在距水池底部 3m 距离处任意 10 组多位姿球棒测量中，三维重

建后测得球径 1、球径 2 的标准差最大值为 0.6mm，球心距的标准差为 2.3mm。
其中，上海计量院作为第三方检测单位，对上述实验进行了现场见证，经测量知，
在工作范围内随机测量的 10 组数据，测量系统获得的两靶球球心距与实际球心
距偏差值（标准差）小于 3mm，结果验证了所研制的设备具有较高的测量精度，
实验结果获得了省级以上资质的第三方检测报告。
54
上海大学博士学位论文

4.2.3.3 南海海域测量实验

南海海域测量实验场景如图 4.10（a）所示，样机和被测目标物搭载在 Lander

平台上，经由缆绳下沉到 1051m 处的海底，采用自带电源和自容式软件启动扫
描作业。图 4.10（b）为下沉海底的被测实验目标物，包括球棒、海星模型和一
条生物鱼。图 4.10（c）为扫描获得的原始三维点云，包括球棒、海星模型、生
物鱼和海底地貌。图 4.10（d）为提取得到的球棒、海星模型、生物鱼三维点云
及拟合球体。对水下目标图像进行图像增强预处理，去除点云图像中无效的噪声，
并对处理后观测区域（目标）的三维数字化重建。实验采用的球棒是实验室精度
实验时采用的同一标准球棒。自容式程序重复启动扫描 10 次，经三维重建拟合，
获得 10 组两球直径、两球球心距数据，并计算得到多次测量结果的标准差，结
果如表 4.4 所示。

（a） （b）

（c） （d）
图 4.10 南海深海测量实验： （a）实验场景； （b）被测目标物； （c）原始三维点云图；
（d）提取后的三维点云图
Fig.4.10 In-situ measurement experiment in the South China Sea. (a) Experiment scene in the
South China sea. (b) The measured targets. (c) Original 3D point cloud. (d) 3D point cloud after
extraction

55
上海大学博士学位论文

表 4.4 南海实验中同一位置测量精度/mm
Table 4.4 Measurement accuracy of the same position in the South China Sea experiment/mm

序 球径 1 球径 1 球径 2 球径 2 球心距 球心距
球径 1 球径 2 球心距
号 误差 标准差 误差 标准差 误差 标准差
1 150.4 0.3 149.9 -0.2 499.9 2.2
2 150.4 0.3 149.9 -0.2 500.0 2.3
3 150.4 0.3 149.8 -0.3 500.0 2.3
4 150.4 0.3 150.0 -0.1 499.9 2.2
5 150.4 0.3 0.2 149.9 -0.2 0.2 500.0 2.3 2.3
6 150.3 0.2 149.9 -0.2 500.0 2.3
7 150.3 0.2 149.9 -0.2 500.0 2.3
8 150.2 0.1 149.9 -0.2 500.0 2.3
9 150.3 0.2 149.8 -0.3 499.9 2.2
10 150.2 0.1 149.7 -0.4 499.9 2.2

南海真实海域环境实验结果表明，球棒两球心距多次扫描测量结果的标准差
为 2.3mm，验证了研制的激光线扫描双目视觉成像系统具备深海测量功能，且具
有较高的三维测量精度。
随后，样机在南海搭载蛟龙号潜器完成了两次深海下潜测量实验，实验水深
分别为 1298m 和 1296m。采用赛钢(POM)材质的球体，两标准球直径分别为
ø199.8mm 和 ø199.7mm。样机与被测目标物搭载蛟龙号潜器场景如图 4.11（a）
所示，样机和被测目标物搭载在篮筐上。图 4.11（b）为下沉海底的被测靶球。
图 4.11（c）和 4.11（d）分别为两次下潜后提取得到的拟合球体。潜器内潜航员
经由上位机控制，操作下位机在工作范围内对预先标定的球形目标物进行 10 次
扫描测量，经三维重建拟合，获得 10 组靶球直径数据，并计算得到多次测量结
果的标准差，结果如表 4.5 所示。两次下潜试验获得的标准差分别是 0.7mm 和
1.7mm，实验结果满足考核指标要求。

（a） （b）

56
上海大学博士学位论文

（c） （d）
图 4.11 搭载蛟龙号潜器的南海原位测量实验： （a）样机与被测目标物搭载场景； （b）被测
目标物；（c）第一次下潜提取的三维点云图； （d）第二次下潜提取的三维点云图
Fig.4.11 In-situ measurement experiment in the South China Sea with Jiaolong submersible. (a)
Carrying scene of prototype and measured target. (b) The measured target. (c) 3D point cloud
extracted from the first experiment. (d) 3D point cloud extracted from the second experiment

表 4.5 原位验证实验中同一位置测量精度/mm
Table 4.5 In-situ measurement accuracy of the same position /mm

球径 1 球径 1 球径 2 球径 2
序号 球径 1 球径 2
误差 标准差 误差 标准差
1 200.3 0.5 198.0 -1.7
2 200.4 0.6 198.8 -0.9
3 200.2 0.4 197.9 -1.8
4 199.4 -0.4 198.0 -1.7
5 199.3 -0.5 0.7 197.8 -1.9 1.7
6 198.9 -0.9 198.1 -1.6
7 200.5 0.7 197.9 -1.8
8 198.2 -1.6 198.2 -1.5
9 199.4 -0.4 197.9 -1.8
10 199.2 -0.6 198.1 -1.6

4.3 水下激光线扫描双目立体视觉动态测量误差补偿研究

水下激光线扫描系统通常搭载在 Lander 平台、船舶、潜艇和水下 ROV 等设

备上，在这种情况下，搭载设备的振动不可避免,此时若进行水下扫描作业，目
标物与扫描系统之间的位姿关系将发生相对运动。这种相对运动引起的位姿变化
会给最终的测量精度带来较大的误差[125]。为解决该问题，本小节对水下激光线
扫描成像系统在动态测量时引起测量误差的主要原因进行了分析，并提出一种基
于人工标志点的误差补偿方法，实现水下激光线扫描系统的高精度动态测量。

57
上海大学博士学位论文

4.3.1 系统动态测量误差分析

激光线扫描系统在扫描成像过程中，双目相机分别拍摄获得目标物一系列的
扫描图片。假设在某一特定时刻下，左、右相机同时拍摄到的一组的对应线条纹
图像，分别提取图像中线激光条纹的中心，得到一系列像素，最后系统对这些像
素进行逐一匹配，即可实现对目标物的三维重建。由 4.2.2 小节分析可知，假设
左相机像平面上的某一个像素点为（uL，vL），在右相机像平面上其对应的像素
匹配点为（uR，vR），根据这两个对应像素点，便可由多层平面折射成像三维测
量模型得到在左相机坐标系下目标物的三维点坐标。为突出主要矛盾，现忽略其
三维成像的具体实现，将这种由两个对应像素计算出三维点的算法简化为一个功
能函数 F，因此可以得到：

P  F (uL, vL, uR, vR) （4-8）

其中，P 为左相机坐标系下的三维点，F 为三维重建算法。

同样地，通过对线激光条纹上的所有匹配像素进行上述计算，可以得到与线
激光条纹相对应的一系列三维坐标点。然后对扫描过程中不同时刻下所有的线激
光条纹进行同样的计算和处理，则得到一系列线激光条纹所对应的三维点。假设
被测目标物和测量系统在整个扫描成像过程中保持相对静止，则被测目标和左相
机坐标系的位姿关系始终保持不变，也就是说，当把所有时刻下测量得到的三维
点都放在同一坐标系下时，就获得了整个测量视场内目标物的三维重建点云。在
此过程中，目标物被有效三维重建的关键前提是，不同时刻下的所有三维点均具
有共系的特性，此测量结果反映了被测目标的尺度信息，即测量有效。整个测量
过程可以用流程图 4.12 来描述。

58
上海大学博士学位论文

图 4.12 水下激光线扫描双目立体视觉三维成像工作流程图
Fig. 4.12 Diagram of underwater laser line scanning binocular stereo vision 3D imaging

由上述分析知，为使测量的结果精确，需要保证扫描系统和被测目标物在整
个扫描过程中保持相对静止状态。然而，水下激光线扫描系统工作在水下环境中，
水的流动和搭载器件的振动是不可避免的，因此扫描系统与目标之间总是存在相
对运动，而这种相对运动，打破了不同时刻下计算出的三维点的共系特征，而激
光线扫描系统在完成整个视场的扫描时，通常需要一定的时间，在扫描时间内存
在的这种相对运动给扫描的结果引入了系统误差带来了系统误差，从而造成测量
失真，甚至会导致测量彻底失败。
为更加直观地理解动态测量情况下造成系统测量误差的原因，本章分别以静
态和动态激光扫描两种示意图进行分析描述，具体示意图如图 4.13~4.16 所示。
在图 4.13 中，假定激光线扫描系统从左到右扫描，为方便描述，仅截取扫描过
程中的三个时刻进行分析。当线激光扫描器和被测目标物在整个扫描过程中保持
相对静止时，由图 4.14 可知，三个时刻下测量得到的三维点准确的反映了被测
目标物表面的尺度信息。在图 4.15 中，假设线激光从左到右扫描，扫描系统与
59
上海大学博士学位论文

被测目标之间存在着相对运动，同时扫描系统有靠近被测目标的趋势，并且这种
相对运动恰好使得三个时刻下的扫描线激光落在了同一位置，由图 4.16 中的测
量结果可知，这种相对运动导致了测量失效。

图 4.13 静态下扫描示意图
Fig.4.13 Schematic diagram of static scanning

x y z

图 4.14 静态下扫描结果示意图
Fig.4.14 Schematic diagram of static scanning results

图 4.15 动态下扫描示意图
Fig.4.15 Schematic diagram of dynamic scanning

60
上海大学博士学位论文

x y z

图 4.16 动态下扫描结果示意图
Fig.4.16 Schematic diagram of dynamic scanning results

4.3.2 动态测量误差补偿算法研究

由前文的误差来源分析可知，造成误差的根本原因是扫描过程中的相对运动
破坏了不同时刻下三维点的共系特性，而扫描系统仍然将测量得到的不具共系特
性的三维点放在了同一坐标系下进行计算，因此带来了测量误差。由于水下激光
线扫描系统的工作环境决定了这种相对运动不可避免，因此从物理上实现减小这
种相对运动来减小误差的方法难度较大，成本往往也较高，甚至在某些条件下根
本不具备可行性。为区别于场景中的自然特征信息，本小节提出一种误差补偿算
法，以此解决水下激光线扫描测量时的动态测量误差。
水下扫描成像过程中，假定扫描视场中存在一些特征点，且这些特征点和被
测目标之间的相对位姿不发生变化。测量系统在扫描的过程中跟踪这些特征点，
并记录扫描系统的位置和姿态变化，然后将这些扫描系统的位置和姿态变化作为
一种信息的输入，通过相应的补偿算法使用这些额外的信息对扫描结果进行修正，
达到误差补偿的效果，从而实现高精度的动态测量。图 4.17 为动态误差补偿算
法示意图。

图 4.17 动态误差补偿算法示意图
Fig.4.17 Schematic diagram of dynamic error compensation algorithm

参考坐标系的建立示意图如图 4.18 所示。其中，左相机测量坐标系相对于

参考坐标系的旋转矩阵和平移矩阵分别为 Rm2t 和 tm2t。

61
上海大学博士学位论文

图 4.18 参考坐标系建立示意图
Fig.4.18 Schematic diagram of reference coordinate system

首先，提取视场中三个有效特征点的三维信息。根据多层平面折射成像模型，
计算重建得到在左相机坐标系下第 i 个特征点的三维信息，并记录如下：

Pi  ( xi , yi , zi ) （4-9）

其中，Pi 代表第 i 个特征点的三维坐标，i=1,2,3。

在提取到视场中三个特征点的基础上，计算得到这三个点的质心坐标，计算
公式如下：
x1  x2  x3 y1  y2  y3 z1  z2  z3
Pc  ( , , ) （4-10）
3 3 3
其次，建立坐标系。为了实现跟踪的效果，以计算得到的质心为坐标系的原
点建立参考坐标系。同时，通过特征点以及质心的坐标，构建如下的特征矩阵：

M   P1  Pc , P2  Pc , P3  Pc  （4-11）

对特征矩阵 M 进行奇异值分解，将得到最大特征值的特征向量的方向作为
参考坐标系的 X 轴，对应于第二大特征值的特征向量的方向作为 Y 轴，Z 轴则由
X 轴和 Y 轴的叉积进行唯一确定，由此便完成了参考坐标系的建立。此外，在进
行奇异值分解的同时，还可以得到左相机坐标系相对于参考坐标系的旋转矩阵
Rm2t。它们之间的关系表示如下：

Rm 2t  Pm  tm 2t  Pt （4-12）

其中 Pm 为左相机坐标系下的三维点，Pt 为参考坐标系下的三维点。
由于质心 Pc 所在位置为参考坐标系的原点，因此有下式：

Rm 2t  Pc  tm 2t  0T （4-13）

62
上海大学博士学位论文

根据上式，可以计算出左相机坐标系相对于参考坐标系的平移矩阵 tm2t。
由以上分析可知，参考坐标系可以由不在同一直线上的三个特征点建立，并
且通过计算获得了左相机坐标系相对于参考坐标系的旋转矩阵和平移矩阵。因此，
参考坐标系的建立可用于跟踪和记录扫描系统的位置姿态变化，从而实现误差补
偿，示意图如图 4.19 所示。

图 4.19 动态误差补偿示意图
Fig.4.19 Schematic diagram of dynamic error compensation

具体的误差补偿算法如下：
（1）处理第一组扫描的图片，提取其中的三个特征点坐标，通过特征点建
立参考坐标系，并获得初始位置时左相机坐标系和参考坐标系之间的相对位姿关
系，其中旋转矩阵用 R1 表示，平移矩阵用 t1 表示，由此得到初始状态下参考坐
标系和左相机坐标系之间的相对姿态矩阵 A1：

R t 
A1   1 1  （4-14）
 0 1

（2）在后续的扫描过程中，分别对每一组（帧）建立相应的参考坐标系，
其中，每一组图像均由对应的一条激光条纹和三个特征点共同组成。然后，按照
（1）中的处理方法，分别对后续的每一组扫描图片进行处理，并得到左相机坐
标系和参考坐标系之间对应的旋转矩阵 Ri 和平移矩阵 ti，其中，第 i 组扫描图片
的处理结果记为 Ai：

63
上海大学博士学位论文

R ti 
Ai   i （4-15）
0 1 

（3）分别计算第 i 组图片与第 1 组图片之间的相对位置姿态，其可以用一

个旋转矩阵和一个平移矩阵组成的四维变换矩阵表示：

 R ti   R11  Ri R11  Ti  T1  

Ai   i  （4-16）
 0 1   0 1


（4）使用激光线扫描系统的三维重建算法，分别获得所有时刻下测量得到
的三维点坐标，如，第 i 组图片(第 i 条激光条纹)获得 n 个三维点，将其记录为：
 x1 , x2 , x3 ,... xn 
 y , y , y ,... y 
Pi   1 2 3 n
（4-17）
 z1 , z2 , z3 ,... zn 
 
 1 1 1 1 
（5）用记录的相对位置姿态变化信息，去修正扫描结果，以达到单幅图像
上激光条纹点三维坐标误差补偿的效果，其修正关系为：
~
Pi  Ai  Pi （4-18）
~
其中 P i 为通过误差补偿矩阵 Ai 修正后的第 i 组图片所对应的三维点的集合。

当系统对所有组图片测量得到的三维点都进行上述的误差补偿后，再将不同
时刻下测量的三维点组合到初始状态下的左相机坐标系下进行显示，即可得到误
差补偿后的扫描结果。由于该补偿算法记录了扫描系统和被测目标之间的相对运
动变化量，因此理论上只要能够实时地、高精度地提取到特征点的信息，就可以
实现高精度的动态测量。当然，这种从环境当中提取特征信息的做法带来了额外
的计算量，同时在提取特征信息的过程中给系统引入新的的误差，但总体而言，
这种新引入的误差与由测量系统和被测目标之间的相对运动引入的动态误差相
比，误差值是非常小的，因此对动态扫描结果的修正具有一定的意义，尤其是在
相对运动变化量较大的情境下，直接测量的结果可能完全失效，但是误差补偿后
的结果仍然可被接受。

64
上海大学博士学位论文

4.3.3 实验

4.3.3.1 基于人工标志点的误差补偿实验

为验证所提动态扫描测量误差补偿算法的准确性，设计了十字型人工标志点
光学靶标，此类标志点具有特征明显、易检测且角点检测精度高的特点。为方便
对特征点的提取和提高检测效率，另设计一种矩形标志点用于标记的分辨识别。
由于扫描系统工作在水下，对主动光学标靶的设计需要同时考虑防水性和特征点
的检测精度，其具体的设计模型如图 4.20 所示。在光学标靶的结构中，从下到
上依次为封装后端盖、光源层、隔离层、耐压玻璃、均光层以及包含十字型角点
的光刻玻璃。其中，光源层采用环形 LED 灯阵列，以用于提供主动光源，整个
标靶系统采用电池仓供电；隔离层用于扩大光源的发散角；耐压玻璃用于承受水
压；均光层用于调节主动光源，使其透射出的光强更均匀，以提高特征点的检测
精度；光刻玻璃设计为具有十字角点的蝴蝶结式涂层，用以提供特征点信息。

图 4.20 主动光学标靶模型图
Fig.4.20 Model of active optical target

由 4.3.2 小节分析知，至少需要提供 3 个特征点信息来实现对系统和被测物

之间的相对运动进行跟踪和记录，因此，为方便计算，本章使用 3 个相同的十字
型人工光学标志点。此外，为使目标物和标志点相对位姿关系不变，实验中将标
准靶球和光学标志点固结在一起，其实物如图 4.21 所示。

65
上海大学博士学位论文

图 4.21 人工光学标志点与被测目标靶球
Fig.4.21 Artificial optical marker and target ball

实验时，将被测靶球和扫描系统放置在水池中，距离扫描系统 3m 远的位置。
考虑到扫描系统比较笨重，选择用两根绳子拉动被测目标来回晃动，使得二者位
姿关系产生相对变化。实验的场景如图 4.22 所示。图 4.23 为系统某一时刻拍摄
的一组左右场景图像。

图 4.22 水下动态测量实验场景
Fig.4.22 Experimental scene of underwater dynamic measurement

66
上海大学博士学位论文

（a） （b）
图 4.23 左右相机同时拍摄的一组线激光条纹图像： （a）左相机图像； （b）右相机图像
Fig.4.23 A group of linear laser stripe images captured by the left and right cameras at the same
time. (a) Left image. (b) Right image

图 4.24 为在动态条件下重建的三维测量结果，其中，图 4.24（a）为直接进

行三维重建的扫描结果，图 4.24（b）为使用误差补偿算法校正后的扫描结果。
由实验结果知，在动态扫描的条件下，被测目标物重建结果严重失真，导致测量
结果无效。当采用误差补偿算法后，可实现对重建后的扫描点云进行校正，得到
较好的目标物表面形态效果。

（a） （b）
图 4.24 水下动态扫描三维点云图：（a）校正前三维点云重建； （b）校正后三维点云重建
Fig.4.24 Diagram of underwater dynamic scanning 3D point cloud. (a) 3D point cloud diagram
before correction. (b) 3D point cloud diagram after correction

为定量的验证算法的准确性，在静态扫描成像条件下，将靶球随机摆放 10
个位置，经测量系统扫描重建后，分别得到 10 组靶球直径数据，标准球直径为
ø199.8mm。随后，在动态条件下，使用误差补偿算法对目标物进行重建，得到
10 组靶球直径数据。经计算分别得到静态和动态扫描条件下靶球直径误差，及
直径相应的标准差，结果如表 4.6 所示。

67
上海大学博士学位论文

表 4.6 水下动态扫描靶球多位姿测量结果/mm
Table 4.6 Multi-positions results of underwater dynamic scanning /mm

静态测量下 球径 球径 动态测量下 球径 球径
序号
球径 误差 标准差 球径 误差 标准差
1 200.2 0.4 200.5 0.7
2 200.1 0.3 200.3 0.5
3 200.0 0.2 200.2 0.4
4 200.0 0.2 200.2 0.4
5 200.1 0.3 200.3 0.5
0.3 0.5
6 200.2 0.4 200.5 0.7
7 200.0 0.2 200.2 0.4
8 200.0 0.2 200.2 0.4
9 200.1 0.3 200.5 0.7
10 200.1 0.3 200.4 0.6

结果表明，当系统加入误差补偿环节时，静态条件下的测量精度与系统在不
加入误差补偿环节时的测量精度处于同一水平；动态测量时，加入误差补偿环节
靶球的标准差为 0.5mm，仍可以获得较好的测量精度。

4.3.3.2 基于场景中自然特征的误差补偿实验

水下扫描成像过程时，当不允许或不具备设置人工标志点的情况下，需要利
用扫描视场中的自然特征点作为参考点，实现对水下物体的动态扫描及测量，本
小节以海星模型作为测量目标进行测量验证。在测量过程中，保持扫描系统位置
不变，并用绳子的摆动使得海星模型的位姿产生变化，同时，提取海星上三个明
显的特征点来跟踪相对位姿变化，并由提出的算法实现误差补偿。实验的实物模
型和扫描结果如图 4.25 所示。

（a）
68
上海大学博士学位论文

（b） （c）
图 4.25 海星生物模型及扫描结果： （a）海星生物模型；（b）不使用补偿的扫描结果；（c）
使用补偿的扫描结果
Fig.4.25 Starfish biological model and scanning results. (a) Starfish biological model. (b) 3D
reconstruction result without compensation. (c) 3D reconstruction result using error compensation

由实验结果可知，在不使用误差补偿算法时，海星模型的扫描重建结果与海
星真实的形状和尺寸相差较大，测量的结果是无效的；使用误差补偿算法后，海
星的三维重建效果良好，能够很好的反映海星外观特征和尺寸大小的实际情况。
从点云效果来看，在使用误差补偿算法时，海星形状的边缘特征存在部分失真，
这是由于当使用海星上自带的特征点来提取特征信息时，不可避免的会引入算法
本身的误差，但总体而言，使用补偿算法后的动态扫描重建结果是有效的。

4.4 本章小结

本章主要对面向水下目标原位测量的双目立体视觉成像进行了研究。针对水
下目标物表面纹理信息不明显，影响左右相机图像像素匹配的问题，采用线激光
光条作为匹配线索，并根据共面约束，利用降维和混合积快速匹配左右相机像素
的方法，提高左右图像像素匹配精度。水池精度实验和南海 1051m 处真实海域
精度实验中，两靶球球心距的标准差均为 2.3mm，结果表明，研制的成像系统具
有较高的三维测量精度，且具备深海原位测量功能。分析了激光线扫描系统在水
下成像时存在动态测量误差的原因，提出了一种基于视场中人工标志点的误差补
偿算法。在动态扫描补偿实验验证中，经误差补偿后靶球直径多次扫描测量结果
的标准差为 0.5mm，主动照明式光学标靶下被测靶球依然有较高的三维重建精度，
实验结果均很好的验证了提出误差补偿方案的可行性。

69
上海大学博士学位论文

第五章 面向水下大场景观测的双目立体视觉成像研

5.1 引言

针对水下大场景三维观测应用需求，采用鱼眼镜头作为水下双目立体成像系
统左右相机的成像物镜，以增大双目立体成像的视场范围。然而，受相机成像特
性和水下环境的影响，拍摄的水下鱼眼镜头相机图像出现严重的畸变，其立体匹
配亦不再符合空气中的极线约束原理，无法对水下目标物进行三维成像。针对上
述问题，本章主要对基于多频外差技术的水下鱼眼镜头相机成像映射关系标定、
图像转化及立体匹配等关键技术进行研究。开展了系统标定实验和大场景三维重
建实验，结果验证了所提关键技术方法的正确性，研制的成像系统具备水下大场
景三维成像观测能力。

5.2 水下鱼眼镜头相机成像建模

光学视觉系统对水下物体进行观测时，其工作环境通常分为如图 5.1 两种方

式：
（1）视觉系统放置空气中，通过透明玻璃观察水中的被测物体；
（2）视觉系
统被容器密封起来并放置在水中，通过容器一端的透明玻璃窗口观察水中的被测
物体，如图所示。对于图 5.1（a）中的视觉系统的观测方式，其观测环境和距离
通常受限，因此，本章采用图 5.1（b）所示模型对水下目标物进行观测。

（a） （b）
图 5.1 视觉系统观测水下物体模式： （a）视觉系统放置在空气中;（b）视觉系统放置在水中
Fig. 5.1 The way of vision system observes underwater object. (a) the vision system is placed in
the air; (b) The vision system is placed in underwater
70
上海大学博士学位论文

图 5.2 为建立的水下鱼眼镜头视觉成像模型。一般地，相机轴线方向和防水
玻璃平面之间的相对位姿有两种情况：
（1）图 5.2（a）为轴线和玻璃平面完全垂
直；
（2）图 5.2（b）为轴线和玻璃平面之间有一定的夹角。考虑到实际情况，如
制造误差和装配误差的存在，封装后相机轴线不可能与防水玻璃平面呈绝对平行
的情形，因此，本文使用图 5.2（b）中的成像模型对水下鱼眼镜头相机成像过程
进行研究。水下目标物点 Po 发射一光线，在水中传播一定距离后到达防水玻璃
的外表面点 W 处，发生折射后进入防水玻璃中并到达玻璃内表面点 A 处。接着，
光线再次发生折射进入空气中并与鱼眼镜头外表面相交于点 Ps 处。随后，光线
在鱼眼透镜中发生多次折射并到达光心点 Oc 处。最后，光线投影到鱼眼镜头相
机图像平面上的点 P 处。

（a） （b）
图 5.2 水下鱼眼镜头视觉系统成像模型： （a）相机轴线与防水玻璃平面垂直； （b）相机轴线
与防水玻璃平面不垂直
Fig.5.2 Modeling of underwater fisheye lens camera. (a) The image plane is parallel to the
waterproof interface. (b) The camera plane is not parallel to the waterproof interface

对于鱼眼镜头相机成像，由于鱼眼镜头本身物理结构的特殊性，导致其光学
成像不符合传统的小孔成像原理。也就是说，当光线在鱼眼镜头中传播时，其方
向会发生多次变化，因此，可认为在鱼眼镜头中存在多层不同介质的平行平面界
面，当光线在不同平面中传播时，其方向在不同界面处发生了多次折射，从而整
体上不符合小孔成像。此外，不同于空气中的视觉成像系统，光线在水下鱼眼镜
头视觉中的传播依次经历水、窗口玻璃、空气及鱼眼镜头组等不同介质，并在不
同界面处发生折射，因此，若以普通直线的方式描述光线在水下鱼眼镜头相机中
的传播过程，则很难对其建立精确的数学成像模型。
71
上海大学博士学位论文

基于上述分析，并结合第二章水下相机成像建模知，可将多层平面界面折射
成像模型应用于水下鱼眼镜头相机成像建模。本文将水下鱼眼镜头相机成像模型
分解为以下两个子模型：
（1）在空气中，光线在鱼眼镜头相机多层平面界面折射
成像模型；
（2）在水下，光线在鱼眼镜头相机、防水玻璃和水下传播的多层平面
界面折射成像模型。

5.2.1 鱼眼镜头相机多层平面折射成像建模

鱼眼镜头相机的成像模型如图 5.3 所示。假定在鱼眼镜头中，有 i =1, …, n

层平面界面，其厚度和折射率分别为 di 和 i 。令 d0 表示相机光心和鱼眼镜头中

第一层平面之间的距离。

（a） （b）
图 5.3 鱼眼透镜的多层平面界面成像模型：（a）图像平面与鱼眼镜头中多层平面平行；（b）
摄影机平面与鱼眼镜头中多层平面不平行
Fig.5.3 Multi-layer plane model of fisheye lens. (a) The image plane is parallel to the multi-layer
plane in the fisheye lens. (b) The camera plane is not parallel to the in the fisheye lens.

采用逆向传播的方式描述光线在鱼眼镜头相机中的传输成像过程。像平面上
像素点 P 与相机光心 Oc 的连线决定一条入射光线，该光线传播距离 d0 后，到达
鱼眼镜头最内层的光学平面点 d0 处。接着，该光线经过穿过多层平面并发生折
射后，最终到达镜头外表面的点 Ps 处。在相机坐标系下，利用内参矩阵 K 计算
出目标点 Pc 及其图像像素 m，计算出光线的方向 Ic；在多层折射坐标系下，光
线方向可表示为 Ir；最后，将光线方向转换为四维参数光线的形式 Lr。
（1） 图 5.3（a）中假定鱼眼镜头相机的像平面、鱼眼镜头中的多层平面界
面均与防水玻璃平面平行，其成像数学关系式模型具体如下所述：

72
上海大学博士学位论文

相机坐标系下物点 Pc   x, y, z  与像平面上的像素点 m  u, v  关系为：

T

m KPc （5-1）

任意像素 m 决定一条通过光心和像素的光线，在相机坐标系下光线方向：

K 1m
Ic  （5-2）
K 1m

将光线转化到多层折射坐标系下：

Ir  Ic （5-3）

以四维参数形式描述光线：

T
  1 
  I  3 0 
  r 
I r 1 I r  2 
T
  1  
Lr  0 0 I r T  0   0 0  （5-4）
 I r  3    I r  3 I r  3 
 
  0 0  
  
  

根据式（2-9）~（2-13）理论的推导，继续以四维参数的形式描述光线在鱼
眼镜头中的传播过程。光线传播距离 d0 后到达鱼眼镜头第一层平面处，然后从

介质 0 折射到介质 1 的第一层后，此时光线四维参数可写成：

1
Lr  R( s0 , t0 , 0 , 1 )  T (d0 )  0 Lr （5-5）

其中， R( s0 , t0 , 0 , 1 ) 表示光线的折射表达式。 T (d 0 ) 表示光线的传播距离，其方

向垂直于 uv 平面。

当光线 i Lr 经传播距离 d i 后，并从介质 i 折射到介质 i 1 中，则入射光线和

折射光线的四维参数表达式分别表示为：
i 1
Lr  T (d i )  i Lr
（5-6）
i 1
Lr  R( si , ti , i , i 1 )  T (d i )  i Lr

类似地，当光线 o Lr 经过一段距离 d n 1 时，多层介质折射后，入射光线和折

射光线分别表示为：

73
上海大学博士学位论文

n
Lr  T (d n 1 )    R( s , t ,  , 
i  n  2,...,2,1
i i i i 1 )  T (d i )   0 Lr
（5-7）
n
Lr    R( s , t ,  , 
i  n 1,n  2,...,2,1
i i i i 1 )  T ( d i )   Lr
0

最后，折射光线传播到达鱼眼镜头表面点 Ps 处：
s
Lr  us , vs , ss , ts   T  d n   n Lr （5-8）

n 1
其中， d n  zs   d i ， us  xs ， vs  ys 。
i 0

（2） 实际上，由于制造及装配的误差，相机轴线不会与玻璃折射界面完全
垂直。因此，为便于理解及计算，本章构建了多层折射坐标系，其 z 轴垂直于鱼
眼镜头中多层平面界面。鱼眼镜头的相机坐标系（图 5.3（b）中的实线坐标系）
建立在相机光心上，以多层平面界面的法线 n 为 z 轴，将法线 n 与相机 z 轴的叉
积作为 x 轴，从而构建多层平面界面折射成像坐标系（图 5.3（b）中的虚线坐标
系）。则多层折射坐标系与相机坐标系之间的关系可表示为：

Pc  c Rr Pr  c t r
c
Rr   nc  zc nc   nc  zc  nc 
（5-9）
t r   0 0 0
c T

zc   0 0 1
T

其中，nc 为相机坐标系下的多层界面法线。对矩阵 c Rr 列向量作单位化计算。

同理，物体坐标系与多层折射成像坐标系之间的关系可以表示为：

Pr  r Ro Po  r to （5-10）

成像平面上的像素及其在相机坐标系中对应的光线转换为多层折射坐标系
中的光线表示，表达式如下：

K 1m
m KPc ，I c  1 ，I r  r Rc I c  c Rr 1I c
K m
  1 
  I (3) 0 
  r  （5-11）
  1 
Lr   0 0 I r T  0
I r (3)  
  
  0 0 
   
 

74
上海大学博士学位论文

类似地，鱼眼镜头中光线传播的计算过程可参考公式（5-5）至（5-8）。

5.2.2 水下鱼眼镜头相机多层平面折射成像建模

由于光线在空气、玻璃和水不同介质中传播时发生折射，因此，本小节继续

以光线四维参数的形式，描述光线从鱼眼镜头表面点 Ps 处传播到水下目标点 Po

的成像过程如图 5.4 所示。

图 5.4 水下鱼眼镜头相机成像模型
Fig. 5.4 Underwater fisheye camera imaging model

光线到达点镜头表面 Ps 点后，继续沿 Ps A 方向在空气中传播一段距离，然后

到达防水玻璃内表面点 A 处，此时，入射光线可表示为：

a
s
Lr  T  D0  d n   s L 'r （5-12）

接着，光线发生折射进入防水玻璃中并达到点 W 处，随后，光线再次发生
折射进入水中进行传播，在此期间，入射光线和折射光线表达式如下：
a
g Lr  R( si 1 , ti 1 , a , g )  as Lr
（5-13）
g
w Lr  R( si 2 , ti 2 , g , w )  T  H   ga Lr

最后，光线到达水下目标点 Po：
o
Lr  uo , vo , so , to   T  D1   wg Lr （5-14）

其中， uo  xr ， vo  yr 。

75
上海大学博士学位论文

5.3 水下鱼眼镜头相机系统参数标定

作为一种基于时间的相位展开算法，多频外差技术可独立计算每个像素的相
位，具有良好的抗干扰能力、精度较高。基于此，本章结合多频外差技术，完成
对鱼眼镜头相机及水下鱼眼镜头视觉成像的映射关系的标定。

5.3.1 基于多频外差技术的鱼眼镜头相机成像映射关系标定

多频外差技术是将多种不同频率的相位函数，通过外差运算合成得到一种频
率更低的相位函数[126-128]。根据拍频原理，如果相位差的周期值（条纹宽度）足
够大，可以覆盖相机的整个测量视场，则可以唯一确定图像上每一点的绝对相位
值[129-132]。同理，当使用鱼眼镜头相机对显示器屏幕的正弦条纹光栅进行拍摄时，
拍摄的图像通过多频外差技术的处理，得到鱼眼镜头相机像平面上像素点的绝对
相位值，然后，根据生成条纹光栅数学表达式和相机采集到的变形条纹图的数学
表达式之间的对应关系，即可得到显示器屏幕上对应像素的坐标[133]。也就是说，
通过条纹相位，标定获得相机像素坐标与显示器像素坐标匹配之间的映射关系，
由此映射关系即可实现对畸变的鱼眼镜头相机图像进行校正。
将一块显示屏放置在距系统防水密封玻璃一定位置处，且显示屏平面与密封
玻璃平面平行。像平面上的像素点 P 和光心 Oc 之间的连线，经过相关坐标系变
换，以四维参数光线的形式最终到达显示屏平面上的像素 PL 处，这里将其描述
为入射光线和出射光线的对应关系，记为 map(L_in,L_out)。图 5.5 为空气中鱼眼
镜头相机像素点与屏幕像素点之间的光线映射关系图。

76
上海大学博士学位论文

图 5.5 鱼眼镜头相机像素点与屏幕像素点成像映射
Fig.5.5 Mapping principle of the pixel between fisheye lens camera and LCD screen

假设显示屏幕上生成 M 幅相移竖直正弦条纹图像，其中第 m 幅条纹图像为：

gm ( s, t )     cos(2 s / s  2 m / M ) m=0,1,...,M -1 （5-15）

其中，s 表示条纹节距；s 和 t 分别为显示屏像素点相应的行和列的坐标；整数 

和  分别表示背景和条纹对比度，且两者满足关系式 0      1 ，用来保证条

纹灰度值为正值且不会过度饱和[1364-136]。
当显示器屏幕显示该幅条纹图像时，相机采集到的变形条纹图可表示为
[137,138]
：

I m (u, v)  A(u, v)  B(u, v)cos(s (u, v)  2 m / M ) （5-16）

其中，A(u,v)和 B(u,v)分别表示相机像素点(u,v)对应的背景强度和调制度，s (u, v )

为相位主值。
由多频外差技术的相移与展开知，首先，通过相移可计算同一频率条纹光栅
图的相位主值，然而，由于相位主值呈现周期性锯齿变化，在整个图像范围内相

位主值不存在唯一性。然后，通过外差原理，将周期性的相位主值 s (u, v ) 展开

77
上海大学博士学位论文

为只存在一个周期的连续变化的绝对相位  s (u, v) 。考虑到显示器屏幕的像素坐

标值被编码在条纹相位中，联立式（5-15）和式（5-16）可得：

s  s   s (u, v) / 2 （5-17）

由式（5-17）知，通过对条纹绝对相位值的求解，可将相机像素坐标(u,v)与
显示器屏幕像素坐标 s 关联起来。同理，当投射水平方向的条纹图像时，按上述
计算方法，可将相机像素坐标(u,v)与显示器屏幕像素坐标 t 关联起来。相位信息
揭示了显示器屏幕上像素点坐标位置和相机像素平面上像素点坐标的对应关系，
实现对鱼眼镜头相机图像的校正。鱼眼镜头相机图像平面上的像素与显示屏平面
上像素的匹配步骤具体如下：
（1）对显示器屏幕上的像素点分别进行 x 方向和 y 方向的相位编码，得到
多幅三种不同频率的正弦条纹图像。
（2）使用封装后的鱼眼镜头视觉系统分别对显示屏上 x 方向和 y 方向条纹
图像进行拍摄并保存。
（3）利用多频外差技术对拍摄的鱼眼镜头相机图像进行相移与展开，得到
鱼眼镜头相机像平面上每个像素点的绝对相位值。
（4）根据鱼眼镜头相机像平面上像素点的绝对相位值，按照下式分别计算
出显示屏上对应的像素坐标。
 s ( u, v )
s W
N  2
（5-18）
 ( u, v )
t t H
N  2
其中，  s (u, v) 和  t (u, v ) 分别为相机像平面上像素点的绝对相位值， W 和 H 分

别为显示器屏幕在水平和垂直方向上的分辨率，N 为相移条纹周期。
（5）通过条纹相位将相机像素坐标(u,v)与显示器像素坐标(s,t)匹配起来，由
这个匹配关系标定出鱼眼镜头相机像面上像素点绝对相位与显示器屏幕上像素
点坐标之间的映射关系。根据此映射关系，即可实现对畸变的鱼眼镜头相机图像
进行校正。

5.3.2 鱼眼镜头相机系统参数标定

对于系统参数的标定，本章首先对单相机的内参以及立体视觉的外参进行标
78
上海大学博士学位论文

定，然后，分别对左、右相机的多层折射系统参数进行标定，最后，为进一步提
高标定精度，文中使用非线性优化方法对标定结果作进一步优化。图 5.6 为水下
鱼眼镜头相机成像映射关系图，假定鱼眼镜头相机坐标系和多层折射坐标系分别

定义为 c 和 r ，两坐标系之间的位姿关系表示为 r Rc r tc 。对于建立的鱼眼镜头

相机多层平面界面成像模型，须对鱼眼镜头相机中三个系统参数如分界面法向量
n1、介质厚度 di 和不同介质的折射率 μi 进行标定。基于此，本章根据第二章中的
系统参数标定方法求解出鱼眼镜头相机中的系统参数，此处不再赘述。

图 5.6 水下鱼眼镜头相机成像模型
Fig. 5.6 Fisheye lens camera imaging model in underwater

同样地，对于水下鱼眼镜头相机系统成像相应系统参数的求解，依然参照第
二章节的系统参数标定方法实现对光心到玻璃内表面处距离，以及水下界面法线
n2 和不同界面距离的标定。

5.3.3 实验

图 5.7 为封装后的鱼眼镜头相机视觉成像系统，鱼眼镜头相机被封装在一个
带有透明防水玻璃的密封筒内。其中，相机型号为 BFLY-PGE-50A2M-CS，分辨

79
上海大学博士学位论文

率为 2592×1944 pixels，鱼眼镜头型号为 ZLKCVM2.5IR8MP，视场角大小为 190o,

焦距为 2.5mm。标定实验时，在空气中使用规格为 14×11 的圆环标定板进行系统
参数的标定，圆环直径为 20mm，相邻两圆环圆心间距为 30mm。在水下使用规
格为 7×11 的棋盘格标定板进行系统参数的标定，棋盘格每个方格长和宽的大小
均为 35mm。此外，在空气中和水下标定实验中均借助背光板作为辅助光源，以
提高图像的成像质量。

图 5.7 封装后的鱼眼镜头视觉成像系统
Fig.5.7 Encapsulated fisheye lens camera

根据相位展开原理，实验采用三个频率的相位函数进行叠加，其周期大小分

别为 T1  24 pixels、 T2  26 pixels 和 T3  28 pixels。叠加后的相位差周期分别为

T12  364 pixels、 T23  312 pixels 和 T123  2184 pixels 。由于显示屏的分辨率为

1920×1080 pixels，其单方向的像素值小于最终计算的相位差周期，因此，根据
多频外差原理，可以唯一确定显示屏幕上每一点像素的绝对相位值。
光栅条纹拍摄场景如图 5.8 所示，使用封装后的鱼眼镜头视觉系统分别对显
示屏上 x 方向和 y 方向上的若干条纹图像分别进行拍摄并保存。然后，利用多频
外差技术分别求得鱼眼镜头相机像素点的绝对相位值，其中的一组绝对相位值如
图 5.9 所示。根据鱼眼镜头相机像素点的绝对相位值与显示器屏幕像素之间的映
射关系，即可对获得的鱼眼镜头相机图像进行校正。

80
上海大学博士学位论文

（a） （b）
图 5.8 鱼眼镜头视觉系统拍摄显示屏上的条纹图案： （a）拍摄 x 方向的条纹图案； （b）拍摄
y 方向上条纹图案
Fig.5.8 Stripe patterns on display screen was captured by the fisheye camera. (a) Stripe patterns on
display screen in x direction was captured. (b) Stripe patterns on display screen in y direction
was captured

（a） （b）
图 5.9 鱼眼镜头视觉系统拍摄显示屏相移条纹的绝对相位：（a）x 方向显示屏的绝对相位；
（b）y 方向显示屏的绝对相位
Fig.5.9 The absolute phase(x direction and y direction) of display screen captured by the fisheye
lens camera. (a) x direction. (b) y direction

图 5.10 为校正前后的鱼眼镜头相机图像，其中，图 5.10（a）为使用鱼眼镜

头视觉系统分别对圆环标定板和实验室内部场景拍摄的图像，对应的校正后图像
如图 5.10（b）所示。对比校正前后的图像可知，提出的校正方法可将鱼眼镜头
相机图像中的弧线校正为直线，符合正常的视觉观察效果。

81
上海大学博士学位论文

（a） （b）
图 5.10 空气中校正前、后的鱼眼镜头相机图像： （a）校正前鱼眼镜头相机图像；（b）校正
后鱼眼镜头相机图像
Fig. 5.10 Fisheye lens images before and after correction in air. (a) Original fisheye lens images in
air. (b) Corrected fisheye lens images

空气中的标定场景如图 5.11 所示，使用封装后的鱼眼镜头视觉系统对不同

位姿的圆环标定板进行拍照，然后，利用标定的映射关系对圆环标定板图像进行
校正。最后，使用张正友标定方法对 20 幅校正后的图像进行标定，标定结果结
果如表 5.1 所示。结果表明，校正后图像的平均重投影误差为 0.12pixels，标定结
果证明了所提校正方法的有效性。

图 5.11 空气中标定实验场景
Fig. 5.11 Calibration scene of the fisheye lens vision system in air

82
上海大学博士学位论文

表 5.1 鱼眼镜头相机标定结果
Table 5.1 Calibration result of the fisheye lens camera

参数 标定结果
fx, f y 899.8527, 899.4518

cx , c y 1173.6534, 728.5997
鱼眼镜头相机 k1 , k2 , k3 -0.0075, 0.0067, -0.0018

p1 , p2 -0.0009, -0.0003
平均重投影误差(pixel) 0.12

为标定水下鱼眼镜头相机视觉的系统参数，实验中使用同样的鱼眼镜头视觉
系统共同组成水下双目鱼眼镜头立体视觉系统。同样地，使用提出的基于多频外
差技术的标定方法对另一个鱼眼镜头相机的内参进行标定。然后，对两个鱼眼镜
头视觉系统的相对位姿进行了标定。最后，将双目立体鱼眼镜头视觉系统和带有
背光板的棋盘格标定板放入水池中，以实现对水下系统参数进行标定，水下实验
场景如图 5.12 所示。

图 5.12 水下鱼眼镜头视觉系统标定场景
Fig. 5.12 Calibration scene of underwater fisheye lens vision system

随后，对鱼眼镜头视觉系统的水下系统参数进行标定，并以重投影的方式，
对另外两组水下棋盘格图片进行精度测实验证。由表 5.2 可知，水下鱼眼镜头视
觉系统的重投影误差为 0.26 像素，结果表明，提出的基于多频外差技术的标定
方法具有较高的标定精度。

83
上海大学博士学位论文

表 5.2 水下鱼眼镜头相机标定参数
Table 5.2 System parameters of the fisheye lens camera in underwater

系统参数 标定结果
n -0.02441 , -0.059587，0.99793
水下鱼眼镜头 D0 16.81
相机  1.333
平均重投影误差(pixel) 0.26

接着，利用标定的系统参数对其中一幅水下图像进行校正验证实验。校正前
后的水下鱼眼镜头相机图像如图 5.13 所示。结果表明，该方法对畸变的水下鱼
眼镜头相机图像进行了较好的校正。

（a） （b）
图 5.13 校正前、后的水下鱼眼镜头相机图像： （a）原图像； （b）校正后图像
Fig.5.13 Underwater checkerboard fisheye lens image before and after correction. (a) Original
image. (b) Corrected underwater fisheye lens image

最后，通过实验验证了所建立模型的准确性。以标准正方形尺寸的棋盘格角
点成像坐标作为 Groundtruth 与重投影结果进行仿真比较。由结果知，图 5.14 中
棋盘格角点的重投影和真实值之间整体误差较小。然而，在靠近边缘处角点坐标
与实际角点坐标的相对误差较大，说明结果符合鱼眼镜头相机的成像特性。

图 5.14 棋盘格角点重投影坐标和实际角点坐标对比图
Fig.5.14 Comparison between the reprojection and groundtruth coordinates of chessboard corners

84
上海大学博士学位论文

5.4 水下鱼眼镜头双目立体视觉三维重建

对于双目立体视觉成像系统而言，系统参数的标定和立体匹配关乎最终的三
维重建和测量精度。在上一小节中，借助于多频外差技术，对鱼眼镜头相机成像
和水下鱼眼镜头视觉成像的映射关系进行了标定。本小节对水下鱼眼镜头双目立
体视觉的立体匹配进行相应的研究。第二章节对水下双目立体视觉成像模型进行
了研究，在此基础上，建立的水下鱼眼镜头双目立体视觉成像模型如图 5.15 所

示。其中：Ocl 点为鱼眼镜头相机光心，D0 _ L 为空气中相机光心到玻璃面的距离，

H L 为防水玻璃的厚度， D1_ L 为水下物点 Po 到玻璃平面的距离。同理，水下物点

Po 在右相机成像的光线传播过程与左相机一样。

图 5.15 水下鱼眼镜头双目立体视觉成像模型
Fig. 5.15 Imaging model of the underwater fisheye lens camera stereo vision

对于空气中的双目立体视觉系统，左、右相机上对应的像素符合极线约束，
其匹配效果如图 5.16 所示。对于左相机上的任一像素 Pl，与其匹配的像素点 Pr
必定位于右相机图像平面的极线 erPr 上。经由两相机标定的位姿关系，使得左右
相机图像像平面在同一平面上，且实现行坐标的对应。通过计算两像素点的视差，
并由三角公式法即可得到被测点的三维信息。

85
上海大学博士学位论文

图 5.16 双目立体视觉系统中极线约束下的像素匹配
Fig.5.16 Pixel matching under the epipolar constraint in binocular stereo vision system

然而，由于光线在水下传播过程中发生折射，导致两相机行平面上的像素不
再符合空气中的极线约束条件[139,140]，水下实际匹配效果如图 5.17 所示。对于左
相机上的任一像素，在不同深度条件下，该像素对应右相机上的一条曲线，因此
搜索相应像素的过程变得更加复杂，计算量急剧增加。在此情况下，如果不寻找
新的约束条件来缩小搜索范围，势必会导致系统因计算量过大而无法满足实时测
量要求，测量精度也难以保证。

图 5.17 多层折射成像模型下的像素匹配
Fig.5.17 Pixel matching under the multilayer refraction imaging model

5.4.1 图像转换

在 5.3 小节中，结合多频外差技术对水下鱼眼镜头相机图像进行了校正，使
其转化为普通相机拍摄且无畸变的水下图像。在此基础上，本小节建立一种图像
转化模型，将相机透过多层平面介质拍摄的水下图像转化为相机与目标物之间无
水存在的一般空气图像，即将校正后的水下鱼眼镜头相机图像转化为在空气中拍
摄的满足小孔成像模型的无畸变图像。与空气中双目立体匹配满足极线约束类似，
当分别对左、右相机无畸变的水下图像均进行转化后，即可建立满足极线约束的

86
上海大学博士学位论文

双目立体视觉成像的标准形式，从而实现对水下目标物的三维重建[141]。

5.4.1.1 图像转换建模

由多层平面界面折射成像模型建立的前提条件知，当相机的畸变校正完成后，
建立了以光心为原点的多层折射坐标系，且其法线垂直于折射平面界面，图 5.18
为建立的图像转化模型。假定相机已完成畸变校正，且像平面平行于防水玻璃分
界面平面，由光线逆向传播知，像平面上任意一个像素点与光心的连线构成一条
入射光线传播并到达水和空气的分界面处后，光线发生折射并进入水中。

图 5.18 图像转化模型
Fig.5.18 Conversion imaging model

假定水中存在一个透视投影成像模型的相机，其焦距大小与空气中相机相同，
则由多层折射成像模型转换成相应透视投影成像模型的推导，可具体如下：

（1）对于图像平面上一像素点，其与光心的连线与光轴夹角为 （入射角）
o ，

对应的成像半径为 r ，由成像模型知，满足如下关系式：

r = f  tan o  （5-19）

（2）入射光线反向传播，在空气和水的分界面处 Oc ' 发生折射并进入水中，

其折射角度为 o ' 。由折射定理得：

sin o  n1
 （5-20）
sin o '  1

87
上海大学博士学位论文

将（5-19）式带入（5-20）式得：

n1  sin o ' 

r f 
1  n12  sin 2 o ' 
（5-21）
1 1 1 1  n12
  cot 2
 '   
f 2 n12  sin 2 o ' 
o
r2 f 2

（3）假设在水中存在一个透视投影成像模型，其光心位于 Oc ' 点，焦距为 f，

则成像半径可表示为：

r ' = f  tan o '  （5-22）

将（5-21）式带入（5-22）式，可得：

1 1 1 1  n12
   （5-23）
 r '
2
r 2 f 2 n12  sin 2 o ' 

公式（5-23）即为水下多层折射成像模型转化为空气中对应的透视投影模型
的映射关系，也就是说，通过此式可将校正后的水下鱼眼镜头相机图像转化为对
应的空气中拍摄的无畸变的透视投影图像，即将水下像点 P 的集合转化为空气
中拍摄的像点 P1 集合，该图像满足小孔成像原理。

5.4.1.2 透视投影图像获取

在 5.3 小节中，文中结合多频外差技术对水下鱼眼镜头视觉成像映射进行了
标定。标定完成后，即可将水下鱼眼镜头视觉成像映射为水下普通相机无畸变的
小孔成像。基于此，为方便模型建立及图像的转换生成，本小节继续以四维参数
的光线表达形式，将水下多层平面界面折射成像转化为空气中透视投影成像进行

公式推导，其中，透视投影图像包括光线方向矩阵 P0C0 集合和交点位置  C0Oc   

集合两部分组成。由图 5.18 知，假定鱼眼镜头视觉成像完成了畸变校正，且图

像平面与防水玻璃分界面平面平行。根据小孔成像模型，任意像素 m 和光心 Oc 决

定一条入射光线，则光线方向在相机坐标系下可表示为：
m KPC
K 1m （5-24）
I c  1
K m

88
上海大学博士学位论文

将该光线转换到多层折射坐标系下：

I r  r Rc I c  c Rr1I c （5-25）

将该光线用四维参数表示：
  1 
  I (3) 0 
  r 1 
Lr  0 0 I rT  0  （5-26）
  0 I r (3)  
  0 
   

入射光线传播距离 d 0 后到达防水玻璃平面界面处，随后发生折射并进入水

中，则折射后的光线四维参数表达式可表示为：
L '  R( s, t ,  ,  ')  L
 R( s, t ,  ,  ')  T (d 0 )  Lr （5-27）
 (u ', v ', s ', t ')

光线与防水玻璃分界面的交点为 Oc '  (u ', v ', d0 ) ，且折射后光线方向为：

( s ', t ',1)
Ir '  （5-28）
( s ')2  (t ')2  1

假定折射后的光线以四维参数的形式直接进行反向传播（以常规直线表达方
式则为图（5.16）中虚线），并与多层折射坐标系所在的 xy 平面相交于 C0 点，则
此时光线的表达式为：

Lr '  T (d0 )  L '  u0 , v0 , s ', t ' （5-29）

由式（5-29）即可得光线与 xy 平面的交点为 C0  (u0 , v0 ,0) ，方向矩阵为  s ', t ' 。

对于像平面的所有像素，其与光心的连线经上述折射并反向传播后，均可得到对
应的方向矩阵，本文称为光线方向矩阵集合。通过对真实像点和光心的连线（入
射光线）与折射后光线二者之间在方向上的映射关系进行保存，便得到对应的
map 映射矩阵。此外，在图 5.18 中，反向传播的光线与多层折射坐标系的 xy 平
面相交于 C0 点，由于此交点多为浮点数坐标，而图像的像点坐标都以整数形式
保存，故采用双线性插值方法并进行保存。由图知，该交点与光心的距离为

h  d 0   tan   tan '  ，此式说明，当光线在空气中传播距离 d0 且发生折射

后，反向传播的折射光线与初始的入射光线相比，该光线不仅发生了方向上的改
89
上海大学博士学位论文

变，其位置亦发生了变化，本文称此为交点位置集合。
对于反向传播的任一方向的光线（图（5.16）中虚线），结合其对应的位置
变化，便可将该光线移动到通过光心位置处（图（5.16）中点划线）。该光线与
像平面的交点，即为校正后的像点，而这些像点的集合则为校正后满足小孔成像
原理的图像。当相机内参及封装后固定位置不变的情况下，且光线方向集合和交
点位置集合各自的映射关系求取后，后续即可方便地对水下图像进行转换。

5.4.2 水下鱼眼镜头双目立体视觉下图像转换

5.4.2.1 多透平面成像坐标系建立

与单目视觉多层平面折射成像模型对应透视投影成像模型相似，在校正后建
立的鱼眼镜头双目立体视觉中，通过建立多透折射成像模型与透视投影成像模型
的转换关系，可求得反向传播的光线方向矩阵集合和交点位置集合。单、双目视
觉系统坐标系类似对应关系如图 5.19 所示。由于两相机的像平面已在同一平面
上，且完成了双目立体校正，则得到的左、右方向图像便实现了行对齐，此外，
若再使左、右位置图像满足一一对应的关系，则整个系统实现了双目立体匹配。

图 5.19 单、双目成像系统中坐标系的类似转换关系
Fig.5.19 Similar conversion relationship of coordinate systems between single and binocular
vision imaging

90
上海大学博士学位论文

左多透平面成像坐标系各坐标轴定义如下：左多透成像坐标系的原点建立在
左相机光心处，左相机光心与右相机光心的连线为坐标系的 x 轴；将左相机多层
折射坐标系的 z 轴与左多透坐标系的 x 轴进行叉乘作为坐标系的 y 轴；最后，将
x 轴与 y 轴的叉乘作为坐标系的 z 轴。其中，左相机多层折射坐标系与左多透坐
标系之间关系可表示为：

 PrL  r RMpL L
PMp  r tMp
L

r L
 RMp  [ xMp , n c  xMp , xMp   n c  xMp ]
L L

 （5-30）
 tMp  [0, 0, 0]T
r L

 zrL  [0, 0, 1]T



对旋转矩阵 r RMp
L
的每个列向量进行单位化， xMp 为左右相机光心构成的单位

向量在左多层折射坐标系下的表示。
左多层平面界面折射坐标系转换到左多透平面坐标系的变换关系为：
L
PMp = Mp RrL PrL  Mp trL （5-31）

右多透坐标系建立在右相机光心上，由右多层折射坐标系与左多层折射坐标
系之间的旋转矩阵 L RR ，可得右多层折射坐标系与右多透坐标系的关系为：

R
PMp = Mp RrL PrL  R RL  PrR （5-32）

5.4.2.2 立体视觉下图像转换

空气中的双目立体匹配符合极线约束，即对于左相机上的任一像素，与其匹
配的像素必定位于右相机像平面极线上，因此，在进行双目立体匹配时，只需通
过求取双目的位姿关系，将左、右相机像平面校正到同一平面上且进行行对齐，
从而只需在一个维度中对像素进行行匹配搜索即可。然后，通过代价函数快速找
到匹配像素并得到视差图，最后通过三角公式实现对被测目标物的三维重建。类
似地，为了将水下双目立体视觉模型转换为满足极线约束的标准模型，需要获取
两个坐标系之间的位姿关系，以实现两个像平面上对应像素的行对齐。针对该问
题，本章分别建立以两个相机光心为原点的左、右多透平面折射成像坐标系，通
过求取其对应的位姿关系，将转换后的透视投影图像校正到规范的双目立体视觉
坐标系下，在此情况下，转换校正后的图像平面位于同一平面上，且实现了行对

91
上海大学博士学位论文

齐，然后只需要在一个维度中对像素进行匹配搜索即可。同样地，按照空气中像
素匹配步骤，即可完成对目标物的三维成像。转换示意图如图 5.20 所示。

图 5.20 图像转换示意图
Fig.5.20 Diagran of conversion relationship among images

对于水下鱼眼镜头双目立体视觉成像系统，本节建立一种立体视觉成像坐标
系，通过对两个视觉系统的相对位姿关系的求取，可将水下立体视觉成像转换为
满足极线约束的标准形式。为进行立体匹配，须分别求得在左、右多透坐标系下
的光线方向矩阵集合和交点位置集合。以左视觉系统为例，其多透成像模型对应
的光线方向矩阵集合和交点位置集合的公式推导如下：
（1）多层折射坐标系下光线与分界面交点和折射后光线方向的表示
由 5.4.1 小节知，对于左相机图像平面上任一像素点，可求得在多层折射坐

标系下，折射后反向传播的光线的方向 I r ' L ，以及光线与多层折射坐标系 xy 平

面的交点：

L ' L  R( s L , t L ,  L ,  ' L )  LL  R( s L , t L ,  L ,  ' L )  T (d 0 L )  Lr L

（5-33）
 (u ' L , v ' L , s ' L , t ' L )

光线与光学窗口分界面的交点为 C L  (u ' L , v ' L , d0 L ) ，折射后光线方向为：

( s ' L , t ' L ,1)

I r 'L  （5-34）
( s ' L ) 2  (t ' L ) 2  1

（2）左多透坐标系下光线与分界面交点与折射后光线方向的表示
L 1
根据旋转矩阵 Mp Rr L  ( r RMp ) ，将左多层折射坐标系下的光线与分界面交点

与折射后光线方向进行转换，得到在左多透坐标系下分界面交点与光线方向：

92
上海大学博士学位论文

CMp L  Mp
Rr LC L  (uMp L , vMp L , d Mp L )
（5-35）
I Mp L  Mp
Rr L I r ' L  ( sMp L , tMp L )

（3）根据左多透坐标系建立新的四维参数光线坐标系
建立的四维参数光线坐标系定义如下：uv 坐标系与左多透坐标系的 xy 平面
平行，且二者坐标系原点重合；与 uv 平面距离一个单位长度的平行平面定义为
st 平面，且 st 坐标系与 uv 坐标系平行。
光线在新的四维参数光线坐标系下表示为：

LLMp  uMp
L L
, vMp L
, sMp L
, tMp  （5-36）

（4）左多透坐标系下光线方向矩阵集合和交点位置集合表示

反向传播光线到达左多透坐标系 xy 平面时，其光线表达式为：

L'Mp
L
 T (d Mp L )  LLMp  uMp
'L 'L
, vMp L
, sMp L
, tMp  （5-37）

此时，光线方向仍然为 I Mp
L
，并由 I Mp
L
进行双线性插值获得光线方向矩阵集

合，根据 CMp
L
 (uMp
'L 'L
, vMp ,0) 获得交点位置集合。

同 理 ， 可 求 得 在 右 多 透 坐 标 系 下 ， 光 线 的 方 向 信 息 I Mp
R
及位置信息

R
CMp  (uMp
'R 'R
, vMp ,0) ，得到对应的光线方向矩阵集合和交点位置集合。

由左、右多透坐标系下对应的透视投影图像，本章直接利用空气中现有的
OpenCV 中 SGBM 算法[142,143]计算得到视差图，然后根据视差图确定左、右透视
投影图像上的对应像素点。

5.4.3 三维坐标计算

根据 CMp
L
和 CMp
R
，分别获得左、右图像每一条光线的位置信息，并保存于位

置图像 Pos_L 和 Pos_R 中。其中，交点位置集合数据是水下图像与光线方向矩阵

集合在像平面上 x 方向和 y 方向的偏差量。

假定左方向图像的某个像素点坐标  xl , yl  ，该坐标对应到视差图中坐标为

x
disp , ydisp  ，则左方向图像的像素点  xl , yl  、右方向图像的像素点  xr , yr  和视差

图可建立如下关系：

93
上海大学博士学位论文

 xr  xl  xdisp
 （5-38）
 y r  yl

由左、右方向图像的坐标  xl , yl  、  xr , yr  与像素数据可以得到左、右方向

矢量 l a 与 r a 。左位置图像  Pos _ L  中保存的是左多透折射坐标系下左相机的点

位置数据 l q ，右位置图像  Pos _ R  中保存的是右多透折射坐标系下右相机的点位

置数据 r q 。将右相机多透折射坐标系下的方向矢量 r a 和点位置 r q 转换到左相机

多透折射坐标系下：

 r a '  l R r ar
 （5-39）
 r q '  Rr  r q  tr
l l

由于左相机多透折射坐标系下点 P 同时在两条直线上，因此满足下述约束：
 l a   P  l q   0
 （5-40）
 l a '  P  r q '   0
使用反对称矩阵表示代替叉乘（即向量积），公式（5-40）可转化为如下形式：

 l a x .  P  l q   0

 （5-41）
 l a 'x .  P  r q '   0


  l a     l a  l q 
上式等价于：  P    ，最后，进行奇异值分解即可得到目标
 l a '   l a ' r q '
物三维点坐标 P。

5.4.4 实验

5.4.4.1 图像转换验证实验

为验证所建立体模型的准确性和所提转换模型的正确性，本小节通过以下的
实验和仿真进行验证。首先，分别对左、右鱼眼镜头相机分别进行系统参数和位
姿的标定，实验场景如图 5.21 所示。在空气中，使用封装后的两个鱼眼镜头相
机视觉系统分别对圆环标定板进行拍照。利用 5.3 小节提出的基于多频外差法对
得到的鱼眼镜头相机图像进行校正，并对 20 幅校正后的的图像进行标定，得到
两个相机的内参及其相对位姿关系 R,t。然后，将立体视觉系统和棋盘格标定板

94
上海大学博士学位论文

放入水池中进行水下标定，得到系统参数 n、d0。标定完成后，本章使用重投影
的方法分别对空气中及水下标定参数的准确性进行验证，校正前、后的水下图像
如图 5.22 所示，其中，在拍摄棋盘格时，因水面波动及反光引起图像上方的棋
盘格形状产生较大畸变，文中其他类似图像同理。结果表明，提出的方法能够对
水下鱼眼镜头相机图像进行校正，且使用多频外差方法校正后的鱼眼镜头相机图
像得到较高的重投影精度，标定结果如表 5.3 所示。

（a） （b）
图 5.21 系统标定场景：（a）空气中标定场景； （b）水下标定场景
Fig.5.21System calibration scenes. (a) Calibration scene in air. (b) Underwater calibration scene

（a） （b）
图 5.22 校正前后的水下鱼眼镜头相机图像：（a）水下原图像； （b）校正后水下图像
Fig.5.22 Distorted and Rectified underwater fisheye lens camera images. (a) Distorted image. (b)
Rectified image

95
上海大学博士学位论文

表 5.3 鱼眼镜头相机标定结果
Table 5.3 Calibration result of the fisheye lens cameras

标定参数 左鱼眼镜头相机 右鱼眼镜头相机

fx, fy 899.8527, 899.4518 894.0818, 893.7352
c x, c y 1173.6534, 728.5997 1179.7146, 722.0327
k1, k2 ,k3 -0.0075, 0.0067 -0.0018 -0.0076, 0.0077, -0.00403
p1, p2 -0.0009, -0.0003 -0.0007, -0.0003
平均重投影误差（空气） 0.12 pixels 0.14 pixels
R -0.00615, 0.36815, 0.02651
t -609.47138, -5.40511, 99.19282
n -0.02441 , -0.05959，0.99793 -0.02441 , -0.05959，0.99793
d0 16.81 20.27
μ0 1.333
平均重投影误差（水下） 0.26 pixels 0.24 pixels

根据建立的图像转化模型，将对应的一组校正后的水下图像转化为空气中拍
摄的等效图像，以验证所提方法的准确性，转化前、后的图像如图 5.23 所示。

（a） （b）

（c） （d）
图 5.23 校正后的一组水下鱼眼镜头相机图像和转换后等效的机图像：（a） （b）分别为校正
后的左、右水下鱼眼镜头相机图像； （c） （d）分别为转换后的左、右鱼眼镜头相机图像
Fig.5.23 The rectified images and the transformed equivalent images. (a) (b)The left and right
rectified underwater fisheye lens images. (c) The left and right equivalent images transformed by
the image conversion model in air.

96
上海大学博士学位论文

由折射原理知，当水下图像转换为空气中的图像后，转化后的图像在整个视
野中所占的比例因折射而变小。此外，当从空气中观察水下物体时，图像整体向
外弯曲。由图 5.23 可以看出，实验结果与实际相符合，说明提出的图像转化成
像模型的合理性。
为进一步验证所提方法的准确性，对转换前后的水下棋盘格图像的角点坐标
进行提取并作误差对比，结果如图 5.24 所示。由结果知，转换前后角点坐标的
最大误差小于 2 pixels，较小的误差验证了所提转换方法的可行性。

图 5.24 转换前后的水下棋盘格图像的角点坐标误差
Fig.5.24 Pixels’ errors of the corners between the rectified underwater and the direction images

其次，根据标定所得左右相机的内外参矩阵，对转换后的图像进行立体校正
以及行匹配，行匹配结果如图 5.25 所示。行立体匹配的误差如图 5.26 所示，较
低的行匹配平均误差表明所提方法的准确性。

图 5.25 行匹配
Fig.5.25 Row matching

97
上海大学博士学位论文

图 5.26 行立体匹配误差
Fig.5.26 Errors of the rows stereo matching

最后，通过对棋盘格角点坐标的三维重建进一步验证所提方法的准确性与可
行性。图 5.27 为校正后的水下棋盘格鱼眼镜头相机图像和转化后的图像，并对
两幅图像对应的角点分别标记 A、B、C 和 D。以棋盘格标准尺寸作为真实值，
比较真实值、校正后的棋盘格角点三维重建坐标实际测量尺寸以及经图像转化后
得到角点三维重建坐标实际测量尺寸三者的测量结果，具体数据如表 5.4 所示。

（a） （b）
图 5.27 校正后和转化后的水下鱼眼镜头相机棋盘格图像角点测距： （a）校正后的水下鱼眼
镜头相机棋盘格图像角点测距； （b）转化后的水下鱼眼镜头相机棋盘格图像角点测距
Fig.5.27 The marked corners on the corrected underwater fisheye lens image and the converted
image. (a) Corners on the corrected underwater fisheye lens image. (b) Corners on the
converted fisheye lens image

98
上海大学博士学位论文

表 5.4 棋盘格角点长度测量/mm
Table 5.4 Measurement results between checkerboard corners/mm

角点 角点坐标 测量长度 实际长度 误差

A1 -83.5327,-135.396,1059.66
校正后的 314.7 315 0.1%
B1 221.26,-146.796,1137.13
水下棋盘
C1 -14.6874,-103.59,1077.83
格图像 210.2 210 0.1%
D1 -8.3494,106.911,1084.89
转化后的 A2 107.079,-134.84,1026.88
313.6 315 0.4%
水下棋盘 B2 419.431,-145.372,1052.79
格图像 C2 177.263,-102.237,1032.58
208.6 210 0.7%
D2 183.514,106.129,1039.87

由 A、B 两角点间距离测量值举例分析知，其真实值大小为 315mm，校正后

的棋盘格角点三维重建坐标间测量值为 314.7mm，经透视投影转化后得到角点三
维重建坐标间测量值为 313.6mm。结果表明，测量距离为 1m 左右时，在校正后
的水下图像和转换后的透视投影图像中，二者对应角点坐标间距离误差为 0.4%，
实验所得测量精度较传统方法有大幅度的提高。实验结果验证了所提方法的正确
性，为空气中现有方法应用于水下物体的三维重建提供了理论依据，具有一定的
参考应用价值。

5.4.4.2 三维重建实验

为验证系统对水下目标物的观测效果，系统在水池中开展大场景验证实验，
实验场景如图 5.28 所示。水池底部放置 12 个相同规格的待测陶瓷盘，且陶瓷盘
尽可能分散放置在两个相机的共有视场中，以形成大视场的观测场景。具体实验
步骤如下所述：将样机密封壳体前端完全浸入水下，利用成像系统对目标物进行
拍摄，相机与被测目标的距离为 1m 左右，图 5.29 为同一时刻下左右相机拍摄的
目标物场景；利用提出的鱼眼镜头相机图像校正方法，对水下鱼眼镜头相机图像
分别进行校正，结果如图 5.30 所示；通过图像转换模型对校正后的水下图像进
行转换，得到等效的在空气中拍摄的图像，转换后的图像如图 5.31 所示；最后，
运用 5.4 小节提出的立体匹配方法，对校正后的图像进行像素点匹配，结合推导
的目标点三维坐标计算公式进行三维点云的计算，并将获取的点云数据导入到点
云分析软件 PolyWorks 中进行三维点云的展示，结果如图 5.32 所示。

99
上海大学博士学位论文

图 5.28 水下实验场景
Fig.5.28 Underwater experimental scene

（a） （b）
图 5.29 同一时刻下双目鱼眼镜头相机拍摄的目标场景：（a）左相机原图； （b）右相机原图
Fig.5.29 Target scene taken simultaneously by the binocular fisheye lens cameras. (a) Left image.
(b) Right image

（a） （b）
图 5.30 校正后的左、右水下鱼眼镜头相机图像： （a）校正后左相机图像；（b）校正后右相
机图像
Fig.5.30 A pair of underwater rectified images. (a) Left rectified image. (b) Right rectified image

100
上海大学博士学位论文

（a） （b）
图 5.31 转换后等效的左、右鱼眼镜头相机图像： （a）空气中拍摄的等效左相机图像；（b）
空气中拍摄的等效右相机图像
Fig.5.31 Equivalent images taken in air. (a) Equivalent left image. (b) Equivalent right image

（a） （b） （c）

图 5.32 场景中目标物三维点云图： （a）场景中目标物三维重建结果；（b）目标物侧面视角
点云图；（c）目标物放大后点云图
Fig.5.32 3D reconstruction images of ceramic discs. (a) 3D point cloud image. (b) Local view 3D
point cloud image of the targets. (c) Enlarged 3D point cloud image of cermic disc

由图 5.32（a）知，基于鱼眼镜头成像的双目相机共有视场内的目标物能够
被三维重建呈现，且陶瓷盘的外观形状可较好地呈现出来，具有较好的成像效果，
结果表明，研究的双目鱼眼镜头相机视觉系统具备水下大场景的三维成像观测能
力。另外，由点云图知，部分陶瓷盘的三维点云图中存在孔洞，造成此现象主要
由以下两方面原因引起：一是陶瓷盘表面上孔洞位置处存在弱纹理现象，不能进
行立体匹配；二是在拍摄过程中，孔洞位置处受强反射光线照射的作用，掩盖了
陶瓷盘表面实际的纹理特征信息，无法实现立体匹配。此外，靠近视场边缘的陶
瓷盘外形变化稍大，这与相机本身成像特性相符合，即图像畸变的大小与像素点

101
上海大学博士学位论文

位置有关，关于畸变中心点对称，图像的边缘点畸变较大。由图 5.32（b）和（c）
知，重建后的被测陶瓷盘三维点云致密均匀，且有较好的外观轮廓。
为进一步验证所提水下三维重建方法的测量精度，在 PolyWorks 软件中对重
建后陶瓷盘的直径进行测量，其中，被测各陶瓷盘的规格大小相同，直径实测值
均为 253.0mm，如图 5.33 所示。图 5.34 为目标物三维点云直径测量图和局部视
角点云图。本文以目标物实际值与实验测量值之间标准差为衡量标准，对单个目
标物直接多次测量结果的标准差进行计算，具体数据结果如表 5.5 所示。

图 5.33 被测陶瓷盘直径实测图 图 5.34 目标物直径三维点云测量图

Fig.5.32 Actual diameter of the measured Fig.5.33Measurement results of the measured
ceramic disc ceramic discs

表 5.5 单个被测陶瓷盘多次测量结果/mm
Table 5.5 Measurement results of the measured ceramic disc diameters/mm

序号 实验测量值 实测值 误差 标准差

1 258.7 5.7
2 254.7 1.7
3 249.0 6.0
4 256.3 3.3
5 254.7 1.7
253.0 3.8
6 253.8 0.8
7 255.1 2.1
8 258.6 5.6
9 255.4 2.4
10 257.4 4.4

由图 5.33 知，目标物拟合后的直径测量数据与实测值大小较为一致，且靠近
视场边缘的陶瓷盘直径略大，这与相机本身成像特性相符合，即图像畸变的大小
与像素点位置有关，且关于中心点对称，图像的边缘点畸变较大。此外，对目标
102
上海大学博士学位论文

物测量知，左、右两侧被测陶瓷盘边缘的距离为 1.345m，结合 0.618m 的系统基

线距离和 1m 的测量距离可得，在以多个陶瓷盘构成的视场角为 89o 的大场景实
验中，多位姿测量下目标物直径尺寸测量的标准差为 3.8mm，结果表明，在此视
场角下，被测目标物具有较好的测量精度。

5.5 本章小结

本章建立了水下鱼眼镜头相机成像模型，并结合多频外差技术标定了鱼眼镜
头相机成像的映射关系，加之系统参数的标定，二者共同实现了对水下鱼眼镜头
相机图像的校正。水下标定实验结果表明，校正后的水下鱼眼镜头相机图像平均
重投影误差为 0.26 像素，验证了所建水下鱼眼镜头相机视觉成像模型的正确性
和所提标定方法的可行性。提出了一种图像转化成像模型的方法，转化后的图像
结合现有空气中的立体匹配方法获得对应像素点，然后通过水下双目立体三维重
建方法实现对目标物的三维成像。以水下多个陶瓷盘构成的视场角为 89o 的大场
景实验中，重建后的陶瓷盘三维点云致密均匀，轮廓外观形状良好，经测量知，
单个陶瓷盘直径多次测量结果的标准差为 3.8mm，结果表明，研制的成像系统具
备水下大场景的三维成像观测能力，且有较好的测量精度。

103
上海大学博士学位论文

第六章 全文总结与展望

6.1 全文总结

双目立体视觉成像系统以其结构简单、成本低和效率高等特点在水下观测作
业中具有广阔的应用前景。然而，应用场合不同，对双目立体视觉成像系统的要
求也不同。在对海洋生物形态研究和水下考古成像等场合时，需要具有高精度测
量的水下目标原位观测成像系统。在对海底地形地貌观测和水下大型结构观测时，
成像系统的视场范围是一个重要考量指标，使得一次成像观测尽可能获得大的场
景范围。本文基于水下双目立体视觉成像原理，分别对面向水下目标原位测量和
面向水下大场景观测的双目立体视觉成像展开了深入研究，对影响水下成像和三
维重建的相关问题进行了分析，并开展关键技术方法的研究。本论文的主要研究
工作如下：
（一）针对水下目标原位观测应用需求，采用主动激光线扫描照射提高双目
立体视觉成像对应点匹配精度方法。然而，受水下成像和作业条件的影响，存在
像素匹配和动态测量误差的问题，为此，本文开展以下关键技术研究并取得创新
研究成果：
（1）基于双目立体视觉原理，采用四维参数的光线表示方法，建立了水下
双目立体视觉成像模型。采用激光线扫描光条作为像素匹配线索，及基于共面约
束的像素匹配算法，实现左、右两个相机的高精度像素匹配。实验室水池中对被
测标准球棒多次扫描重建拟合后，得到两靶球球心距的标准差为 2.3mm，南海深
海 1051m 处对被测标准球棒多次扫描重建拟合后，得到两靶球球心距的标准差
2.3mm。上述实验表明，研制的激光扫描双目立体视觉成像系统具有较高精度的
水下原位测量功能。相关工作发表在《仪器仪表学报》(2020, 41(06): 106-114.)
和 《 2019 2nd World Conference on Mechanical Engineering and Intelligent
Manufacturing》(2019: 776-778)；
（2）对于被测对象与测量系统之间的相对晃动，导致扫描后三维重建动态
误差问题，分析了引起测量动态误差的主要原因，提出一种误差补偿方法。实验
表明，补偿后的被测靶球球径标准差测量精度为 0.5mm，验证了所提补偿方法能

104
上海大学博士学位论文

够提高水下动态测量精度。相关工作发表在《Optical Engineering》（2019, 58(8):

084108）。
（二）针对水下大场景三维观测应用需求，采用鱼眼镜头作为水下双目立体
成像系统左右相机的成像物镜，以增大双目立体成像的视场范围。然而，受鱼眼
镜头相机图像畸变和水下双目立体视觉立体匹配不满足极线约束的影响，水下鱼
眼镜头相机图像校正和三维重建的问题制约着系统的三维成像，为此，本文开展
以下关键技术研究并取得创新研究成果：
（1）针对水下鱼眼镜头相机图像校正的问题，建立了水下鱼眼镜头相机多
层平面折射成像模型，结合多频外差技术，实现了对鱼眼镜头相机成像映射关系
的标定，加之对系统参数的标定，完成了对水下鱼眼镜头相机图像的校正。经实
验验证，研究的水下鱼眼镜头相机的平均重投影误差为 0.26 像素，验证了标定
方法的准确性。相关工作发表在《Measurement Science and Technology》（2020,
31(11): 115206）；
（2）提出了一种图像转化模型，通过该模型可将校正后的水下鱼眼镜头相
机图像转化为相应的空气中拍摄的图像，转换后的图像借助于空气中立体匹配算
法，实现对水下目标的三维重建。以水下多个陶瓷盘构成的视场角为 89o 的大场
景实验中，开展了目标物的三维重建实验，结果表明，研制的成像系统具备水下
大场景的三维成像观测能力，且有较好的测量精度。相关工作发表在《Optics
Communications》（2022, 511(15):127975）。

6.2 展望

本文对面向水下目标原位测量和面向水下大场景观测的双目立体视觉系统
进行了深入的理论研究和实验验证，取得了一定的研究成果。然而，本文的研究
工作仍有许多尚需完善和改进之处，以下两个方面值得进一步扩充和深入。
（1）对于研究的水下激光线扫描成像系统，在扫描成像作业过程中，通过
摆镜的转动改变激光条纹照射方向，完成对目标物的整体扫描。在此期间，系统
须耗费一定的时间拍摄获得目标物一系列的扫描图片。为此，可考虑将线激光照
明改为散斑激光照明，使得两个相机同时拍摄一组图片，便可实现对目标物的整
体拍摄。此外，可将左、右相机施行并行处理模式，即对两相机拍摄的图像同时

105
上海大学博士学位论文

进行水下增强处理工作，然后对基于单相机标定的数据对图像进行校正处理，提
高系统整体的运算速度。最后，处理后的数据导入核心处理单元实现图像的最终
立体匹配计算，达到实时动态处理效果。
（2）在水下鱼眼镜头双目立体视觉成像研究中，本文利用了自然光对目标
物的照明进行成像，当物体表面纹理信息不明显时，左右相机对应像素点的匹配
精度较低。因此，为提高双目的匹配精度，有必要引入相应的广角度主动结构光
源照射，以增加物体表面的纹理信息，但要解决广角度主动结构光源投射图像的
变形问题，也可以考虑分块投射的办法。

106
上海大学博士学位论文

参考文献
[1] S. Mark. Calibration techniques for accurate measurements by underwater camera

systems[J]. Sensors, 2015, 15(12): 30810-30826.

[2] B. Zhang, C. Lu, J. H Röning, et al. The study of calibration and epipolar geometry for

the stereo vision system built by fisheye lenses[C]. Intelligent Robots & Computer

Vision Xxxii: Algorithms & Techniques. International Society for Optics and Photonics,

2015, 9406: 94060M.

[3] A. Arfaoui, S. Thibault. Fisheye lens calibration using virtual grid[J]. Applied Optics,

2013, 52(12): 2577-2583.

[4] G. Zhao, W. Chen, S. Yin, et al. Research on underwater scattering acoustic

characteristics of corner reflector[C]. 2017 10th International Congress on Image and

Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). IEEE, 2017:

1-5.

[5] 王玉明. 水下低频声信号的激光探测及波的衰减[D]. 西安：陕西师范大学，2013.

[6] 孙飞飞. 激光水下散射对图像清晰度的影响[D]. 青岛：中国海洋大学，2007.

[7] F. Liu, Y. Wei, P. Han, et al. Polarization-based exploration for clear underwater vision

in natural illumination[J]. Optics Express, 2019, 27(3): 3629-3641.

[8] 韩捷飞. 便携式水下连续光成像系统设计及成像质量增强技术研究[D]. 武汉：华

中科技大学，2016.

[9] 刘博闻. 基于单目视觉的水下线结构光测量技术研究[D]. 青岛：中国海洋大学，

2014.

[10] X. Bai, M. Hu, T. Gang, et al. An ultrasonic sensor composed of a fiber bragg grating

with an air bubble for underwater object detection[J]. Optics & Laser Technology, 2019,

112: 467-472.

[11] Z. L. Cao, Z. H. Yan, H. Wang. Summary of binocular stereo vision matching

technology[J]. Journal of Chongqing University of Technology(Natural Science), 2015,

29(2): 70-75.

[12] L. Yang, B. Wang, R. Zhang, et al. Analysis on location accuracy for the binocular

stereo vision system[J]. IEEE Photonics Journal, 2017, 10(1): 1-16.

107
上海大学博士学位论文

[13] Z. Jia, J. Yang, W. Liu, et al. Improved camera calibration method based on

perpendicularity compensation for binocular stereo vision measurement system[J].

Optics Express, 2015, 23(12): 15205-15223.

[14] 李永怀，冯其波. 光学三维轮廓测量技术进展 [J]. 激光与红外，2005, 33(3):

143-147.

[15] F. Da, S. Gai. Flexible three-dimensional measurement technique based on a digital

light processing projector[J]. Applied Opitcs, 2008, 47(3): 377-385.

[16] 张广军. 视觉测量[M]. 北京：科学出版社，2008.

[17] S. Zhang. Recent progresses on real-time 3D shape measurement using digital fringe

projection techniques[J]. Optics and Lasers in Engineering, 2010, 48: 149-158.

[18] Y. Sun, H. Tu, S. You, et al. Detection of weak near-infrared optical imaging signals

under ambient light by optical parametric amplification[J]. Optics Letters, 2019, 44(17):

4391-4394.

[19] 丁莹,范静涛,宋天喻.双目立体视觉检测系统正向最优化设计方法研究[J].仪器仪

表学报,2016,37(03):650-657.

[20] J. Sun, H. Ma, D. Zeng. Three-dimensional infrared imaging method based on

binocular stereo vision[J]. Optical Engineering, 2015, 54(10):103-111.

[21] S. Negahdaripour, P. Firoozfam. An ROV stereovision system for ship-hull

inspection[J]. IEEE Journal of oceanic engineering, 2006, 31(3): 551-564.

[22] 王晓娟. AUV 双目视觉导引技术的研究[D]. 哈尔滨: 哈尔滨工程大学, 2008.

[23] 李煊, 张铭钧. 水下双目视觉系统中的目标分割和目标定位[J]. 华中科技大学学

报(自然科学版), 2017, 45(12):53-59.

[24] A. Sarafraz, S. Negahdaripour, Y. Y. Schechner. Performance assessment in solving the

correspondence problem in underwater stereo imagery[C]. OCEANS 2010 MTS/IEEE

SEATTLE. IEEE, 2010: 1-7.

[25] 白继嵩. 水下图像处理及目标分类关键技术研究[D]. 哈尔滨：哈尔滨工程大学，

2017.

[26] 王玲玲. 基于双目立体视觉的水下三维重建[D]. 浙江：浙江大学，2011.

[27] 孙键.信息化测绘与数据采集在“南海Ⅰ号”沉船考古的应用[J]. 中国文化遗产，

2019(05): 13-22.
108
上海大学博士学位论文

[28] A. Rowlands, A. Sarris. Detection of exposed and subsurface archaeological remains

using multi-sensor remote sensing[J]. Journal of Archaeological Science, 2007,

34(5):795-803.

[29] N. Gawlik. 3D modelling of underwater archaeological artefacts[D]. Institutt for bygg,

anlegg og transport, 2014.

[30] P. Drap, J. Seinturie, B. Hijazi, et al. The ROV 3D project: Deep-Sea underwater survey

using photogrammetry: Applications for underwater archaeology[J]. Journal on

Computing & Cultural Heritage, 2015, 8(4): 1-24.

[31] 肖心远，石永华，李怀俊. 基于双目视觉的水下对接焊缝跟踪机器人位姿调节[J].

热加工工艺，2018, 47(01): 224-227.

[32] 李盛前. 基于视觉技术的水下焊接机器人系统研究[D]. 广州：华南理工大学，2016.

[33] 李浩. 基于视觉的核电站水下焊接机器人焊缝识别与路径跟踪[D]. 哈尔滨：哈尔

滨工业大学，2018.

[34] X. Wu, N. Tang, B. Liu, et al. A novel high precise laser 3D profile scanning method

with flexible calibration[J]. Optics and Lasers in Engineering, 2020, 132: 105938.

[35] 詹坤烽，陈文建，李武森等. 线激光三维场景重建系统及误差分析[J]. 中国激光，

2018, 45(12): 173-182.

[36] Jacek, Piskozub, David, et al. Effective scattering phase functions for the multiple

scattering regime[J]. Optics Express, 2011, 19(5): 4786-4794.

[37] S. Choi, P. Kim, R. Boutilier, et al. Development of a high speed laser scanning

confocal microscope with an acquisition rate up to 200 frames per second[J]. Optics

Express, 2013, 21(20): 23611-23618.

[38] 李小路，曾晶晶，王皓等. 三维扫描激光雷达系统设计及实时成像技术[J]. 红外与

激光工程，2019, 48(05): 35-42.

[39] T. Luczynski, M. Pfingsthorn, A. Birk. The Pinax-model for accurate and efficient

refraction correction of underwater cameras in flat-pane housings[J]. Ocean

Engineering, 2017, 133(MAR.15): 9-22.

[40] L. Meng, T. Hirakuma, S. Oyanagi. The Development of underwater-drone equipped

with 360-degree panorama camera in opensource hardware[J]. Procedia Computer

Science, 2018, 129: 438-442.

109
上海大学博士学位论文

[41] 宫垠. 基于线形激光水下地形扫描系统研究[D]. 哈尔滨：哈尔滨工程大学，2018.

[42] E. Berrocal, D. L. Sedarsky, M. E. Paciaroni, et al. Laser light scattering in turbid media

Part I: Experimental and simulated results for the spatial intensity distribution[J].

Optics Express, 2007, 15(17): 10649-10665.

[43] E. Berrocal, D. L. Sedarsky, M. E. Paciaroni, et al. Laser light scattering in turbid media

Part II: Spatial and temporal analysis of individual scattering orders via Monte Carlo

simulation[J]. Optics Express, 2009, 17(16): 13792-13809.

[44] M. Imaki, H. Ochimizu, H. Tsuji, et al. Underwater three-dimensional imaging laser

sensor with 120-deg wide-scanning angle using the combination of a dome lens and

coaxial optics[J]. Optical Engineering, 2016, 56(3): 031212.

[45] 袁婷. 激光水下成像系统研究[D]. 长春：长春理工大学，2013.

[46] 张同伟，唐嘉陵，李正光等.大深度近海底精细地形地貌探测技术[J]. 海洋测绘，

2018, 38(05): 20-24.

[47] 姜洋，全向前，杜杰等.全海深大视场超高清光学系统设计[J]. 光学精密工程，2019,

27(11): 2289-2295.

[48] 周天，欧阳永忠，李海森．浅水多波束测深声纳关键技术剖析[J]．海洋测绘，2016,

36(3): 1-6．

[49] Hurtós N, Palomeras N, Carrera A, et al. Autonomous detection, following and

mapping of an underwater chain using sonar[J]. Ocean Engineering, 2017, 130: 336–

350.

[50] B. Wilburn, N. Joshi, V. Vaish, et al. High performance imaging using large camera

arrays[J]. ACM SIGGRAPH Papers, 2005, 24: 765–776.

[51] G. Carles, J. Downing, A. R. Harvey. Super-resolution imaging using a camera array[J].

Optics letters, 2014, 39(7): 1889-1892.

[52] C. Liu, C. F. Wang, Y. J. Xu, et al. Short-working-distanceoptical imaging system and

method for surface detection of underwater structures[J]. Science China (Technological

Sciences)，2018, 61 (5): 774–781.

[53] 李旭. 40 相机阵列的水下结构表观观测系统的实现与应用[D]. 南京：东南大学，

2018.

[54] 曹易辉. 水下微光成像镜头的设计和研究[D]. 西安：西安工业大学，2013.

110
上海大学博士学位论文

[55] 杜柯，程雪岷，郝群. 深海探测变焦光学系统的设计[J]. 激光与光电子学进展，2013,

50(09): 151-157.

[56] V. Kakani, H. Kim, J. Lee, et al. Automatic distortion rectification of wide-Angle

images using outlier refinement for streamlining vision tasks[J]. Sensors (Basel,

Switzerland), 2020, 20(3): 894.

[57] X. Yang, X. Gao, B. Song, et al. ASI aurora search: an attempt of intelligent image

processing for circular fisheye lens[J]. Optics Express, 2018, 26(7): 7985-8000.

[58] H. Kim, J. Jung, J. Paik. Fisheye lens camera based surveillance system for wide field

of view monitoring[J]. Optik - International Journal for Light and Electron Optics, 2016,

127(14): 5636-5646.

[59] D. Kim, J. Park, J. Paik. Extended fisheye lens model for practical geometric correction

and image enhancement[J]. Optics letters, 2014, 39(21): 6261-6264.

[60] X. Li, Y. Pi, Y. Jia, et al. Fisheye image rectification using spherical and digital

distortion models[C]. MIPPR 2017: Multispectral Image Acquisition, Processing, and

Analysis. International Society for Optics and Photonics, 2018, 10607: 106070G.

[61] L. Chen, Y. Li. A state-of-art method for solar irradiance forecast via using fisheye

lens[J]. International Journal of Low-Carbon Technologies, 2020, 16(2): 555-569.

[62] K. Kanatani. Calibration of ultra-wide fisheye lens cameras by eigenvalue

minimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,

2013, 35(4): 813-822.

[63] B. Chen, B. Pan. Calibration-free single camera stereo-digital image correlation for

small-scale underwater deformation measurement[J]. Optics express, 2019, 27(8):

10509-10523.

[64] F. Giambruno, C. Radier, G. Rey, et al. Design of a 10 PW (150 J/15 fs) peak power

laser system with Ti: sapphire medium through spectral control[J]. Applied optics, 2011,

50(17): 2617-2621.

[65] S. K. Chi, Z. X. Xie, W.Z. Chen. A laser line auto-scanning system for underwater 3D

reconstruction[J]. Sensors, 2016, 16(9): 1534.

[66] 王宗义. 线结构光视觉传感器与水下三维探测[D]. 哈尔滨：哈尔滨工程大学，2005.

[67] S. Achar, S. G. Narasimhan. Multi focus structured light for recovering scene shape and
111
上海大学博士学位论文

global illumination[J]. European Conference on Computer Vision. 2014,8689: 205-219.

[68] 翼光强. 基于线结构光扫描的水下三维重建技术[D]. 青岛：中国海洋大学，2013.

[69] 解则晓，李绪勇，辛少辉等.水下线结构光自扫描三维测量技术[J]. 中国激光，2010,

37(08): 2010-2014.

[70] C. Roman, G. Inglis, J. Rutter. Application of structured light imaging for high

resolution mapping of underwater archaeological sites[C]. OCEANS'10 IEEE

SYDNEY. IEEE, 2010.

[71] Y. Yang , B. Zheng, H.Y. Zheng, et al. 3D reconstruction for underwater laser line

scanning[C]. OCEANS - Bergen, 2013 MTS/IEEE. IEEE, 2013.

[72] 张强，董玉，李海滨等. 非平行双目视觉系统水下成像的极线约束模型[J]. 光学学

报，2016, 36(03): 141-147.

[73] 解则晓,李俊朋, 迟书凯. 基于线结构光的水下双目测量方法[J]. 中国激光, 2020,

v.47; No. 521(05):439-448.

[74] K. D. Moore. Intercalibration method for underwater three-dimensional mapping laser

line scan systems[J]. Applied Optics, 2001, 40(33): 5991-6004.

[75] D. Cebrian, V. J. Ortega. Low cost 3D underwater surface reconstruction technique by

image processing[J]. Ocean Engineering, 2016, 113(Feb.1): 24-33.

[76] 崔子浩. 基于线扫描的海洋目标成像激光雷达系统研究[D]. 哈尔滨：哈尔滨工业

大学，2020.

[77] A. Filisetti, A. Marouchos, A. Martini, T. Martin and S. Collings, "Developments and

applications of underwater LiDAR systems in support of marine science," OCEANS

2018 MTS/IEEE Charleston, Charleston, SC, 2018, pp. 1-10.

[78] 郭继平，彭翔，刘晓利等. 条纹边界编码的动态 3D 重建及流水建模[J]. 光学学报，

2010, 30(10): 2884-2890.

[79] 王军，胡永刚，韩崇昭.被动式光学运动捕捉系统丢点检测与补偿[J]. 系统工程与

电子技术，2012, 34(11): 2374-2378.

[80] 黄康为. 基于机器视觉的水下动态鱼体尺寸测量方法研究与实现[D].浙江大学,

2021.

[81] M. Bleier, A. Nüchter. Low-cost 3D laser scanning in air or water using self-calibrating

structured light[J]. ISPRS - International Archives of the Photogrammetry, Remote

112
上海大学博士学位论文

Sensing and Spatial Information Sciences, 2017, XLII-2/W3:105-112.

[82] A. Yamashita, R. Kawanishi, T. Koketsu, et al. Underwater sensing with

omni-directional stereo camera[C]. 2011 IEEE International Conference on Computer

Vision Workshops (ICCV Workshops). IEEE, 2011: 304-311.

[83] Kawahara R, Nobuhara S, Matsuyama T. Dynamic 3D capture of swimming fish by

underwater active stereo[J].Methods in Oceanography,2016,17:118-137.

[84] G. Tong , C. Xue , Y. Ning. A spherical model based keypoint descriptor and matching

algorithm for omnidirectional images[J]. Advances in Mechanical Engineering,

2014,(2014-4-7), 2014, 2014(2):1-7.

[85] T. Naruse, T. Kaneko, A. Yamashita, et al. 3-D measurement of objects inwater using

fish-eye stereo camera[C]. 2012 19th IEEE International Conference on Image

Processing. IEEE, 2012: 2773-2776.

[86] Y. Li, Y. Zhang, H. Li, et al. Epipolar geometry and stereo matching algorithm for

underwater fish-eye images[J]. International Journal of Advanced Robotic Systems,

2018, 15(2): 1729881418764715.

[87] A. Duda, T. Kwasnitschka, J. Albiez, et al. Self-referenced laser system for optical 3D

seafloor mapping[C]. Oceans. IEEE, 2016: 1-6.

[88] 范伟. 基于水下鱼眼图像的对极几何及立体匹配算法研究[D]. 秦皇岛：燕山大学，

2020.

[89] 宋涛. 基于鱼眼镜头的立体视觉系统研究[D]. 秦皇岛：燕山大学，2017.

[90] D. Marr. Vision: A computational investigation into the human representation and

processing of visual information[J]. The Quarterly Review of Biology, 1983, 58(2).

[91] E. H. Adelson, J. R. Bergen. The plenoptic function and the elements of early vision[M].

Vision and Modeling Group, Media Laboratory, Massachusetts Institute of Technology,

1991.

[92] C. Zhang, X. Zhang, Y.K Zhu, et al. Model and calibration of underwater stereo vision

based on the light field[J]. Measurement Science and Technology, 2018, 29(10):

105402.

[93] Z. Zhang. A flexible new technique for camera calibration[J]. IEEE Transactions on

Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

113
上海大学博士学位论文

[94] Y. J. Shen, X. Zhang, W. Cheng, et al. Quasi-eccentricity error modeling and

compensation in vision metrology[J]. Measurement Science and Technology, 2018,

29(4): 045006.

[95] 王永鑫. 水下光学图像清晰化方法及关键技术研究[D]. 哈尔滨：哈尔滨工程大学，

2019.

[96] 胡鑫. 蓝绿激光水下传输特性仿真及实验研究[D]. 南京：南京理工大学，2016.

[97] P. Han , F. Liu , K. Yang, et al. Active underwater descattering and image recovery[J].

Applied Optics, 2017, 56(23):6631-6638.

[98] 邓 翔 宇 , 王 惠 刚 , 张 永 庆 . 基 于 主 动 光 照 的 深 海 图 像 增 强 算 [J]. 光 子 学

报,2020,49(03):187-198.

[99] Y. T. Peng, P. C. Cosman. Underwater image restoration based on image blurriness and

light absorption[J]. Image Processing IEEE Transactions, 2017, 26(4): 1579-1594.

[100] 耿云飞,陈 曦,金文,等.海水折射率对差分激光三角法油膜厚度测量精度的影响

[J]. 中国激光, 2015, 42(4): 245-251.

[101] B. McGlamery. A computer model For underwater camera systems[P]. Other

Conferences, 1980, 208: 221-231.

[102] 孙传东，陈良益，高立民等. 水的光学特性及其对水下成像的影响[J]. 应用光学，

2000(04): 39-46.

[103] J. Y. Chang, Y. C. Chen. Underwater image enhancement by wavelength compensation

and dehazing[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1756-1769.

[104] A. Ghani. Underwater image quality enhancement through integrated color model with

Rayleigh distribution[J]. Applied Soft Computing, 2014, 27: 219–230.

[105] D. G. Kim, S. M. Kim. Single image-based enhancement techniques for underwater

optical imaging[J]. Journal of Ocean Engineering and Technology, 2020, 34(6):

442-453.

[106] 侯国家. 水下图像增强与目标识别算法研究[D]. 青岛：中国海洋大学，2015.

[107] 白继嵩. 水下图像处理及目标分类关键技术研究[D]. 哈尔滨：哈尔滨工程大学，

2017.

[108] 穆志海. 水下小目标探测技术研究[D]. 哈尔滨：哈尔滨工程大学，2012.

[109] 谭亚运. 水下脉冲激光近程周向扫描探测技术研究[D]. 南京：南京理工大学，2017.

114
上海大学博士学位论文

[110] 周敏飞. 低照度图像增强与车辆识别技术研究[D]. 上海：东华大学，2020.

[111] 张永萍. 基于光照过强过弱条件下的图像增强研究[D]. 苏州：苏州大学，2017.

[112] Q. Wu, Z. Li, S. Zhu, et al. Nonlinear intensity measurement for multi-source images

based on structural similarity[J]. Measurement, 2021, 179: 109474.

[113] S. Bhatia, V. K. Govindan. Combined linear and nonlinear image enhancement[J].

International Journal of Computer Science & Information Technolo, 2014, 5(3):

3370-3379.

[114] M.S. Hitam, W. Yussof, Awalludin E A, et al. Mixture contrast limited adaptive

histogram equalization for underwater image enhancement[C]. International

Conference on Computer Applications Technology. IEEE, 2013.

[115] H. Xu, G. Zhai, X. Wu, et al. Generalized equalization model for image enhancement[J].

Multimedia Transactions on, 2014, 16(1): 68-82.

[116] E. Trucco, A. T. Olmos-Antillon. Self-tuning underwater image restoration[J]. IEEE

Journal of Oceanic Engineering, 2006, 31: 511-519.

[117] S. Bazeille. Color-based underwater object recognition using water light attenuation [J].

Intelligent Service Robotics, 2012, 5(2): 109-118.

[118] N. Carlevaris-Bianco, A. Mohan, R.M. Eustice. Initial results in underwater single

image dehazing[C]. Oceans. IEEE, 2010.

[119] J. P. Queiroz-Neto, R. Carceroni, W. Barros, et al. Underwater stereo[C]. Proceedings.

17th Brazilian Symposium on Computer Graphics and Image Processing. IEEE, 2004:

170-177.

[120] E. Nascimento, M. Campos, W. Barros. Stereo based structure recovery of underwater

scenes from automatically restored images[C]. 2009 XXII Brazilian Symposium on

Computer Graphics and Image Processing. IEEE, 2009: 330-337.

[121] Q. IMRAN. 利用深度学习在眼底图像上诊断糖尿病性视网膜病变的算法研究[D].

青岛：山东大学，2020.

[122] K. M. He, J. Sun, X. Tang. Single image haze removal using dark channel prior[J].

Pattern Analysis and Machine Intelligence, IEEE Transactions on 2011, 33(12):

p.2341-2353.

[123] L. L. Xie, X. Zhang, D.W. TU, et al. Shake reduction method of underwater laser
115
上海大学博士学位论文

scanning system for high-precision measurement[J]. Optical Engineering, 2019, 58(8):

084108.

[124] 谢亮亮,屠大维,张旭,肖国梁,金攀.深海原位激光扫描双目立体视觉成像系统[J].仪

器仪表学报, 2020, 41(06): 106-114.

[125] L. L. Xie, X. Zhang, D.W. Tu, Guoliang Xiao, Pan Jin, Can Zhang. Shake reduction

method of underwater laser scanning system for high-precision measurement[J].

Optical Engineering, 2019, 58(8): 084108.

[126] F. Da, S, Gai. Flexible three-dimensional measurement technique based on a digital

light processing projector[J]. Applied Opitcs, 2008, 47(3): 377-385.

[127] C. Q. He. Binocular structured light three-dimensional reconstruction based on

multi-frequency heterodyne method[D]. Chongqing University,2018.

[128] Y. N. Huang, et al. Phase rectification and matching based on multi-frequency

heterodyne method[J]. Journal of Applied Optics, 2014, 35(2).

[129] 达飞鹏，盖绍彦. 光栅投影三维精密测量[M]. 北京：科学出版社，2011.

[130] D. Zheng, F. Da. Phase coding method for absolute phase retrieval with a large number

of codewords[J]. Optics Express, 2012, 20(22): 24139-24150.

[131] L. Rao, F. Da, W. Kong, et al. Flexible calibration method for telecentric fringe

projection profilometrysystems[J]. Optics Express. 2016, 24(2): 1222-1237.

[132] L. Song, Y. Chang, Z. Li, et al. Application of global phase filtering method in multi

frequency measurement.[J]. Optics Express, 2014, 22(11):13641-7.

[133] L.L Xie, X. Zhang, D.W Tu, et al. Calibration of underwater fisheye camera with

multi-frequency heterodyne technique based on light field [J]. Measurement Science

and Technology, 2020, 31(11): 115206.

[134] X. Liu, X. Peng, H. Chen, et al. Strategy for automatic and complete three-dimensional

optical digitization[J]. Optics Letters, 2012, 37(15): 3126-3128.

[135] X. Peng, X. Liu, Y. Yin, et al. Optical measurement network for large-scale and

shell-like objects[J]. Optics Letters, 2011, 36(2): 157-159.

[136] C. Zuo, S. Feng, L. Huang, et al. Phase shifting algorithms for fringe projection

profilometry: A review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.

116
上海大学博士学位论文

[137] C. Zuo, L. Huang, M. Zhang, et al. Temporal phase unwrapping algorithms for fringe

projection profilometry: A comparative review[J]. Optics and Lasers in Engineering.

2016, 85: 84–103.

[138] Z. Zhang, S. Huang, S. Meng, et al. A simple, flexible and automatic 3D calibration

method for a phase calculation-based fringe projection imaging system[J]. Optics

Express, 2013, 21(10): 12218-12227.

[139] H. Kawasaki, H. Nakai, H. Baba, et al. Calibration technique for underwater active

one-shot scanning system with static pattern projector and multiple cameras[C]. 2017

IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2017.

[140] J. Gedge, M. Gong, Y. Yang. Refractive epipolar geometry for underwater stereo

matching[C]. 2011 Canadian Conference on Computer and Robot Vision. IEEE, 2011:

146-152.

[141] L. L. Xie, X. Zhang, D. W. Tu. Underwater large field of view 3D imaging based on

fisheye lens [J]. Optics Communications, 2022, 511(15):127975.

[142] D. Wang, Y. J. Pang. Research on disparity map generation method of underwater target

based on the improved SIFT algorithm[J]. Applied Mechanics and Materials, 2015, 741:

701-704.

[143] 易靖宇. 基于双目视频采集的深度图像提取与分析[D]. 哈尔滨：哈尔滨工业大学，

2019.

117
 上海大学博士学位论文

作者在攻读博士学位期间公开发表的论文及授权发明专利
[1] Liangliang Xie, Xu Zhang*, Dawei Tu*.Underwater large field of view 3D imaging based on

fisheye lens[J]. Optics Communications, 2022, 511(15):127975.（SCI 源刊 IF2.310）

[2] Liangliang Xie, Xu Zhang*, Dawei Tu*, Chen Li, Guoliang Xiao, Can Zhang, Sufeng

Zhuang. Calibration of underwater fisheye camera with multi-frequency heterodyne technique

based on light field[J]. Measurement Science and Technology, 2020, 31(11): 115206.（SCI 源

刊 IF1.857）

[3] Liangliang Xie, Xu Zhang*, Dawei Tu*, Guoliang Xiao, Pan Jin, Can Zhang. Shake

reduction method of underwater laser scanning system for high-precision measurement[J].

Optical Engineering, 2019, 58(8): 084108.（SCI 源刊 IF1.113）

[4] Sufeng Zhuang, Xu Zhang*, Dawei Tu*, Can Zhang, Liangliang Xie. A standard expression

of underwater binocular vision for stereo matching[J]. Measurement Science and Technology,

2020.（SCI 源刊 IF1.857）

[5] Dawei Tu, Guoliang Xiao, Xu Zhang*, Liangliang Xie, Pan Jin, Can Zhang. Laser stripe

matching algorithm with coplanar constraint in underwater laser scanning systems[J]. Optical

Engineering, 2019, 58(11): 114108.（SCI 源刊 IF1.113）

[6] Liangliang Xie, Xu Zhang, Dawei Tu*, Guoliang Xiao. Deep Sea Laser Scanning System for

Underwater In-Situ Measurement[C]. 2019 2nd World Conference on Mechanical

Engineering and Intelligent Manufacturing (WCMEIM). IEEE, 2019: 776-778.（EI 收录）

[7] 谢亮亮,屠大维,张旭,肖国梁,金攀.深海原位激光扫描双目立体视觉成像系统[J]. 仪器仪

表学报, 2020, 41(06): 106-114.（EI 源刊）

[8] 姚钦舟,庄苏锋,屠大维,张旭,谢亮亮.水下透视投影图像非线性畸变校正方法[J]. 仪器仪

表学报, 2020, 41(02): 176-183.（EI 源刊）

[9] 屠大维,谢亮亮,张旭,周玉斌. 适合深海载人潜器搭载作业的深海原位观测三维相机固定

调节装置[P]. 中国发明专利（ZL 2018 1 0853179.3）

118
 上海大学博士学位论文

作者在攻读博士学位期间参与的项目

[1] 国家重点研发计划课题：激光高速线扫描 3D 生物测量相机（批准号：

2016YFC0302401）

119
上海大学博士学位论文

致 谢

历经五个春秋，博士学习生涯即将结束，一路走来，感慨颇多。有向往、有

迷茫、有放弃、有鼓励、有坚持、有曙光，也有最终的坚守。五年求学经历是痛

苦的，也是享受的，但更是一笔宝贵的人生财富。期间，不仅在学业上有所收获，

在做人做事上更为受益匪浅。当然，这离不开老师的教导，同学、家人和朋友的

陪伴和支持。在此，我向他们致以最真诚的感谢！

本文是在导师屠大维教授的悉心指导下完成的。特别感谢屠老师提供给我的

深造机会。屠老师认真负责的态度、严谨的科学研究方法、勤勉的工作作风以及

勇于创新、勇于开拓的精神是我永远学习的榜样。另外，感谢屠老师在学业和生
活中提供的帮助，使我能够以平和的心态和积极的态度面对日常的困难。再一次

致以最真诚的感谢！

此外，我要由衷地感谢张旭老师。张老师渊博的知识、严谨的科学态度和敏

锐的学术洞察力，令我诚心佩服和仰望。张老师尽管工作繁忙，但仍抽出时间给

予我科研上的指导和帮助，使我增长了学识，开阔了眼界，获益良多。在此，谨

向张老师致以深深的敬意和衷心的感谢！
感谢机器视觉与智能控制技术课题组的全体同学，这是一个朝气蓬勃、积极
乐观、团结互助和乐于分享的大家庭！感谢李晨博士师兄在科研上的指导和帮助，
感谢战茜师姐，王振友博士、庄苏锋博士和张璨博士，何平平、李锦波、肖国梁、
金攀、李大炜、司艳娇、姚钦舟等人在科研和生活中的支持和帮助。此外，还要
特别感谢杨洋博士、万翔博士和徐振博士在科研上的鼓励和生活中的分享。在此，
一并感谢！
感谢我的父母和家人给予我生活和精神上莫大的支持和鼓励！
感谢其他师长、亲朋好友对我的关心和鼓励！
感谢博士期间各种困难和坎坷对我的磨砺！
最后，感谢时代，感谢自己！

120