爱华网图像拼接技术调研——基本概念
本文的主要目标是希望形成应用于多图合成的视频安全监控领域，提出完整的技术方案流程。
本文作者的学习时间是从2013年的1月10日开始，所以很多内容是现学现用，所以肯定会有很多理解是错误的、不深刻的、浅薄的。后续慢慢补充。
学习的方法就是：从百度上找有关图像拼接的论文，主要是硕士论文，阅读，然后根据论文的介绍继续索引其他文献。累人。
根据到现在将近2天的学习，对图像拼接有初步了解，如果用到视频安全监控，要确保高清、镜头旋转等，并且视频流畅还有点难度，如果用FPGA实现，则FPGA的算法是比较复杂的，尤其是我这种半路出家的人，很多算法第一次听说的。
这儿OpenCV很不错，可以参考。
1图像拼接基本概念
图像拼接本质上是对待拼接图像的重叠部分进行图像配准和图像融合的过程。
²图像配准可以确定图像之间的变换关系。
²图像融合可以使合成图像实现自然过渡，最终实现无缝拼接。
图像拼接过程主要有以下5个步骤：
1.图像获取——包括利用相机获取图像，如果是视频类型，则是一个个图像帧格式，而视频的流畅性则是关系到整个图像拼接过程的速度；
2.图像预处理——去除噪声和图像畸变校正；
3.图像配准——图像配准就是把在不同时刻、不同视点、不同相机拍摄到的两幅或两幅以上的图像进行空间上的对齐，是图像拼接中的一个关键步骤；也是目前图像拼接研究领域的主要热点方向，提出了非常多的算法；
4.图像再投影——用配准参数将所有的图像投影到同一坐标系下，并合成为一幅渲染图像；
5.图像融合——为了改善拼接图像的视觉效果，需要对图像进行平滑处理，消除图像合成时在重叠区域上出现的拼缝和结构上的误配准，也是有很多算法的提出；
基本流程如下：
1.1图像预处理
分为校正和噪声抑制两个部分：
1.校正——根据图像失真原因，建立相应的数学模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过程是设计一个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最大程度地接近真实图象。
2.噪声——各种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看，其密度函数有高斯型、瑞利型，分别成为高斯噪声和瑞利噪声，又如频谱均匀分布的噪声称为白噪声等。处理方法：
①均值滤波——所谓均值滤波实际上就是用均值替代原图像中的各个像素值。均值滤波的方法是，对将处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来替代原像素的值。
②中值滤波——中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。它的核心算法是将模板中的数据进行排序，这样，如果一个亮点（暗点）的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中见位置上的值一般不是噪声点值，由此便可以达到抑制噪声的目的。
1.2图像配准
其实是四个要素的组合，即：
1.选定特征空间——特征空间是由参与匹配的图像特征构成。特征可以为图像的灰度特征，也可以是边界、轮廓、显著特征(如角点、线交叉点、高曲率点)、统计特征(如矩不变量、中心)、高层结构描述与句法描述等；这儿其实是定义了配准的空间范围；
2.相似性度量——评估待匹配特征之间的相似性，它通常定义为某种代价函数或者是距离函数；这儿是定义需要选定的某种算法；
3.搜索空间——待估计参数组成的空间就称为搜索空间。也就是说，搜索空间是指所有可能的变换组成的空间，这儿其实是定义了搜索算法的空间复杂度；
4.搜索策略——搜索策略是指用合适的方法在搜索空间中找出平移、旋转等变换参数的最优估计，使得相似性度量达到最大值，这儿其实是定义了搜索算法的时间复杂度；
1.2.1基于区域的配准方法
基于区域的配准方法——不检测图像中的特征，直接使用窗口或者整幅图像来进行配准。
从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过FFT变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。
总而言之，有很多不足，已经不是现在主流的研究方向。
评价：
基于区域的方法实现简单，应用范围较窄，它的局限性来源于它的基本思想。
²首先，它使用的矩形窗口只适用于配准平移变换的图像，如果图像有更复杂的变形，矩形窗口就不能覆盖参考图像和待匹配图像中的同一场景区域；
²另外，它依赖于窗口中的图像内容，当窗口中图像内容平滑而没有显著细节时，很容易引起与其他平滑区域的错误匹配。
²再次，在最优变换的搜索过程中往往需要巨大的运算量，且对噪声的影响和对比度的差异很敏感，鲁棒性不强。
1.2.2基于特征的配准方法
基于特征的图像配准方法有很多基本形式及其改进，其总体特点是：不直接利用图像像素值，而是通过像素值导出图像内容最抽象的描述和符号特征，并用此特征为匹配模板，通过二维 高斯模糊过滤，查找几幅待配准图像的灰度局部最大值点、边界边缘轮廓、边缘点、边缘线段、组织(纹理)结构、角、顶点、拐点、交叉点、线段、封闭曲线等低级对应特征点及利用特征图像关系图等高级特征，构造方程组，通过数值计算得到变换数来进行图像对齐，进而确定两者的匹配位置，实现特征点、特征线段等的拼接，并且可以提高计算速度。
基于特征的配准方法，一般分为四个步骤：
1.特征检测——从图像中检测出显著且独特的图像特征，包括闭合区域、直线段、边缘、轮廓、点。
2.特征匹配——相似性度量，确定图像之间特征的对应关系，又分为如下几小类：
①使用空域关系的方法
②使用不变描述符的方法、
③松弛方法、
④金字塔和小波的方法
3.变换模型的估计——变换函数选择和函数参数估计
4.图像变换和重采样——可以通过前向或后向的方式来实现，插值的方法有最近邻插值、双线性插值、双三次函数插值、二次样条插值、三次B样条插值、高阶B样条插值
评价：
基于特征的方法普遍适用于局部结构信息比灰度信息更显著的情况，能够处理图像之间复杂变形的情况，不足之处是特征检测困难且不稳定，最关键的一点是需要有一种判别力很强的、鲁棒的且对图像之间变化保持不变的特征匹配算法。
1.3图像再投影
基本方法：需要选择一个合成面，如果仅仅是只有几张图像进行拼接，一个普遍的方法是选择其中的一幅图像作为参考图像，然后把所有其他的图像都进行扭曲变形到参考图像的坐标系上去，这样合成的结果称为平面全景图，这是一个透视投影变换。
为了减少投影失真，平面投影à圆柱面投影à球面投影à立方体投影
1.4图像融合技术
融合策略的选择应当满足两方面的要求：
1.拼合边界过渡应平滑，消除拼合接缝实现无缝拼接；
2.尽量保证不因拼合处理而损失原始图像的信息。
图像融合可分为三类：像素级融合、特征级融合和决策级融合。
1.像素级(数据级)融合是在图像严格配准的条件下，直接进行像素关联融合处理；像素级融合是最基本的处理手段，也是研究最多的一种，目前主要有以下几种方法：
①平均值法
②加权平均法
③中值滤波法
④多分辨率技术
2.特征级融合是在像素级融合的基础上，使用模式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果；
3.决策级融合主要是基于认知模型的方法，采用大型数据库和专家决策系统，模拟人的分析、推理过程，以增加判决的智能化和可靠性。
参考资料
1.硕士论文《PJ_001_图像拼接技术研究》
2.硕士论文《PJ_002_基于Levenberg-Marquardt算法图像拼接研究》
3.硕士论文《PJ_003_图像拼接技术研究》
4.网页：http://xgli0910.blog.163.com/blog/static/46962168200962583143227/
5.科技论文《PJ_200_基于角点特征的KLT跟踪全景图像拼接算法》
6.本科论文《PJ_100_图像边缘检测与提取算法的比较》
7.http://www.cnblogs.com/xrwang/archive/2010/03/03/ImageFeatureDetection.html
8.http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html
9.http://blog.163.com/pz124578@126/blog/static/23522694201222710047109/
10.http://blog.csdn.net/xuyuhua1985/article/details/6371751
11.http://www.openhw.org/project/index.php?act=view&id=1851
12.硕士论文《PJ_015_多图像拼接算法研究》
13.硕士论文《PJ_010_基于特征点图像拼接的配准算法研究》
14.http://blog.csdn.net/abcjennifer?viewmode=contents
