背景介绍
图像拼接是一项应用广泛的图像处理技术。根据特征点的相互匹配，可以将多张小视角的图像拼接成为一张大视角的图像，在广角照片合成、卫星照片处理、医学图像处理等领域都有应用。早期的图像拼接主要是运用像素值匹配的方法。后来，人们分别在两幅图像中寻找拐点、边缘等稳定的特征，用特征匹配的方法拼接图像。本实验根据Matthew Brown (2005) 描述的方法，实现多张生活照的拼接。
特征点捕捉 (Interest Point Detection)
首先，拍摄两张场景有重合的照片。为了保证有足够多的公共特征点，照片的重合度应该保证在30%以上。将两张照片转换为灰度图像，对图像做σ=1的高斯模糊。在Matthew的文章中，他建立了一个图像金字塔，在不同尺度寻找Harris关键点。考虑到将要拼接的照片视野尺寸接近，故简化此步骤，仅在原图提取特征点。
接下来用sobel算子计算图像在x、y两个方向亮度的梯度，用σ=1.5的高斯函数对梯度做平滑处理，减小噪点对亮度的影响。很容易发现，若我们求一小块区域内亮度的累加值，在图像变化平缓的区域上下左右移动窗口累加值的变化并不明显；在物体的边缘，沿着边缘方向的变化也不明显；而在关键点附近，轻微的移动窗口都会强烈改变亮度的累加值，如图1所示。
亮度的变化值可以用下面的公式计算得到：
其中，w(x, y) 是高斯函数的权重，I(x, y)是该点亮度的梯度。
在计算时，上面的公式又可以近似为如下：
(2)通过比较矩阵
的特征值l1和l2，我们可以判断该点所处的状态。若l1>>l2或者l2<<l1，表示该点位于纵向或者横向的边缘；若l1和l2近似且值很小，表示该点位于平滑区域；若l1和l2近似但值很大，表示该点位于关键点。根据Harris and Stephens (1988) 的介绍，我们并不需要直接计算两个特征值，用R = Det(H)/Tr(H)2的值就可以反映两个特征值的比值，这样可以减少运算量。我们保留R > 2的点。除此之外，每个点的R和周围8邻域像素的R值比较，仅保留局部R值最大的点。最后，去除图片边界附近的关键点。
至此，我们在两幅图片分别得到了一组关键点，如图2所示。
自适应非极大值抑制 (Adaptive Non-Maximal Suppression)
由于上一步得到的关键点很多，直接计算会导致很大的运算量，也会增加误差。接下去就要去除其中绝大部分的关键点，仅保留一些特征明显点，且让关键点在整幅图像内分布均匀。Matthew发明了adaptive non-maximal suppression (ANMS) 方法来择优选取特定数量的关键点。
ANMS的思想是有一个半径r，初始值为无限远。当r不断减小时，保留在半径r以内其它关键点R值均小于中心点R值的关键点，将其加入队列。队列内的关键点数达到预设值后停止搜索。
Xi是上一步得到的关键点的2维坐标，G是所有关键点的集合，c=0.9。
实际计算时，我们将上述过程相反。这里我设定每幅图像各提取500个关键点。首先找出整幅图片R值最大的关键点Rmax，加入队列，并且得到Rmax*0.9的值。遍历所有关键点，若该关键点xi的Ri > Rmax*0.9, 该点的半径设为无限远；若该关键点xi的Ri< Rmax*0.9，计算该点到离它最近的Rj>0.9R的点xi，记录两点间的距离ri。最后将所有r排序，找出r最大的500个点，如图3所示。
关键点的描述 (Feature Descriptor)
关键点的描述方法有很多种，包括局部梯度描述、尺度不变特征变换 (SIFT、SUFT) 等等。因为生活照的旋转角度通常不超过15°，所以这里不考虑关键点的旋转不变性。
对图像做适度的高斯模糊，以关键点为中心，取40x40像素的区域。将该区域降采样至8x8的大小，生成一个64维的向量。对向量做归一化处理。每个关键点都用一个64维的向量表示，于是每幅图像分别得到了一个500x64的特征矩阵。
关键点的匹配
首先，从两幅图片的500个特征点中筛选出配对的点。筛选的方法是先计算500个特征点两两之间的欧氏距离，按照距离由小到大排序。通常情况下选择距离最小的一对特征向量配对。Lowe（2004）认为，仅仅观察最小距离并不能有效筛选配对特征点，而用最小的距离和第二小的距离的比值可以很好的进行筛选。如图4所示， 使用距离的比值能够获得更高的true positive， 同时控制较低的false positive。我使用的阈值是r1/r2<0.5。经过筛选后的配对特征点 如图5所示
关键点的匹配使用Random Sample Consensus (RANSAC) 算法。以一幅图像为基准，每次从中随机选择8个点，在另一幅图像中找出配对的8个点。用8对点计算得到一个homography，将基准图中剩余的特征点按照homography变换投影到另一幅图像，统计配对点的个数。
重复上述步骤2000次，得到准确配对最多的一个homography。至此，两幅图像的投影变换关系已经找到。
新图像的合成
在做图像投影前，要先新建一个空白画布。比较投影后两幅图像的2维坐标的上下左右边界，选取各个方向边界的最大值作为新图像的尺寸。同时，计算得到两幅图像的交叉区域。
在两幅图像的交叉区域，按照cross dissolve的方法制作两块如图6所示的蒙版，3个通道的像素值再次区间内递减（递升）。
效果展示
下面展示几张照片拼接的效果图。
附Matlab代码：
本文转自：博客园 - zhyhooo ，转载此文目的在于传递更多信息，版权归原作者所有。