首页 行业资讯 宠物日常 宠物养护 宠物健康 宠物故事
您的当前位置:首页正文

基于特征点匹配的多视图像校正

2022-07-03 来源:画鸵萌宠网
第25卷第4期 液 晶 与 显 示 V01.25。NO.4 2010年8月 Chinese Journal Crystals and Displays Aug.,2010 文章编号:1007—2780(2010)04—0593—05 基于特征点匹配的多视图像校正 程明明,王 贺,安 亚J  , 张 洋,张兆杨 (上海大学通信与信息工程学院,上海 200072, E mai1:emm@shu.edu.en) 摘要:多视图像的校正是提高3DTV观看质量的关键步骤之一。现有的图像校正算法大多是双目或三目 相机校正,对于平行或弧形相机阵列的多视图像校正的研究较少,而且受相机标定参数和相机间距的影响较 大。文章提出了一种对未标定的多目相机图像进行校正的方法,通过寻找匹配特征点,依据匹配点垂直视差 的关系计算校正变换矩阵,用以对原图像进行校正变换。实验结果显示,图像间的垂直失配大为减少,校正 后的图像能够提供良好的立体视觉主观测试效果。 关键词:3DTV;图像校正;未标定图像;特征点匹配 中图分类号:TN27 文献标识码:A Multi—View Images Rectification Based on Feature Points Matching CHENG Ming—ming,WANG He,AN Ping ,ZHANG Yang,ZHANG Zhao—yang (School of Communication and Information Engineering,Shanghai University, Shanghai 200072,China,E-mail:cmm@shu.edu.cn) Abstract:The rectification of multi—view images is one of key techniques to improve the quality of 3DTV viewing.Most of the existing image rectification algorithms are for stereo or triple images,but fewer for images captured by parallel or arc multi—camera arrays,and subject to camera calibration parameters and camera spacing greatly.This paper presents an uncalibrated recti— fication algorithm for multi—view images captured by a multi—camera array.Without camera calibration,the rectification transformation matrix was calculated by searching for matched feature points and using the relationship of vertical parallax,and by which to rectify the original image.Experimental results show that the vertical mismatch between rectified images is greatly reduced,and the rectified images can provide good stereo vision of the subj ective test. Key words:3DTV;image rectification;un-calibrated image;feature points matching 一 地切换观看的视点和视向。这种多视点功能主要 — 口 源于其采集端应用多相机阵列,能采集到多个视 3DTV(Three Dimension Television) 是继 点的视频序列。 数字高清晰度电视之后的下一代电视技术,其特 相机阵列的形式可以分为多种,应用较多的 点是使人们在观看视频节目时具有立体感和浸沉 是平行相机阵列和弧形相机阵列。理想状态下, 感。3DTV还能够使得观看者在一定范围内自由 这两类阵列所拍摄的图像,各个视点之间应该只 收稿日期:2010—02—06;修订13期:2010—06—24 基金项目:国家自然科学基金(No.60832003);上海市教委重点项目(No.09ZZ90) 作者简介:程明明(1 984一),男,湖北黄梅人,硕士研究生,主要研究方向为多视点视频编码及图像校正。 *通讯联系人,E—mail:anping@shu.edu.cn 594 液 晶 与 显 示 第25卷 有均等的水平视差,而没有垂直视差。但是在实 景拍摄时,由于相机物理特性的差异以及手动设 置相机位置的误差,使得采集到的图像仍然存在 无垂直视差且水平视差均等。但在实际情况下, 人工摆放的相机阵列并不满足理想条件,存在相 机位置和方向的失准;此外,由于相机的物理特性 各异,所以即使正确摆放,也不能得到理想的图 像。以上这些原因导致了多视点图像间对应点位 垂直视差,严重影响了系统后端合成的立体图像 的质量[2]。因此,对采集到的多视点图像还须进 行图像校正,以减少垂直视差,为后端合成提供良 好条件。 置的垂直失配以及水平视差的不均匀,使得合成 的三维图像在显示时物体边缘模糊、立体效果差 并会使观看者有眩晕感。因此,在对多视点图像 进行立体视觉合成之前必须首先对其进行校正。 图像校正的一个重要目的就是减少图像间对应匹 配点的垂直视差,并使得图像间水平视差均匀 分布。 2.2校正变换矩阵 根据采集的视点数目可以将图像校正分为双 视几何校正、三视几何校正和多视几何校正3类。 近年来多视点图像校正技术得到了快速的发展, 已有多种校正方法,但大多是双目或三目校正方 法。如利用极线或单应性矩阵的双目校正方 法l2_4 ;Sun Chang—ruing在文献[ 中以三视张量 为基础,利用投影不变性提出的校正三目相机的 算法等。 对于由摄像机阵列拍摄的多视图像校正方面 的研究还比较少。如果将双目立体校正方法直接 扩展到多视点图像,因为没有同时考虑多个视点 对图像进行校正,就是计算图像中每个像素 在校正后图像中的新坐标的过程,可通过变换矩 阵来实现。假设原图像中的一点m,经过校正后 为 ,满足研 一Hm,则H为原图像的校正变换 矩阵。如果已知两幅图像一系列对应匹配点的坐 标,那么由线性或MLE(Maximum likelihood es— 的图像,没有统一的基准图像,所以校正效果不 佳,韩国的Yun-Suk Kang和Cheon Lee介绍了 一timate)非线性算法可得到两幅图像问的单应性 矩阵 引。 种平行相机多视点图像的校正方法 ],通过迭 代计算公共基线,将原本非共线分布的多相机光 心统一投影到一条公共基线上,解决了多视点图 为消除垂直视差,本文提出了一种计算图像 校正变换矩阵的方法。首先,选取两个邻近相机 像同时校正时基线不一致问题,整体上消除了多 的图像(图像1和2),以其中一相机的图像(图像 1)为基准(该图像不做校正),寻找其与邻近相机 视点图像间的垂直失配。相机阵列可以水平或弧 形放置,经研究实践证明,弧形摆放相机阵列拍摄 的图像立体视觉效果更好。因此,同年他们又提 出了一种几何补偿的弧形多相机阵列图像校正方 法 ],通过计算出理想相机的标定参数,然后利用 基于平面的单应性变换获得新相机图像。但是该 方法在相机间距较大的情况下,校正效果不佳;且 图像问的匹配特征点,如基准图像1的点(z。,Y ) 对应邻近图像2的点(z。,Y )。理想情况下,该两 点应无垂直视差,因此假设图像2对应图像1的 理想匹配点坐标为( , )。以此类推寻找一系 列匹配点,从而得到一系列理想匹配点。然后根 据图像2的特征点坐标和理想匹配点坐标可得到 图像2校正前后图像之间的单应性矩阵,即为图 像2的校正变换矩阵。 其校正准确度受标定参数影响较大,不能完全拟 合理想弧形。 为解决上述问题,本文提出了一种利用特征 点匹配的无需事先相机标定的校正方法,依据匹 假设两幅图像间的匹配点坐标分别为: f f } 『丑 勘 … ]和『z, X,2 … , ],前者为 L 1 y2 …3 J LY 1 2 … Y _J 配点垂直视差的关系计算校正变换矩阵,用以对 原图像进行校正变换,从而减少图像问的垂直失 基准图像的点,则得到后者校正前后理想的匹配关 配,校正后的图像可合成质量良好的立体视觉图。 系为:『z, z, …X,n]和『z z。…z ], L 1 2 … J L 1 … .J 2 未标定多视图像校正方法 2.1水平视差与垂直视差 由这一组理想匹配点,通过线性算法即可计算出 校正前后图像间点的匹配关系,即单应性矩阵日, 严”] ] 水平视差由相机间距及夹角决定,垂直视差 由光心位置的高低决定,因此理想情况下图像间 满足:JI f—J _.H,其中H为3×3的方阵。 1 l l 1 l 第4期 程明明,等:基于特征点匹配的多视图像校正 595 利用求得的H,对原图像每点的坐标进行变换,得 到其在校正后图像中对应的坐标,即完成图像的 3 实验结果分析 对校正效果的评价一般可采用下面几种方法: 一校正。假设原图像坐标为I l,则校正后的坐标 /yo r] o] 是极线几何关系,校正后图像间的极线应相互平 行;二是匹配点之间的垂直视差;三是评价函数[】。。。  为『L],且满足I1 ,I—I 。1.H。校正后图像中 后两种越小越好。其中评价函数定义如下:1  ll 1 I 没有坐标对应的像素值,可由其邻近像素值插值 产生。 2.3 校正过程 由于一次只能实现两幅图像的校正,因此对 于多视点图像,首先必须确定校正的顺序。本文 的测试序列为弧形摆放的8相机阵列获取。先以 相机5为基准,因为该相机位于场景中间,包括场 景大部分内容,由相机5得到相机4和6的校正 变换矩阵;再以校正后的相机4和6为基准,分别 得到相机3、2、7和8的校正变换矩阵;最后再以 校正后的相机2为基准得到相机1的校正变换矩 阵。这样就保证了所有的相机都是以相机5为基 准,光心高度都与相机5的一致,但间距仍保持不 变。如图1所示。 校正顺序确定后,就开始进行两两校正,首先 需要寻找两幅图像的匹配点。我们采用计算机视 觉领域中广泛使用的Harris算法来提取匹配点 坐标,因其计算简单、稳定性强 ]。采用此方法寻 找图1所示各相机对的匹配点(其中相机2,4和 6为其校正后的图像)。 图1校正顺序示意图 Fig.1 Rectification order diagram 得到相机图像对问的匹配点坐标后(本文提 取了8对匹配特征点坐标),由这些坐标进而确定 8对理想匹配点坐标,得到8对匹配关系。然后 采用文献 中的线性方法计算出单应性矩阵,也 即为待校正图像的校正变换矩阵。 最后用得到的校正变换矩阵,对原图像进行 图像变换就可获得校正后的图像。依据前面确定 的校正顺序依次对各图像进行校正,最终实现8 幅图像的校正。 1— f(H ,H )一 ,t >:l[(H:m:)F(H )]l (1) 式中F为理想基本矩阵,m 和m 为两图像的匹 配点,H 和H 分别为两图像的校正变换矩阵, 为匹配点数目。 本文先采用微软breakdancers序列的一组图 像作为测试图像,为2D弧形摆放的8个间距为2O cm的相机阵列。图2示出了校正后的外极线,可 见校正后图像的外极线平行,且对应点都在极线附 近。图中假设校正后的基本矩阵为理想值。 对每对图像都重新选取8对匹配点,校正前 后匹配点的平均垂直视差和评价函数变化如表1 2OO 4OO㈣8m1000 薰_薰200 4OO 6OO 800I ■ 2oo 6呻800l 2o11 gooir ̄{I 从左到右,从上到下依次为相机1~8 图2 Breakdancers序列校正后的外极线 Fig.2 Epipolar lines after rectification for test sequences 表l 测试序列校正前后垂直视差和评价函数的变化 Table 1 Verticat mismatch between before and after rec tification for test sequences 596 液 晶 与 显 示 第25卷 表2 自拍序列校正前后垂直视差和评价函数的变化 Table 2 Vertical mismatch between before and after rec— tification for self sequences 匹配点得到单应性矩阵采用的是线性算法,其准 确度要低于非线性算法。这些也是我们今后需要 进一步研究的内容。 此外,实验中还用6相机的弧形阵列实拍了 一组实验图像(以相机4为基准,图像分辨率为 100 200 300 400 500 600 100 200 300 400 500 600 640×480)。实验结果如图3和表2所示。由实 从左到右.从上到下依次为相机1-6 验结果可知,虽然相机1和2间的结果不是很理 图3 自拍序列校正后外极线 想,但整体效果明显改善。 Fig.3 Epipolar lines after rectification for self sequences 4 结 论 所示,可以看出校正后图像间垂直视差约平均减 提出了一种无相机标定的多视图像校正方 少l/2。 法,首先准确地寻找两幅图像问的匹配特征点,然 根据校正前后合成的立体视觉效果,可以看 后由匹配点坐标准确地计算出两幅图像间的单应 出校正后合成图像的画面更加清晰、立体感更强, 性矩阵,从而有效减少了校正后匹配点间的垂直 主观评价三维效果明显好于原图像。实验中也发 视差,校正后图像客观评价和主观合成效果都比 现有少量局部区域改善不明显,如最右边的人头 校正前有明显改善。如何进一步提高匹配点和单 部分。分析其原因主要是受以下两方面因素的影 应性矩阵的精确度、通过寻找更多的匹配特征点 响:一是采用整像素匹配的精度不够高和匹配点 以及采用更优的算法计算单应性矩阵是今后需要 的数量不够多,以及点位置选取不够均匀;二是由 进一步研究的问题。 参 考 文 献: [1]张兆杨,安平,刘苏醒.3D多视点立体显示及其关键技术EJ].电子器件,2008,31(1):302—307. [2]I in Guoyu,Chen Xu,Zhang Weigong.A robust epipolar rectification method of stereo pairsl-C]//2010 International Con— ference on Measuring Technology and Mechatronics Automation,Changsha,China:IEEE,2010:322—326. [3]Fusiello A,Trucco E,Verri A.A compact algorithm for rectification of stereo pairs[J].Machine Vision and Application,2000,12(1):1 6—22. [4]Zhang Z.A flexible new technique for camera calibration EJ].Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330—1334. [5]Sun Chang—ming.Uncalibrated three-view image rectification EJ].Image and Vision Computing,2003,2l(3): 259—269. [6]Kang Y S,Lee C,Ho Y S.An efficient rectification algorithm for multi—view images in parallel camera arrayCC]// 3D Conj,,fence:The True Vision—Capture,Transmission and Display Dl, 3D Video,Istanbul,Turkey:IEEE, 第4期 2008:6l一64. 程明明,等:基于特征点匹配的多视图像校正 597 [7]Kang Y S,Ho Y S.Geometrical compensation algorithm of multi—view image for arc multi—camera arrays[C311Pro— ceedings of the 9th Pacific Rim Conference on Multimedia,Tainan:LNCS,2008:543—552. [8]Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].London:Cambridge University Press,2003:237—360. [9]Guo Chenguang,Li Xianglong,Zhong Linfeng,et a1.A fast and accurate corner detector based on Harris algorithm [c]//PrDceP 锄gs o厂the 3rd International Con fence on Intelligent Information Technology Application,Nan— chang China:IEEE,2009:49 52. [1O]文福林,李大海,王琼华,等.立体图像对校正技术在三维显示中的应用EJ].激光杂志,2009,130(1):38—40. (上接P592) 例:[123西安电子科技大学.光折变自适应光外差探测方法:中国,01128777.2[P/OL].2002—03— 06[2002—05—28].http://el1.152.9.47/sipoasp/zljs/hyjs—yx—new.asp?recid=01128777.2&leixin=0. 电子文献:[序号]主要责任者.题名:其他题名信息[文献类型标志].出版地:出版者,出版年(更 新或修改日期)[引用日期].获取和访问路径. 例:[13]PACS—L:the public—access computer systems forum[EB/OL].Houston,Tex:University of Houston Libraries,1989r1995-05—172.http://info.1ib.edu/pacs1.htm1. 例:[14]Online Computer Library Center,Inc.History of OCLC[EB/OL].[2o0o~Ol—o8].http: //www.oclc.org/about/history/default.htm. 2.文后参考文献应在正文中引用该文献处进行标注。 3.关于作者姓名,姓在前,名在后(拉丁文只用缩写);作者3人以下应全部列出,4人以上仅列出前 3人,其后加“等”(外文加“et al”)。 4.注意参考文献标注的标点符号、次序,并不得缺项。 5.参考文献著录不规范的有可能影响文章的录用。 注:文献类型和电子文献载体标志代码: 文献类型和标志代码 文献类型 普通图书 标志代码 M 文献类型 报告 标志代码 R 会议录 汇编 报纸 期刊 学位论文 C G N J D 标准 专利数据库计算机程序 电子公告 s P DB CP EB 电子文献载体和标志代码 载体类型 磁带(magnetic tape) 磁盘(disk) 标志代码 MT DK CD 光盘(CD-ROM) 联机网络(online) OL 

因篇幅问题不能全部显示,请点此查看更多更全内容