025244 fc1822312847
- 2. 软 件 天 地
文 章 编 号 :1008-0570(2007)1o一1—0255-03
基于 ARToo l kit立体视觉成像增强现实系统的研究
Stereovision Im aging Augm ented Reality System Based on ARToolKit
(华中科技大学)易 俊 李 自力
Yl JUN Ll ZIL
摘要:沉浸性 是虚 拟现 实系统 最为吸 引人 的特 点 .也 是研 究 的重 点和 热点 。而增强现 实技 术 是将 计 算机 生成的 虚拟 环境 的 图
像 和 真 实 环 境 的 景 象 叠 加 显 示 到 用 户 所 佩 带 的 辅 助 显 示 设 备 来 获 得 真 实 的 沉 浸 感 。 ARToolkit为 增 强 现 实技 术 的 应 用 提
供 了 一 种 方 便 快 捷 的 开 发 工 具 .本 文 介 绍 了 一 个 使 用 ARToolkit实现 具 有 立 体 视 觉 成 像 的 人 机 交 互 系 统 。
关键词:增强现实;计 算机视 觉;立体视觉;沉浸
中 图分 类 号 :TP391.9 文 献 标 识 码 :A
Abstract:Immersive is the most attractive part of virtual reality system ,and also is focal point and hot spot studied. Augmented Reality
(AR) is a technology that overlays virtual world image generated by computer on real world scene and it is showed on the supportive e—
quipment user wears to obtain real immersion.ARToolKit provides a convenient and quick tool to develop AR application;this paper per-
forms a man-machine system of stereovision imaging with ARToolKit.
Key words:augmented reality,computer vision,stereovision,im mersion
1 引 言
增强现实(Augm ented Reality,简称 AR1就是将计算机生成 的
虚拟对象与真实世界进行融合,构造 出具有虚 实结 合的虚拟空
间.与传统虚拟现实技术所要达到 的完全沉浸 的效果不 同,增强
现实技术 致力于将计 算机生 成的虚拟 图像 或其它信 息叠加 到
用户所看 到的真实世界上。体验者通过佩戴头盔或 者立体 眼镜 ,
可以清晰的看到虚拟物体叠加 到真 实场景上 ,同时通过多种 方
式与虚拟物体进行交互 。
因此 增 强 现 实 技 术 在 工 业 设 计 、机 械 制 造 、建 筑 、教 育 和 娱
乐等领域都有着广泛 的应用前景.而且它不仅提供 了一种更 容
易实现 的虚拟现实的方法,更代表了下一代更易使用 的人机界
面 的发 展 趋 势 。AR技 术 也渐 成 为 近 年 来 虚 拟 现 实 范 畴 的 一 个
热点研究领域 。
开发增强现实 系统 的难 点在于如何 实时、精确 的计算观察
者视点相对真实世界 的位 置和姿态 ,使得虚拟场景 能够与真实
世界无缝融合f即三维 注册)。当前 流行 的基 于计算机 视觉的三
维 注 册 方 法 主要 有 两种 :基 于标 识 的 三 维 注 册 和 基 于 自然 特 征
的三 维 注 册 。ARToolkit采 用 基 于 标识 的视 频 检 测 方 法 进 行 三 维
注册的,其工具包 中包含 了摄像 头校准和标记 制作 的工具,它支
持将 Direct3D、OpenGL图形 和 VRML场景 合并 到视频 流 中,同
时支持显示器 和头盔等多种显示设备。ARToolkit是一套基于 C
语 言的增 强现实系统二次开发包 ,同时由于其开放源代码 已成
为在 AR领域 使用 最广泛 的开 发包 。许多 AR 的应 用 都使 用
ARrr0olkit或在其基础 上改进 的版本来进行开发的。
2 基 于 ARToolkit的计算机 视觉原 理
ARToolkit利用计算 机视觉技 术来计算 摄像机相 对于黑 白
标识f带黑色方框的正方形)的距 离与位置 。首先 根据用户设定
的阈值将采集 到的一帧彩 色图像转换 成一幅二 值f黑 白)图像 ,
然后对该二值 图像进行 连通 域分析 。找 出其 中所 有的 四边形 区
易 俊 :硕 士
域作为候选匹配区域 ,将每一候选 区域与模板库中的模板进行
匹配 ,如果 产生 匹配 ,则 ARToolkit认 为找 到了一个 标识 ,利用
该标 识区域 的变形来计算 摄像 机相对 于已知标识 的位 置和姿
态 .最后根据 得到的坐标变换矩阵实现虚拟场景与真实世界之
间 的 三 维 注册 。
通过计算标识点 的图像坐标与其空间三维坐标间的变换关
系.可 以求 出摄像机 的内部 参数 f焦距 、像平 面中心坐标 、像素的
水平 和垂 直间距1以及摄 像机相对于标识点的旋转矩阵和平移
矩阵。其计算公式如下:
1
㈤ = ff 0 f 0 f
1 0 0
l 0 0
r1/
0
0
)
1
0
1/Ay
0
式 中,e为摄像 机坐标 系;w为世界坐 标系:R为 3x3的正交
单位矩阵;t为三维平移 向量;fx,y)为空间中任 意一点 P的图像物
理坐标 ,fu,v)表示 以象素为单位的图像坐标 系下的坐标 ,f为摄
像机焦距;fu。,vn1为像平面 中心坐标;Ax、AY为像素 的水平 间
距 和 垂 直 间距 。
式f11表示 的是摄像 机坐标系与真 实世 界坐标系 的关 系 ,式
f2)表示 了图像坐标 系下 与摄 像机坐标下 的投影 关系 ,式(3)表示
了空间一点 p在 以象素为单位的图像坐标系下 与以物理长度为
单位的图像 坐标 系下 的关系 。式f1)~式f3)共包括 l1个未知参数,
因此只要 已知 6个 以上 的图像点坐 标就 可解 算 出全部未 知参
数 .而其中标识 点 P在真实世界 中的坐标位置是 已知 的,进而可
以确定摄像 机相对 于图像标识点 的位置和姿态 ,从 而完成整个
@圄自控 局订阅号.82-946 36。元/年_255一
、J
p
\、 ●●● ●●● ● /
y l
V 八
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆
- 3. 软 件 天 地 中文核心期刊 《微计算机信息》(测控自动化)2007年第 23卷第 1O-1期
场 景 的 三 维注 册 。
3 海 底冒险室 内增 强现 实 系统 的实现
利用 三维 建模 软件完成对海底场景及生物进行 建模 ,利用
ARrr0olkit的 基 于 视 觉 的 注 册 方 法 完 成 了 海 底 冒 险 室 内增 强 现
实 的 系统 。最 终 运行 环 境 为 :Windows XP操 作 系统 ;采 用 的 CCD
摄 像 头 刷 新 率 为 30Hz,USB接 口 、主 机 CPU 为 P4 3.0G.、RAM
为 2G。开发环境使用 VC++6.0,3dsmax软件进行建立模 型 ,使
用 VRML编 写脚 本 。
以 下是 真 人 参 与 的 系统 的实 际 显 示 效果 :
图 1(a)海底 冒险室内增强现实系统 的外观示意 图
图 1(h)头盔显示器(HMD)中的混合场景
3.1系 统 框架
以下 是 整个 海 底 冒险 系统 的结 构 功 能框 图
虹
设备 l I控制
海底 场景模型 l 背景声音
鱼类几何模 型 I交互揭 月 声音
鱼 类行为模 型 l摄像 机 标系
感 知行为模 型 l 显示器 举标 系
虚 拟 音
视 频 流
立 体 成
像 处 理
视 觉
定 标
摄 像 头
真 丈 税
颚 流
色 键
抠 像
共盔硅 I l屏幕显示 l l 音箱
图 2海底 冒险的系统框 图
3.2系统 的主要硬 件构成
表 中罗 列 的 是 整个 系统 所 用 到 的 最 主要 的 硬 件 构成 以及 简
单 的功 用 介 绍 。
表 1系统所用主要硬件及功用
设 备 具 体 规 格 功 能
主 机 双 核 CPU P4 630 3 0G ,内存 DDR533 2G 流 畅 运 行 按 个 海底 冒险 系 统 程 序
显 卡 L曲 ou小 Fx34o0 4Buff ̄ 显存 256M 实时渲染绘制虚实混台的立体视频 流
摄像头 Logitech PR05000最 大分辨率 640X480 3O 捕获真实视频流
头 盔 GVD510-3D 40荽 亨 萃 、 g2 可 传 拳 60fps 交 瞽 帧 显 示 按 个场 景 的 立 体 视 频 画 面
空中鼠标 Gyration 2.4 GHz自跳频适应 USB无线接收器 用来替代墩光枪的无线交互设备
3-3系 统 的创 新 点 :
3_3.1场 景 中 的鱼 类 逼 真 且 具 有一 定 的智 能 。
除 了建立逼真的虚拟鱼类三维几何模 型,为了更真实 的表现鱼
类 的运动 ,本系统建立 了鱼类 的运动学模型 :鱼的骨架控制器 、
躯体形变运算器以及运动控制器。其 中鱼的骨架控制器用于控
制鱼骨架中的每一个关节的位置与姿态 :躯体形变运算器用于
计算 由于鱼骨架摆动状态的改变而导致鱼身软组织表面 的变形
度 :运动控制器则是通过鱼的骨架控制器与躯 体形变运算器来
实现某一具体运动 。
而交互动作的实现 ,则有赖 于虚拟鱼的感 知行为模型的建
立 。藉此鱼类 能够 主动获取到虚拟世 界的环境信息 。并能根据
这 些 信 息 作 出相 应 的反 应 。
兰竺竺卜—— 感 息 知 输 选 行 出
择 为 制
缓 控 裁
制 冲
图 3 感知行为模 型
由图三可知,虚拟鱼的感 知行为模型在整体框架上分为以
下几个组成部分:
① 传感器群 :主要 负责收集各种环境信息 。
② 信息选择 、缓存 :对不同传感器的信息进行选择 、缓存 。
③感 知行 为控制 :将输入信息映射到相应的行 为上 。
④ 输出 仲裁 :对 多个行 为输 出进行 仲裁 ,选择最 合适 的动
作 输 出 。
因而场景是具备交互性 以及智能性的 ,而不是一般系统那
种 简单 的三 维 场 景 叠 加 。 系统 已经 具 备 有 一定 的人 工 智 能 了 。
3.3-2场景是立体视觉 而不是三维视觉 的
区别 于一 般 系 统 的 三维 视 觉 显 示 ,本 系统 采 用 更 逼 真 的基
于人 眼立 体 视 觉 成 像 的 显示 。
左右眼分
离视角
左眼 一
图 4立体成像原理图
基于 以上立体成像 的原理 ,利用程序对虚景的每一帧图像
同时进行模拟人眼的双 目绘制 ,并通过一定时延的交替帧显示 ,
通过光照 的配合 ,以及体验者观察过程 中视角的不 断变换 ,通过
一
256—36O元 ,年 邮局 订 阅号 :82.946
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆
- 4. 软 件 天 地
佩戴 头盔可以看到海底场 景以及鱼类具有显著的深度感 和逼真
的立体感 。为此特别的我们设 置了 4个 buffer,左 右眼前后通道
各 占 1个 buffer,前 后 的 buffer形 成 屏 幕 闪 烁 ,左 右 的 buffer生
成视差 。其立体绘制流程如下 :
设 置 左 眼 投 影矩 阵一>设 置 模 型 视 点 矩 阵一>选 择 左 buffer绘
制虚 拟物体一>设置右眼投影 矩阵一>设置模 型视点矩 阵一>选择
右 buffer绘 制虚拟物体一>左右 buffer绘 制完后 ,前后 buffer交
换一>生成立体视差 图像
3-3-3场景结合 了多种音效
为了再现真实 的海底场 景 。本系统添加 了模拟海底 背景的
声 音 ,还 对 交 互 过 程 中所 产 生 的声 响 进 行 了 模 拟 ,在 一 定 的 状
况 触 发 下 实 时 调用 相 应 的 声 音 。其 控 制 函数 类 的实 现 如 下 :
class Sound{ public: Sound(void);
void playBackGround(bool looptrue);
void stopSong0;
void setBackGroundSong(char*name);
void setHitSong(char*name);
void palyHitSong0;
 ̄
Sound(void);
private: char _
backgroundsongname;
char 一
hitsongname;
};
3.4系统 的其它特点 :
通过色键抠像 ,实现景致的层 次叠加 ;采用了标识 阵列定位
的改进方案 ,不仅提高 了定标 的稳定性也增大了体验者活动范
围;虚拟场景 中的打光与实景 中的光源吻合获得 了良好的光照融
合效果 ;根据良好的脚本控制 ,体验者与系统有多种交互方式等。
基于以上特点,结合立体显示技术 .以及 头盔对增强现实的
混合音视频 的逼真显示 ,体验者 叉能在一个较大范 围内活动并
与海底生物进行一定 的交互 ,因而体验者获得 了一般简单 AR.
Toolkit系统 难 以达 到 的沉 浸 感 。
结 论
增强现实系统的开发是一项十分复杂 的工作.但 ARToolkit
为增强现实技术 的应用提供了一种可行的开发工具.在本系统应
用中还是很成功 的.但 由于它对模 型渲染特效的支持有限 ,此外
基于摄像头的定位也不够稳定。为了获得更真实的体验效果 ,基
于 ART0olkit的增强现实系统开发还有很多工作等待我们去做。
本 文作者创 新点 :创 造性地赋予 了虚拟物 一定的人工智 能
以及借 助立体显示技 术同时辅 以逼 真的音效 .体验 者在简单 的
增强现实系统 中获得 了良好 的沉浸感。
本项 目为广东科技 中心数码艺术馆重点子项 目,项 目规模
为 500万 。
参考文献
『t]ARToolkit.http://www.hit1.washington.edu/artoolkit
f2]Inside ARToolkit.http://ar.in.rum.de/twiki/pub/.
【3]Jan Fischer,Dirk Bartz,Wolfgang StraRer.Stylized Augmented
Reality for Improved Immersion.Proceedings Visual Reality 2005
IEEE .12—16 March 2005 :195—202
【4】唐 晶磊,蔡勇,林茂松等.基于 VR与 Agent技术的室 内漫游 系
统lJ]微计算机 信息.2006,7一l:258—260
【5】朱淼 良,姚 远,蒋云 良.增 强现 实综述 .中国 图象 图形学 报 ,
2004(07):767—774
【61陈靖 ,王涌天,施琦 ,等 .基 于视觉 的增 强现 实运动 跟踪算 法.
2002(02):15-17、21
作 者简 介:易 俊(1981一),男 ,汉 ,硕士 ,专业 :通信 与 信息 系统 ,
主 研 方 向 :计 算 机 图 形 学 、虚 拟 现 实;李 自力 (1965一),男 ,汉 ,副
教授 ,主研方 向 :计算 机图形 、虚 拟现实 、数码艺 术。
Biography:Yi Jun f198 1一),male,the Han nationality, Hubei,
Huazhong University of Science& Technology.Speciahy:communi—
cation and information Systems, mostly enaged in Visual Reality
and Computer Graphics。
(430074 武 汉 华 中 科 技 大 学 电 子 与 信 息 工 程 系)易 俊 李 自力
通 讯 地 址 :(430074 湖 北 湖 北 武 汉 华 中 科 技 大 学 东 12舍
124室)易 俊
f收稿 日期:2007.7.23)(修稿 日期:2007.8.25)
(上接第 42页1
图 5给 出了在第 2秒时有规 律的改变系统参数时的系统斜
坡 响应 曲线 。由图可以看出 ,在系统参数发生大范 围摄动时 ,神
经 网络滑模控 制器构成的 系统仍 能够很好的跟踪给定 目标 ,动
态 性 能 快 .稳 态性 能 好 。
7 小 结
上述仿真结果表明 .本 章针对交流伺服系统所提 出的神经
网络调节变结构控制器 参数 的控制策略是有效的。它具有传统
PID控 制 和 滑 模 变 结 构 控 制 不 可 比拟 的优 越 性 能 .对 系 统 参 数
摄动和外在扰动有很强 的鲁棒性 ,在削弱变结 构控制 中存在抖
振 问题方面具有显著的效果 。同时 ,也改善了交流伺服系统的
动 、静 态性 能。该控制策略 的设计 方法简单 ,算法也不复杂 ,便
于 实 际 应 用 。
本文作者创新点:采用带有偏差单元的递归神经网络和滑
模变结构控制器相结合 ,依靠 神经 网络来调节变结构控制器参
数 ,很好 的改善 了交流伺 服系统 的动 、静态性能 。
参考 文献
【11李军红等.交流 永磁同步电机伺服系统 的变 结构控制.微特 电
机 。2004(1):26~28。
【21李永东.交流 电机数字控制系统.机械工业 出版社,2002.4:339。
【31姚琼荟 ,黄继起等.变结构控制系统.重庆大学 出版社 ,1995.8
I41黎学远 ,刘庆敖.柔性臂仿人智能变 结构控制.微 计算机信 息 ,
2002/03:25—26。
作者简 介:应根 旺(1966.4),男,浙江 缙 云人 ,淮 阴工 学 院 电子
信息 工程 系,讲 师 ,主要 从事 交 流 电机调 速 及控 制策 略研 究 ;
刘 保连 (1979.11),男 ,安 徽 霍邱人 ,淮 阴 工学 院 电子信 息 工程
系 讲师 ,硕 士 ,主要 从事 电力 电 子与 电力传 动方 面 的研究 。
Biography:Ying Genw(1966.4),Male,JinYun,ZheJiang Province,
WorkingCompany:Department of Electronic&Inform ation, HuaiYin
Institute&Technology.Maior in AC motor speed control and it’
s tragic.;Liu Baolian(1979.11),Male,HuoQiu,AnHui Province,
WorkingCompany:Department of Electronic&Inform ation, HuaiYin
Institute&Technology.Master degree,Major in Power Electronics
and Electric Drives.
(223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺 刘 保 连
通 讯 地 址 :(223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺
(收稿 日期:2007.7.23)(修稿 日期:2007.8.25)
鼬 控搠 邮局 订 阅号 :82-946 360 ̄ /-q--257—
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆