虚拟交互

虚拟交互（精选十篇）

虚拟交互 篇1

学习中的教学交互是分层面的，从操作交互、信息交互，到概念交互，逐渐从具体到抽象、从低级到高级。高级的教学交互是以低级的教学交互为条件和基础。

操作交互是信息交互的基础，信息交互是概念交互的基础，概念交互是最高水平的交互。信息交互包括学生与教师的交互，以及学生与学生的交互，以及学生与学习资源的交互三种形式。媒体是所有教学交互的平台和载体，媒体的交互特性是所有教学交互的基础。

用教学交互层次塔的方式，阐述远程学习中三层面教学交互的关系、抽象性，以及三层面教学交互发生的环境。

层次塔以媒体为平台。层次塔底层是操作交互；中间层是信息交互，信息交互有三种形式：学生与学习资源的交互、学生与教师的交互、以及学生与学生的交互；最上层是概念交互。

尽管某一时刻，三种层面的教学交互可能同时发生，但各层面的教学交互对学习意义不同。级别越高、越抽象的教学交互，对实现学习目标越关键。

2 分布式虚拟教学交互系统的实现

硬件方面，由于分布式VE要求极大的带宽，支持多用户、录象、录音，三维图形交换和实时模型。此外要求开发新技术，处理在网络上数据的混合。我们的系统采用单服务器技术，一台服务器分别与各台客户机建立通讯路径。这需要中央服务器具有较高的速度和可靠性。

软件方面，采用通讯软件把虚拟教学交互中的信息变化传给网上其它用户，并允许新用户进入该系统。在网络化的环境下，需要把图形和接口软件扩充到涉及数据库一致性的复杂系统。工作站间的标准信息协议需要世界变化的通讯。对小的系统，重要的是确保网上所有用户有同样的世界模型和描述。采用SIMNET系统，使用以太网和T1链，使虚拟环境中每个节点有完全的世界模型。

整个系统的设计方案框图如图3。

3 虚拟交互有效提高教学交互程度

实现教学交互中操作交互的最高境界是学生感觉不到媒体的存在。

在虚拟教学交互中由于有力反馈触觉系统，参与者在虚拟环境中产生沉浸感的重要因素之一是用户在用手或身体操纵虚拟物体时，能感受到虚拟物体与虚拟物体之间的作用力与反作用力，从而产生出触觉和力觉的感知。

人体的姿势、头、眼、手位置的跟踪测量系统，运动跟踪作为人与虚拟环境之间信息交互的一个重要因素，是近年来VR技术发展的一个重要领域。人体行为交互是人际之间除语音外的一种重要交互方法，行为表现模型的建立是一个技术关键。信息社会的显著特点与基础是数字化技术，人类自身的数字化便显得颇为重要，需进行深入的研究，这便是虚拟人合成的研究目的及其意义所在，最终使得计算机与人之间可实现自然化的交互。

在虚拟教学交互中可以创建虚拟学生，虚拟学生可以和学生替身一起学习，共同探讨学习中遇到的问题，寻找解决的办法。教师与学生的交流，教师通过网络资源回答学生的有关问题，对教学课件，教学方案，教学计划进行补充修改，进行因材施教并与其它教师交流合作。

虚拟教学交互中的操作交互，信息交互（学生与教师的交互，学生与学生的交互）都达到最佳状态。因此，更有利于促进基于操作交互，信息交互之上的概念交互的形成。而概念交互正是我们实施虚拟教学交互的终极目的所在。也即促进学习的产生。

3.1 当前教学交互中存在的问题及解决方案

3.1.1 问题

第一，内容交互不足。首先，网络课程制作简单。(1)音，视频学习材料界面设置不科学﹑形式不灵活，不够多样化。(2)视频材料录制刻板，简单。(3)教学材料更新速度慢。

第二，人际交互不够。(1)学生在教学交互中扮演辅助角色。(2)论坛内容不集中。(3)交互的层次大多是操作交互，信息交互和概念交互几乎没有。(4)网络教师的教、辅分没有充分结合。(5)不注重学习环境的建设﹑缺乏协作式学习环境。

3.1.2 解决方案

第一，增加网络课程的交互性设计。

网络课程作为网络教学的基本单元，是教育资源的核心部分，是网络教学开展的基础。设计和开发交互式的网络课程势在必行。

第二，建立具备支持交互的网络辅导答疑系统。

创建一个针对性强，有特色的专业答疑系统，以满足学生充分发挥主体性需要。

(1)创建答疑的问题系统；(2)提供多种形式答疑方式；(3)利用搜索引擎对问题进行搜索来实现自动答疑。

第三，加强实时交互。

在当前一些院校虚拟教学的主要交互中，我们发现其中存在的一个主要缺陷，就是交互的实时性远远不够。开发分布式虚拟教学交互系统可以弥补这些。

3.2 虚拟教学交互较传统教学的优势资源

传统教学方法的最大特点是封闭式。

以前的教学，我们称为“灌输式”教学，就是学生被动地接受教师讲授的已经是经典的知识系统，根本不能发挥学生的主体性。在这样的教学方法下，学生煅炼的只是较强的对知识的记忆力，不能激发学生的开造性思维,不能调动学生的学习积极性。

针对安康职业技术学院（南校区）现行的传统教学，对在校的2005级临床医学，护理，专业学生做问卷调查，其结果显示95%的课堂时间被教师占用。在教学过程中很少，甚至没有学生的信息反馈。

进行虚拟现实教学能有效的发挥学生的各种感观作用，使学生接受的信息全面，完整，丰富。对知识学习的深度，广度和精度都得到全面提高。虚拟交互教学在教育实践中是一个空前的创新。

(1)虚拟交互教学的现实是对传统教育教学模式的现实性的重大挑战和突破。

虚拟交互教学带领我们进入一个全新的教学模式和教学手段的阶段。它解决了传统教学和现行教学模式存在的种种弊端和问题。开拓教学手段的发展空间，确立了非现实性的科学性，灵活性，创新性。为教学的创新提供了新的机遇。

(2)虚拟交互教学开创了全新的教学形式和学习方式，灵活的教学手段和方法，提升了实践形式的丰富性。

(3)虚拟交互教学拓展了学生的眼界，增加了认识和学习事物的维度，全面提升学习主体的感观，体验和精神世界。

(4)虚拟交互教学提高了教育科技化程度，对于教学改革的发展和教学质量的提高起到了至关重要的作用。

(5)虚拟交互教学可以根究学习者兴趣爱好建立各种协作是学习团体。这样的学习环境有利于创建学习型社会的主题，也有利于学生开放性人格的塑造。

摘要：当前教学交互存在的问题:第一,内容交互不足。其次,网络课程交互性不足;第二,人际交互不够。学生参与交互活动的频率少。论坛话题漂移。交互的内容主要是学科知识﹑情感交流很少。网络教师的教﹑辅分离。忽视学习社区的建设﹑营造协作学习环境不够。我们可以建立虚拟教学交互系统。我们的教学交互摒弃空洞无物的交互技术,将交互建立在充实的内容基础上;其次,要使交互具有良好的问题反应能力,力求使学习者的所有问题都能得到及时的反馈和评价。加强实时交互,充分提高教学交互程度。

关键词：虚拟教学,交互性,虚拟交互

参考文献

[1]陈丽,陈青(.1999)利用电子媒介“双向交互”的基本原理和实践中的问题[C].亚洲开放大学协会年会论文集,229-239.

[2]陈丽.远程教学中交互规律的现状评述.中国远程教育(综合),2004,1.

虚拟交互 篇2

关键词：虚拟现实；反馈；交互；用户界面；教学软件

中图分类号：TP391 文献标识码：A 文章编号：1009-304428-0086-03

Abstract： In order to conform to the inevitable trend of the development of virtual reality in the field of education， the development of teaching software Based on Vive is put forward， realizing interactive technology is the core of the development process. By analysis of interactive devices， a detailed study of the interactive technology from two aspects of input and output devices is commissioned， and with the support of theory and technology of interactive technology in teaching software development， expounding the necessity and scientificalness of the development of teaching software in virtual reality environment.

Key words： virtual reality； feedback； interaction； user interface； teaching software

虛拟现实的出现使得教育手段更加完善，教学环境逐步趋于虚拟化，教学与虚拟现实的结合为教育教学开辟了新的领域，教学方法也更加具备科学性和真实性。如今虚拟现实的迅速发展，无疑将开启一种新的教学模式——身临其境的教学模式，相比传统实验室教学更

具备安全性，相比传统的情景式教学更具备情境性。HTC Vive教学软件的开发核心是真实的交互体验，交互技术的实现对于教学效果的体现是成正比的。HTC Vive是基于PC端的，所以交互技术是从输入和输出设备两方面来体现。

1 VR中的输入输出设备

一个完整的虚拟现实教学软件系统包括五个部分：虚拟学习场景、计算机、VR教学软件、输入设备和输出设备。所以教学中的交互必须在这几个部分中实现，虚拟头显的操作基本已经脱离鼠标和键盘的操作，依靠的是手柄、游戏杆或遥控器等媒介来实现，我们与虚拟世界的连接点在于头显中的视屏和手柄设备，也就是输入设备和输出设备，对于计算机和虚拟世界并没有直接联系，VR软件作为一个媒介连接电脑与设备，所以交互技术最终要实现在输入与输出设备上，输入设备的交互实现主要是通过对设备的触摸、移动和按压等，输出设备的交互实现主要体现在声音反馈和震动反馈等。因此，交互技术的开发主要围绕这两个部分来展开。一个完整的虚拟现实学习系统如下图：

1.1 输出设备

交互最终的效果体现在对使用者五官的刺激上，基于输出设备的交互方式大多通过听觉来实现，目前为止，只有极少数的虚拟现实设备能够实现对嗅觉与特殊触觉的刺激。这种基于输出设备交互技术在教学中的较为简单的体现就是声音与震动的反馈。

1.1.1 声音反馈

HTC Vive交互中声音的反馈来自于电脑的声卡的输出功能，外接耳机与音响就是将声卡的输出功能具体化，声音反馈本质上就是一种交互，是人作用于虚拟世界后产生的效果以声音的形式展现出来。这种交互形式相对简单，也是我们平时最为常见的一种交互形式。

1.1.2 震动反馈

震动反馈看似复杂，但是对于程序的编写人员来说实现却相当容易，引入VRTK工具包就可通过简单的设置震动的Strength（强度）、duration（持续时间）以及pulseInterval（震动间隔）来调节震动反馈的效果，强度的范围一般为0-3999，所以在不同的场景中，震动的反馈方式可以实现多样化，以呈现出更逼近真实的体验。这种震动反馈也只是简单的触觉体验，而对于在特殊场景下产生的特殊触觉却依旧无法实现。这种震动反馈可应用于教学开发中的直接传递给学习者的一种实质性提示。

1.2 输入设备

传统的基于移动端或PC端的教学软件交互主要是通过键鼠和屏幕操作来实现，而HTC Vive依赖于输入设备的交互形式主要是通过对输入设备的触摸和按压等，并且HTC Vive虚拟现实设备可通过一种激光定位的形式将捕捉到的动作转换为数据录入电脑，然后通过分析数据将动作在虚拟世界中再现从而实现一种交互，这种交互技术在x-box和一些电视一体游戏机中也有过一定的体现。

交互式3D虚拟电子宠物 篇3

该产品的设计师为四个华裔年轻人，他们的设计灵感来源于儿时的电子宠物玩具。电子宠物是由电子元件构成的电子玩具，现在也指使用电脑 或因特网服务器上运行的特定程序。电子宠物具有和真实宠物同样的生命特性。由于具有喂养简单、便携、干净等特性，受到人们的欢迎。

但是他们认为旧式的电子宠物只能从片面的模仿宠物的部分特征，因此无法取代真实宠物，所以设计师们利用罐式的交互3D虚拟概念来制作了 这款神奇的产品Jarpet，力求让电子宠物变得更加真实。这款产品实际上由内部的3D投影机装置来工作，能够在罐式设备中建造一个虚拟的动 物王国供儿童探索、学习。

使用时需要先将它连接到用户的计算机，下载官方提供的动物资料和应用程序。然后开启该设备就可以为用户营造出一片野外动物王国的氛围 ，是孩子们的理想玩乐选择。官方可以为家长和孩子提供各种动物的图像数据，让孩子自己选择喜欢的动物，在其中学习动物的习性、了解动 物的生命周期、甚至是学习动物的精神枢纽构造。孩子们可以尽情地通过多感官技术在Jarpet中享受生动的互动感受。

此款交互式3D虚拟电子宠物，是2012年红点设计奖（Red dot Award）的获奖作品。

虚拟交互 篇4

e Drawings是一款非常优秀的CAD等文件查看工具, e Drawings的市场定位就是用来进行设计交流、沟通的工具, 可以在不安装其他CAD软件的情况下直接打开其文件数据。[1]支持许多种类的文件格式, 用户可以通过e Drawings方便地共享CAD等文件, 直接从Solid Works、Auto CAD、CATIA、UG、Inventor、Pro/ENGINEER、Solidedge等发布创建可使用免费的e Drawings浏览器查看的高度压缩2D和3D e Drawings文件。

可用e Drawings打开零件、装配体、工程图文件后将文件另存为e Drawings格式, 后缀分别为.eprt、.easm、.edwg。另存时激活选项“确定可测量此e Drawings文件 (o) ”, 以便能在e Drawings浏览器中测量几何体。这样, 可以自由地浏览、圈红、精确测量, 无需附加CAD软件。转换成edrawings的.eprt、.easm格式可以使文件大大压缩, 但并不影响其模型的观测性, 非常有利于网络传输。[2]也可用e Drawings打开零件、装配体、工程图文件后, 将文件另存为html格式, 这样可以用IE浏览器浏览, 用网页编辑器编辑制作。

当计算机里安装了e Drawings浏览器, 可用Power Poin插入控件的方法插入e Drawings支持文件, 方法是点击控件工具箱其他控件, 找e Drawings控件, 在空白的地方拉一个框, 鼠标右击框, 找属性, 找url, 输入文件地址即可。如果通过e Drawings把文件保存为.exe格式, 文档内已包含浏览工具, 不需要e Drawings浏览器支持就能查看, 在Power Point中创建一个图标或插入一个图片, 用鼠标右键单击图标或图片, 弹出屏幕对话框, 选择“超链接”, 弹出“插入超链接”对话框, 查找到保存的“.exe”文件, 选择“确定”, 即完成了在Power Point中嵌入虚拟3D模型。在Power Point课件方便地实时动态浏览虚拟3D模型, 为广泛的虚拟3D模型进入多媒体教学创造了条件。[3]

利用e Drawings浏览器可实现实时动态浏览、自动动态浏览、零件透明化、隐藏、实时移动零部件、实时剖切、测量及标识、爆炸等功能, 对复杂零件及装配体内外形状及结构的理解很有帮助, e Drawings提供的点击式动画等独特功能, 使得任何拥有计算机的用户均可以轻松解释和理解2D和3D设计数据, 为虚拟交互浏览提供了可能。

利用快速、可靠且方便的e Drawings文件, 可以准确展现借助市场上使用最广的CAD系统所创建的3D模型和2D工程图, 利用e Drawings实现虚拟交互浏览, 不再需要更高的编程知识和技能, 就能轻松实现, 极大的方便了普通用户对零件和结构设计的认知, 使得任何拥有计算机的用户均可以轻松解释和理解2D和3D设计数据。

摘要：本文介绍了共享和存档2D和3D产品设计数据的免费查看和发布应用程序eDrawings, 并介绍了基于eDrawings实现虚拟交互浏览的应用技术。

关键词：eDrawings,虚拟交互,浏览

参考文献

[1]陈光霞.eDrawings在《工程制图》多媒体课件中的应用[J].现代机械, 2010, 36 (2) :53-54;75.

[2]王倩.eDrawings技术在板状件冲裁模开发中的应用[J].邢台职业技术学院学报, 2010, 26 (10) :69-71.

虚拟交互 篇5

今天的青岛市市南区政务网欢迎页给网站受众提供了两个入口选择:其一是传统布局的政务网页面;另一个则是以网上审批办事为主要内容的完全三维场景化并辅有虚拟动画人物导航的界面,操作更加直观便利和人性化,令人耳目一新,倍感亲切,网站交互的友好性获得了明显的提升,受到了公众的欢迎和认可。

需求的产生

近年来,越来越多的地方政府建立了政务网站,这些政务网站逐渐成为公众获取政府信息的重要载体。然而,随着政务网站栏目的不断丰富和政府信息的成倍增长,相当多的网民望着洋洋洒洒的页面却不知该如何下手,鼠标点个三下五下也未必能找到所需政府信息,公众从政务网站获取政府信息的难度反而有加大的趋势。尽管当前的政务网站一般也提供站内搜索功能,然而对于一个普通网民而言,如果没有专业的检索技巧,面对多级菜单和不够智能的站内搜索引擎,往往会花费较多时间,可获取的导向和信息却往往不够准确。一般的站内搜索引擎通常是采用关键词匹配技术,缺少对用户输入的语意分析功能,这也就势必要求公众具备相当程度的关键词提炼能力,否则搜索引擎难以提供准确的信息。比如咨询“生育第二个子女许可申请材料有哪些?”,如果输入“二胎”,对于传统的搜索引擎而言就找不到对应的服务事项,必须使用与事项库问题完全一致的关键词“第二个子女”。由于搜索关键词需与事项问题库完全匹配,而公众并不见得完全知悉,就可能造成搜索结果为空,降低了搜索的命中率,无形中拔高了公众使用政府网站获取政府信息的门槛。

在政府网站的网上办事功能向公众日益推广的大趋势下,公众通过简单直觀的交互就能获取办事信息的诉求就显得愈发强烈了。

按照软件工程的理论,最友好的交互界面是不需用户学习,仅凭基本的日常生活经验就可以迅速掌握的。本着这一原则,青岛市市南区尝试打造了一个围绕网上审批办事内容完全三维场景化并辅有虚拟动画人物导航的站点——网上虚拟审批大厅。

网上虚拟审批大厅应运用先进的多媒体技术、智能人机交互技术以及数据库技术,与网上审批办事平台系统建立数据交换,通过简洁明了的引导式问答,以生动的虚拟卡通形象配以礼貌大方得体的语言、动作和表情,实现与网民的智能互动交流,在一定程度上取代传统客服人员,为网站访问者提供导航指引或是咨询解惑。

设计与实现

总体框架:网上虚拟审批大厅引用审批办事服务平台的数据,与审批外网服务平台的数据保持同步更新。由数据管理平台来完成数据的交换,虚拟导航员后台和网上虚拟审批大厅管理平台实现对网上虚拟审批大厅的管理和维护。

技术选型:系统采用.NET技术架构,分层设计,基于Web+应用程序方式,采用.NET、COM+、WebService、XML等编程技术,实现个性化的信息和应用服务,支持Oracle、DB2、SQL Server、Sybase等主流数据库,前端采用Flash技术实现矢量图形化的动态界面和丰富的交互功能。

功能规划:

◎作为审批办事平台网站的一套子系统对互联网发布,用户无需安装特殊浏览器插件,人机交互流畅友好;

◎虚拟导航员可实现一定人工智能的问答,利用生动亲切的虚拟动画形象以问答形式引领用户进行事项办理,并可对办事要素和相近办事事项逐一呈现,24小时无需人工职守;

◎实现语音朗读功能,一部分语音通过Flash混入音轨实现,另一部分通过客户端安装可选的TTS(Text to Speech) 插件来实现,满足有文本阅读障碍人群的需求;

◎完备的后台管理功能可对服务事项问题库、事项链接等进行编辑维护;提供可定制化的服务,虚拟人物的语言、动作、场景等提供可选的方案,可根据场景需要定义虚拟人物的各种行为;

◎服务事项数据可从审批办事平台批量导入或逐条事项自定义;

◎提供审批办事大厅建筑内部场景及周边地形地貌的三维建模和渲染,便利公众上门办事前明晰地理位置和周边环境。动态显示周边公交线路查询、公交车站位置指示等便民信息;

◎提供审批大厅简介和简讯公告发布功能;

◎公众可在虚拟大厅中操作鼠标自行三维参观漫游。

虚拟审批大厅操作流程:

公众通过位于政务网欢迎页的链接入口进入网上虚拟审批大厅,在与虚拟导航员的问答对话导引中获取所需办事信息,进入相关办事事项的页面。

网站管理用户通过管理入口进入网上政务审批大厅管理后台,选择对应项进行编辑设置。

与审批办事平台的数据交换:虚拟审批大厅系统具有数据导入功能,通过行政审批办事平台提供的数据交换接口,可将审批系统接收到的事项数据导入到虚拟审批大厅系统中,从而实现在虚拟审批大厅系统接收、更新服务事项,服务流程。

同样,虚拟政审批大厅系统也提供数据导出接口,可以导出一定结构的数据文件,审批办事平台可以自动读取这些文件并修改数据库中事项的各种相关属性和状态,以实现多系统联合处理的数据同步。

虚拟导航人物:虚拟导航人物在虚拟审批大厅中处于关联始终的重要地位,主要包括人机智能问答和虚拟导航人物的行为表情匹配。虚拟导航人物应用先进的人机交互技术,具有统一接口,支持多种数据库类型的数据的导入、导出。提供智能化的问答模块,用户在提问框中提交问题后,虚拟导航人物经过判断、识别,经模糊查询后将最佳答案反馈给公众。

系统通过词库进行维护管理事项数据,词库包括自导入问题库、事项问题库、常规问题库、问题历史记录库、随机答案库、文明用语提示库、关键词库、屏蔽词库、近义词库、语气词库等,整个问答库的搜索机制基于这些词库进行搜索,通过这些词库可以尽可能准确地搜索出用户所要查询的信息。虚拟动画形象的导航人物需要针对欢迎、提问、回答等不同语境做出相应的不同肢体动作和表情,并且可以通过后台对这些动作进行选择自定义。

网上虚拟审批大厅通过人性化的操作界面,生动的互动功能,快捷直观的操作将审批办事平台众多服务事项元素有效地组织起来,运用动画形象实现了具有一定智能程度的问答和导引,显著提高了政务网站为公众服务的水平。

虚拟标志肌学习软件交互功能设计 篇6

一、实现软件交互功能所达到的效果

虚拟标志肌学习软件的开发有利于学生在软件所设置的虚拟场景中, 更加生动直观的学习解剖学知识。虚拟标志肌软件充分使用动画交互功能, 使教学过程变得生动活泼, 大大提高学生的感知水平和学习兴趣, 学生通过点击标志肌就可以学习并了解它的功能及运动状态, 同时还配有标志肌解说, 实现了动画、声音、文本同步效果, 提高教学的效率和质量。

二、软件的交互功能设计

运行软件会出现片头动画, 可以欣赏绚丽的动画效果, 如果希望快速跳过片头动画, 可以直接点击右下方的“跳过”按钮, 进入主界面。

1、主界面的交互功能设计

主界面中包含了“进入”“习题”“帮助”“退出”四个按钮, 根据需要我们可以分别使用鼠标点击相应的按钮, 进入到下一级或退出软件。

2、子界面的交互功能设计

点击“进入”按钮, 可进入标志肌子界面, 子界面的中间区域为三维虚拟标志肌人体操作区域。人体身体直立, 两眼平视前方;双足微开, 约于肩宽, 足尖朝前;两臂下垂, 手掌心向前的裸体成年男性, 全身肌肉暴露于体外。子界面左侧为面部动画显示窗口, 面部动画显示窗口下方设置了“静音”、“解说”两个按钮, 鼠标点击按钮可进行静音、解说的操作。子界面右侧为文本显示窗口, 文本显示窗口下方设置了“复位”、“返回”两个按钮, 鼠标点击两按钮可进行人体大小、方向、姿态复位和返回主界面的操作。

子界面中间区域的三维虚拟标志肌人体动画的操作区域, 可以实现鼠标拖动虚拟人体标本任意旋转、缩放、平移。单击鼠标左键并在页面上拖曳, 可以旋转三维人体模型, 从任何角度观看整个三维人体模型;滚动鼠标中间滚轮, 可以缩放整个三维人体模型;单击鼠标中间滚轮并拖曳, 可以移动整个三维人体模型。

在子界面中可进行人机交互, 每块肌肉的起止点、功能作用和产生的运动一应俱全, 解决“肌学”学习枯燥乏味的难题。软件子界面设有声音开关按钮, 实现了声音可控制功能。

3、习题界面的交互功能设计

在主界面点击“习题”按钮, 可打开该软件的习题窗口, 习题窗口中包含了5页, 我们可以使用鼠标点击窗口下方的页码来进行页与页之间的切换, 方便使用者学习。

虚拟标志肌学习软件的习题分为三大题型, 包括单项选择、多项选择、判断题型。单项选择题包含A、B、C、D四个答案, 我们可以使用鼠标左键点击所选择的答案, 软件就可直接显示我们所选答案正确或错误。多项选择题包含A、B、C、D、E、F六个答案, 我们可以使用鼠标左键点击所选择的答案, 选择的答案就可以显示在题目后边的括号中, 如果希望看下所选答案正确与否, 就可以点击页面下方的“显示答案”按钮, 正确答案就可以显示出来。判断题包含Y、N两个答案, 我们可以使用鼠标左键点击所选择的答案, 软件就可显示我们所选答案正确或错误。

习题界面的交互功能实现, 能过更好的促进使用者自主学习, 可以在课下使用本软件自主的温习学习内容, 提高学习效率。

4、帮助窗口的交互功能设计

在主界面点击“帮助”按钮, 可在主界面弹出该软件的帮助窗口, 帮助窗口中介绍了虚拟标志肌学习软件的基本运行环境、使用说明、制作人员及版权声明等。使用者可以通过查看帮助来了解虚拟标志肌学习软件的使用方法, 快速的上手操作。

5、退出按钮及全屏的交互功能设计

在主界面点击“退出”按钮, 可在主界面直接退出该软件, 此按钮可以在软件全屏状态下直接快速的关闭本软件。

在双击EXE文件运行“虚拟标志肌学习软件”后, 软件是以窗口形式显示, 如果希望全屏显示本软件, 就可以直接鼠标点击软件窗口右上方的“全屏”按钮, 就可以全屏显示虚拟标志肌学习软件。

三、交互功能设计的作用

虚拟标志肌软件充分使用动画交互功能, 使学生在软件所设置的虚拟场景中, 更加生动直观的学习解剖学知识。使教学过程变得生动活泼, 大大提高学生的感知水平和学习兴趣, 学生通过点击标志肌就可以学习并了解它的功能及运动状态。它集文本、声音、动画、三维交互于一体, 给用户以三维空间的虚拟境界, 直观性强, 信息量大, 交互性好, 界面美观, 操作简单, 具有先进性、科学性、实用性和创新性。

参考文献

[1]金红、李伦、刘铭等:《尊重人体尸体:人体解剖教学的伦理原则》, 《医学与哲学》, 2006, 26 (3) 33-34。

虚拟教学交互系统的设计和实现 篇7

本文主要研究了虚拟教学交互的设计思想，设计方案；实现它的系统构成，核心技术组成，技术实现。

1 设计思想

虚拟教学交互中的操作交互，信息交互（学生与教师的交互，学生与学生的交互）都达到最佳状态。因此，更有利于促进以操作交互，信息交互为基础的概念交互的形成。而概念交互正是我们实施虚拟教学交互的终极目的所在。也即促进学习的产生。

2 设计方案

整个系统的设计方案框图：

3 虚拟教学交互的系统构成

(1)分布式计算机系统、计算机图形的采样系统与图形交互作用技术。(2)虚拟教学交互环境发生器。(3)INTERNET。(4)3D视景图形生成器及立体图形显示系统，基于图形之上的视景生成技术是用来显示模型及生成建立在该模型之上的图形。(5)多媒体音响设备和高品质的扬声器输出系统，这是虚拟交互环境里各层面信息中的一个不可或缺的构成部分。(6)触觉感知的生成是通过力反馈实现的。(7)身体的的动作、头部、眼睛、手移动的追踪监测系统，位置移动的动态追踪是人和虚拟交互系统之间信息交互的一个关键动态变量。(8)INTERFACE环境及3D的信息交互方式。(9)各种数据库。(10)软件支撑环境，需建立并开发出虚拟世界数据库。

4 核心技术

4.1 VR逼真效果的呈现

具有尽可能高的逼真效果，VR的沉浸性特点是虚拟技术追求的一个重要目标。

4.2 开发先进的传感器

VR的交互性是人与计算机合二为一的根本，传感器系统及配套的软件系统的好坏决定了交互性能的优劣，交互程度的高低。虚拟教学交互研究的主要是设计出相应的交互系统并对其有效性进行科学评价。我们通常进行设计的方法有两类：根据实际的应用程序的特定要求，利用经验和基于经验的大胆创新设计出交互技术；根据要完成工作的不同组成部分划分作为依据进行设计。

4.3 分布式的计算机交互系统

4.3.1 网络环境

VR系统在计算机科学领域中，它应该被设计成一个交互、分布、实时和多维化信息的处理系统。构成VR系统的核心技术是要有与之相适应的多维的，交互式的，实时的，分布式网络环境。

4.3.2 数据压缩技术

为使VR系统能实时地处理尽可能多的数据和信息，一方面我们要使用高速的CPU；另一方面我们要研发和使用与之相应的数据压缩和合成软件。

4.3.3 虚拟交互环境集成系统

我们的虚拟交互系统接收到的信息有来自虚拟世界本身和现实世界两个部分。因此我们需要对两部分的信息进行综合集成，使之高度融合，这是也是其中一项重要工作。这个问题的解决主要依赖即虚拟环境生成器来完成。集成的作用是把各个部分小系统组成一个大系统使得整个系统的性能更优化，功能更强大，实时交互速度更快。

5 虚拟教学交互的实现

5.1 学生和教师与交互系统的接口：

主要组成有头盔、传感手套计算机。

5.1.1 头盔

头盔主要是用来采集和输出来自眼睛，位置，耳朵，和声音这些信息的。因此它应该包括显示器、位置跟踪器、语音输入系统和语音输出系统。

显示器可以使用背光液晶显示器（LCD）头盔以实现小型彩色显示，提供100°到110°水平，±60°垂直双目视场。图象更新率60Hz。这样在显示器中的出现学习对象形象和环境背景的区分度高，能够清晰被识别。

在位姿传感器部分，我们的目的是对人的位置进行实时追踪。要对人的整体位置定位，必须完成视觉显示对手、眼，腿和身体的各个部分跟踪。可使用磁跟踪器，使用它的好处是可以尽可能扩大跟踪运动的半径并解决运动中可能产生的视觉阻挡问题。

立体声耳机设备，是用来采集声音数据的。比如老师听到学生从某处发出声音，耳机采集的声音数据进入头盔，教师就可以相应的调整头部或身体方向，这样发出声音的学生就被跟踪到头盔显示器。

语音输入系统利用扬声器实现。主要承担语音合成和语音识别两大任务。他们二者的关系是理是识别系统得出的结果交给合成系统进行确定然后做出反馈。在教学过程中当学生向老师发出疑问时，系统识别结果首先交由识别系统进行判断，判断结果交给合成系统确定后决定应该调用哪种数据库也即给出反馈信息，最后的结果输出到显示器上。

5.1.2 传感手套

因为是教学系统，所以最好选用方便灵巧的传感手套。可以采用光纤手套。

当教师做出手的动作及手势命令时，传感手套就会把这些动作指令传送给计算机主机，主机软件系统根据教师操作的学生对象，挑选最佳的解决方案。最后把显示结果输出到给头盔的显示器中。（图4)

5.2 图象生成器

现在的虚拟交互系统要求把3D画面做的仿真度极高，如何实现沉浸感强、仿真度高取决因素在于图像生成器。好的图像生成器像素级别可以达到亿/秒和百万数量级的三角形。使用高速的图像生成器和好的三维引擎可以解决这个问题。

5.2.1 多维几何系统的基础算法

矢量的代数运算和矩阵运算是高等代数中常用的最基本的计算，这是3D技术应用的基础是也是多维几何系统的基础算法。

5.2.2 虚拟建模

主要采用3D MAX来完成虚拟环境的建模。得出的数据交由转换器处理成xFile格式，导入到引擎接口软件。

5.2.3 引擎接口软件

我们这个虚拟交互系统所用的软件为达到很好的兼容性，所以采用Microsoft的系列开发工具，在这部分中，采用比较流行的DirectX 6.0中的Ddraw和D3D技术。

5.2.4 多事件并行处理

在软件系统中，要求对多种的不同事件进行并行实时处理，才能达到深度交互的程度和目的。

5.3 多数据库组合

多种不同的数据库系统的组合构成了整个虚拟教学交互系统的数据库，(1)采集学生的各项信息的信息采集数据库。(2)视觉输出信息数据库。(3)听觉输出数据库系统。(4)语音识别数据库。(5)光纤手套传感器数据库系统。(6)头盔位姿传感器数据库系统。

视觉输出数据库：教室或实验室的建模属于空间建模，可以采用建筑漫游模型来实现。可用实时漫游算法进行软件设计。听觉输出数据库：为了模拟学生和教师听觉的真实性，声场模型可采用只有少量一阶和二阶反射的房间声学来建模。

5.4 计算机硬件要求

因为要实现实时虚拟交互，这样就要求CPU要有高帧频和快速及时响应的能力，如果CPU的配置不足就会大大降低系统性能。主机要配备图形加速器，要有足够容量的内存空间，高性能向量处理机，带宽速度也要高配置。

虚拟教学交互系统是专门为教学设计的，所以对计算机硬件设备的使用可以采用PC机。最基本的配置还应包含有头部跟踪器、HMD、3D声音、图形加速器和光纤传感手套。

5.5 计算机软件要求

对于如何能使更多的人共享该系统的资源问题。我们需要把系统中的数据传输到INTERNET上。这就要用到高速通讯软件。采用SIMNET系统，使用以太网和T1链，这样整个虚拟交互系统中每个节点都具有有一致的世界模型。

参考文献

[1]史志强.论多媒体及其交互性.电化教育研究,2001(4):21.

[2]陈丽.“术语‘教学交互’的本质及其相关概念的辨析”[J].中国远程教育,2004,(2):24-28.

交互式模具虚拟实验系统的开发 篇8

随着国家经济结构的调整和一系列政策的实施, 中国制造正在朝中国智造转变。作为培养应用技术型人才的本科院校, 在专业设置、培养方案、实验教学模式等方面应积极创新改革以适应企业技术革新、产业升级对应用技术型人才的需求。模具课程作为材料成型与控制本科专业的骨干课程, 是理论与实践有机结合的综合应用课程。模具实验教学是模具课程教学中一个重要的教学环节。通过模具实验教学可以认知模具的结构、功能、成型工艺。由于模具产品种类多样, 不同产品所需的模具结构功能各异, 模具结构认知一般通过拆装具有代表性的模具来完成。实物拆装典型模具的优点是直观、形象, 可增加感性认知。但大多模具实验室受场地、时间、模具种类、拆装难易程度等的限制, 同时供拆装实验用的模具的安全管理、维护、更新比较困难, 难以进一步提升学生对模具设计、制造、成型工艺相关知识的熟练掌握。为此, 提出了开发交互式模具虚拟实验系统的构想。基于UG软件, 开发一套方便学生学习、教学互动性强的交互式模具虚拟实验系统。可以结合模具实物拆装实验, 提高实验教学效果, 对提高学生对模具知识的学习效率、掌握模具实际工程应用能力都具有重要意义。

1 交互式模具虚拟实验系统开发思路

构建交互式模具虚拟实验系统, 主要包括模具结构功能演示、模具虚拟拆装实训、模具虚拟运动仿真、模具虚拟实验评价4个功能模块。另开发相应工具箱辅助实现上述4个功能模块。现就这4个主要功能模块开发思路进行介绍。

1.1 模具结构功能演示

按照模具的分类方法, 通过模具虚拟实验系统了解冷冲压模具和塑料模具典型模具系统的组成部分, 以及模具工作原理及成型工艺, 同时提供标准部件。如冷冲压级进模系统的送料机构、卸料机构, 注塑模具中的浇口等。利用UG平台提供诸如设置透明度、缩放、旋转、平移、隐藏部件、显示部件、剖面显示等观察工具。

1.2 模具虚拟拆装实训

模具虚拟拆装实训是交互式模具虚拟实验系统的核心部分, 模块主要包括:1) 标准的模具装配演示, 通过播放装配过程动画配以必要的文字说明, 观察装配完好的模具, 熟悉模具零部件的装配顺序。同时通过对模具的旋转、放大观察、验证相关理论知识。2) 实现模具自主拆装实训, 模具拆装可以采用从上到下的柱状式拆装, 也可以采用从内到外的功能树式拆装。装配开发的思路是, 利用模块爆破功能把整体模具数字化模型中所有的零部件拆开, 散落在四周, 学生按自己的装配设计依次点击图中零部件。系统判断选择对错, 同时提示下一步备选零部件。装配结束后, 系统提示“装配结束”。拆装过程与装配流程相反, 在拆装的过程中提供拆装工具库, 加强拆装工具的熟练使用。系统会及时提示拆装部件位置是否准确到位, 交互式提醒学生拆装错误信息。

1.3 模具虚拟运动仿真

启动UG6.0, 进入交互式模具虚拟实验系统, 打开三维模具文件, 利用UG仿真工具箱, 输入相关运动参数后, 进行模具仿真过程。在仿真过程中, 学生可以在仿真停止或暂停状态下, 点击系统帮助工具知识索引文件, 查询相关机构的知识。以冷冲模为例, 仿真初始状态为上下模分离状态, 仿真开始后, 上模与下模闭合, 经过送料、压料、成型、卸件, 回到原始状态, 完成一个冲压进程。仿真过程可以实现仿真连续进行或单步仿真, 同时仿真停止状态下, 利用系统帮助工具查询模具结构和相关知识。

1.4 模具虚拟实验评价

建立交互式模具虚拟实验系统, 是基于模具设计、制造、装配、维护的项目驱动理念。通过模拟模具工业真实环境, 可以更好地实现模具专业理论知识和实践动手能力的衔接。教师通过模具虚拟实验评价模块, 可以了解学生对模具结构、功能、制造工艺、材料成型过程知识的认知水平, 从而做出科学合理的评价。

2 交互式模具虚拟实验系统实现方法

交互式模具虚拟实验系统基于UG6.0三维软件系统, 利用UG二次开发工具以及Visual B 6.0。通过模具数字化建模、功能工具开发、模具数据库构建, 完成交互式模具模拟实验系统。模具数据库采用参数化设计, 可以通过不同参数输入, 构建典型的模具实例, 学生通过系统拆装演示、自主拆装、运动仿真、结构认知以及模具数字模型旋转、缩放、平移、透明、隐藏、剖面观察工具, 并结合对应真实模具拆装可以实现模具虚实教学最理想的教学效果。

2.1 模具结构功能演示

典型模具结构分析演示和相关知识点的文字叙述是模具结构演示模块要实现的主要功能, 其实现需要事先在模块后台做好数据库准备, 根据模具机构的功能分类, 在UG下, 点击模具结构树状结构分布图, 每一个结构通过链接模式进入到EXCEL模式, 通过EXCEL表格查阅模具结构名称、功能以及制造工艺。EXCEL表格的文件名是模具结构部件名称和组件在装配状态下零件序列号的组合信息, 供模具结构演示中查询相关信息使用。

2.2 模具虚拟拆装实训模块

模具虚拟拆装实训模块包括两个部分:1) 标准的模具装配演示, 教师在UG装配环境下, 演示标准模具装配效果图、模具零部件爆炸效果图, 同时展示标准模具数模的零部件层次树状结构图, 让学生熟悉正确的模具零部件装配顺序。2) 模具自主拆装实训, 由于UG爆炸图功能有限, 无法满足自主拆装所需要的功能要求, 需要自主开发存函数支持零部件拆装时移动箭头指示动能, 以此为基础完成自主拆卸与装配。在自定义部件移动箭头的过程中, 需要更新装配体装配状态, 需要关闭文件再按照原始状态重新打开。

模具自主装配过程要比自主拆卸的顺序判断过程复杂, 需要在软件后台做必要的技术处理。按照正确的装配顺序在模具所有零部件文件名后缀中加以体现零部件的装配优先权。如果后缀中是A, 则表示该零部件是需要第一个装配的。若装配正确, 系统会提示装配正常, 提示下一步操作, 同时显示下一步装配零部件。若装配顺序错误, 则系统弹出装配错误提示框。需要重新选择正确装配零部件。

为了更清楚地看到装配过程和装配零部件间的尺寸配合关系, 自主装配过程采用定位、移动、贴合三步, 每步之间均有时间间隔, 零部件装配到位后, 高亮显示配合部分, 学生可以判断装配是否准确。全部装配完成后, 系统会提示模具装配结束。

2.3 虚拟运动仿真模块

虚拟运动仿真模块的实现主要利用UG软件现有的运动仿真模块来进行, 利用宏拓展运动仿真模块的功能。点击运动仿真实验模块, 系统切换到运动仿真操作界面, 点击该模块相关工具条, 输入模具运动参数, 保存后点击完成, 然后点击播放按钮, 模具开始仿真模具运动。在运动过程中, 通过点击暂停按钮, 借助模具模型的旋转、隐藏、透明度设置可以观察模具系统内外部结构和零部件的运动和彼此的装配情况。

3 交互式模具虚拟拆装实验系统应用

图1所示为开发交互式模具虚拟拆装实验系统拆装演示, 在系统虚拟拆装模块下进行。通过点击模型爆破图标, 将所选模具模型依序爆破分解。学生借此可以观察模具系统零部件之间的配合关系。

图2所示为所开发系统自主拆装模块自主装配图, 点击自主安装菜单选项, 系统自动更新为零部件散落状态, 学生按照合理装配序列依次点击选中的零部件模型进行装配, 在系统装配零部件提示下, 自我判断所选的零部件是否最优。

图3所示为模具运动仿真图, 在运动仿真操作界面, 点击播放按钮, 模具开始运动, 注意观察运动期间模具系统零部件相对运动时彼此之间的约束关系。

4 结论

模具实验教学是模具课程教学中的一个重要的教学环节。通过模具实验教学可以认知模具的结构、功能、成型工艺。由于模具产品种类多样, 不同产品所需的模具结构功能各异, 传统模具实验教学通过拆装具有代表性的模具来完成教学。实物拆装典型模具的优点是直观、形象, 有利于增强感性认知。但受场地、时间、模具种类、模具套数、拆装难易程度等的限制, 难以进一步提高学生对模具设计、制造、成型工艺相关知识的熟练程度。基于UG开发的交互式模具虚拟实验系统开放性好、教学互动性强, 可以结合模具实物拆装实验, 提高实验教学效果, 对提高学生模具知识学习效率、掌握模具实际工程应用能力都具有重要意义。

摘要：针对模具应用技术本科在实验教学中存在的问题, 引入交互式模具虚拟实验系统开发设想。基于UG6.0软件, 构建交互式模具虚拟实验系统, 学生通过模具结构的功能演示、虚拟拆装实训、虚拟运动仿真、虚拟实验评价模块, 可以快速提升学生对模具知识的理解和应用能力, 实现了互动式实验教学, 可推广应用于模具教学培训。

关键词：模具教学,交互式虚拟实验,拆装实验,运动仿真

参考文献

[1]赵悦, 单岩.模具虚拟实验室的研究与开发[J].轻工机械, 2011, 29 (6) :91-94.

[2]王海根, 杨友东, 刘福庆.模具虚拟拆装系统在模具教学中的应用[J].模具工业, 2011, 37 (8) :1-4.

[3]付宏生.模具虚拟制造技术运用于教学的研究[J].模具工业, 2008, 34 (12) :3-6.

[4]冯桂珍, 池建斌.模具虚拟实验系统的开发[J].河北省科学院学报, 2011, 28 (2) :21-25.

[5]刘念聪.冷冲压模具虚拟实验室的构建[J].中国现代教育装备, 2008 (12) :121-122.

基于体感交互技术的虚拟展示系统 篇9

关键词：体感交互,虚拟展示,动作识别,人机交互

很多研究表明, 结合体感交互技术与虚拟展示技术, 能消除人机交互当中的硬件隔阂, 极大地增强虚拟展示系统的沉浸感, 同时为体感交互技术的应用与普及提供一种实践模式。虚拟展示系统利用虚拟现实 (Virtual Reality) 与人机交互 (Human Computer Interac⁃tion) 技术作为辅助, 通过具有沉浸感与交互性的虚拟环境展示特定的内容, 从而达到信息传递的目的。虚拟展示系统已被广泛地应用于虚拟漫游[1]、科学仿真[2]、艺术展览[3]等应用领域。与传统展示方式相比, 虚拟展示有利于信息的整合与逻辑化表现, 同时打破了信息传递过程中的地域约束与时间限制。然而, 用户与计算机之间的硬件交互设备却一直是参观者与虚拟世界的隔阂, 而体感交互技术正好为消除此隔阂提供了一个有效解决方案。

本文选用了高效的人体动作识别算法, 通过开源的体感交互开发平台Open NI提供的数据接口, 将人体动作数据输入虚拟现实引擎Unity3D, 进而在Unity3D中完成体感交互方式的设计与虚拟展示系统的搭建, 最终完成一套基于体感交互技术的虚拟展示系统。

1 体感交互

1.1 体感交互的发展

鼠标的发明, 使人机交互方式从早期的命令行界面 (Command Line Interface) 逐渐转变为图形用户界面 (Graphical User Interface) 。此后的数十年间, 人控制计算机的方式并没有革命性的变化。直到近年来触摸屏技术被广泛应用, 人机交互开始由图形用户界面开始向自然用户界面 (Natural User Interface) 转变。

体感交互是自然交互中的一个重要方面[4], 可以通过去除用户与计算机之间的硬件约束从而降低用户的认知负荷 (Cognitive Overhead) 。基于体感交互技术的研究已经有过不少的尝试[5,6,7]。直到最近, 随着实时深度摄像机技术[8]与体感交互算法[9]的日渐成熟, 特别是Microsoft Kinect与ASUS Xtion PRO的相继发布, 体感交互技术已显露出它在电子娱乐、互动教育、医疗辅助、机械视觉等实际应用中的巨大潜力。

不少研究已经尝试过将体感交互与虚拟展示进行结合。早在20世纪90年代末, Penny[10]便尝试利用12台摄像机环绕在一个洞穴式投影系统中, 通过体数据实时描绘空间中的人体动作。Mc Ginity[11]建立了一个环形的虚拟剧场, 通过红外摄像机识别人体的剪影, 可检测到人体的手指等特定部位。Gronbaek[12]基于计算机视觉技术识别人体躯干, 开发出一个具有交互性的地板式显示设备。Benko[13]在一套穹顶式显示设备中加入了简单的手势交互功能。这些尝试为体感交互与虚拟展示的结合提供了很好的参考, 然而, 这些方法都缺乏一套高效的硬件技术以及高鲁棒性的动作识别算法, 使得这些体感交互技术缺乏实用性。

1.2 深度摄像机

用于体感交互技术的硬件研究一直在进行中[6,7], 然而这些方法都因为计算成本过高或鲁棒性过低而相对缺乏实用性。直到近年来, Freedman基于结构光技术[14]申请了一项新的专利[8]。该技术通过往空间物体中投射特定的红外线结构光斑来重构三维空间的深度图像, 并达到较高的帧速率以实现实时深度数据的采集。这项专利后来变成Kinect的核心技术, 使低廉但高效的体感交互设备成为可能。

1.3 动作识别算法

随着实时深度摄像机技术的日渐成熟, 用于体感交互的人体动作识别算法也在不断进步。Zhu[15]通过对深度图像数据与人体运动模型进行密度对比, 区分出人体结构的各个部分, 再通过反向动力学将这些数据连接到人体运动模型上实现动作的识别。这个算法要求大量的运算, 同时需要用户进行动作的初始化。Ganapathi[16]的方法结合了人体结构分析与爬山算法, 通过GPU加速技术提高了算法的效率。

不同于传统的动作识别算法, Shotton[9]提出了一个全新的方法将动作识别问题转化为普通的形状识别问题。对于深度图像I当中的像素点x, 其特征值为

式中:dI (x) 为像素x的深度值。当用户进入图像后, 无论他离摄像机多远, 都可在其身体的固定某个部位设定一个坐标, 而θ= (u, v) 用以描述像素对应该坐标的偏移值u与v。将dI (x) 进行归一化处理后乘以这两个偏移值, 进而分别求出两个深度值。将两值作差后, 获得特征值fθ。当该像素是背景图像时, dI (x) 会被赋予一个极大的正常量。

本算法选用的人体数据库包含了约50万帧人体动作数据, 其中涉及的动作类型包括驾驶、跳舞、踢、跑、菜单选择等。通过此数据库可训练出一个基于像素的人体结构分类器, 从而将身体分成了31个人体结构标签。利用决策树 (Decision Tree) 可以将图像I当中的像素点x进行分类并贴上特定的标签。设决策森林有T棵决策树, 树中每个叶子节点都包含一个特征值fθ和一个阈值τ, 在树t中, 存储了关于人体结构标签C的已知分布Pt (C|I, x) , 定义这样一个分布用于描述像素点, 即

已知的像素深度值dI (x) 保证了权重值的深度不变性, 之前处理好的P (C|I, x) 用于确定像素人体结构标签的相关性, 则有

式中:wic为像素的权重值, 用于表示像素对于标签C的概率。

最后, 利用均值漂移算法 (Mean Shift) 来确定人体关节点。所有权重值达到特定阈值的像素点都被归类到标签C所对应的关节点上, 这些权重值的总和便是该关节点的置信度预测。当关节点的置信度达到特定阈值后, 便被输出作为算法的最后结果。

本算法展现出较高的准确性, 同时在普通硬件上能取得200 f/s (帧/s) 的处理速度。与Ganapathi[16]的算法置于同一测试环境下进行比较, 结果显示此算法不但平均准确率较高, 算法的运行速度更是提高了10倍以上。该方法已作为人体动作识别的核心算法用于Kinect体感交互设备之中。

2 系统的设计与实现

2.1 系统功能设计

根据Heim[17]的理论, 人机交互技术在虚拟环境中主要有两大意义:第一是通过特定的交互方式来控制用户在虚拟环境中的视角;第二是允许用户与虚拟环境中的物体或其他用户进行交互。因此, 本系统主要从这两个方向入手, 利用体感交互技术实现虚拟展示系统中的基本控制, 为将来更多复杂的交互方式打下基础。系统实现的两大功能为:

1) 用户无须使用任何硬件设备, 利用手掌移动实现虚拟展示系统的视角控制;

2) 用户动作与虚拟角色动作同步, 用户能通过身体动作与虚拟环境进行交互。

2.2 系统框架

本系统开发框架如图1所示。

在硬件层级, Microsoft Kinect以其成熟的硬件[8]以及高效的算法[9]被本系统选用。另外, 与ASUS Xtion⁃PRO相比, Kinect拥有更好的硬件质量, 支持更多软件开发工具, 对系统有更高的兼容性。在硬件的输出端, 可根据展览需求使用不同的声音与图像输出设备。本文选用普通PC的输出设备以测试系统的可行性, 其输出接口可用于今后引入其他输出设备。

在软件层级, Unity 3D是一款功能强大的渲染引擎, 整合了一套完整的开发工具, 能通过快速的开发流程创造出可交互的虚拟空间, 其脚本系统为开发者提供了极大的灵活性。Open NI是开源的多语言跨平台的开发框架, 由Kinect的硬件生产商Prime Sense公司所支持, 在体感交互开发中得到广泛的应用, 因此本系统以该平台作为开发构架。在Open NI的框架之下, 需要通过插件NITE进行动作识别功能的开发。

2.3 动作识别的实现

Open NI中对人体骨骼的定义是通过关节点来构成, 每个关节点里面都有位置和方向两个关键参数。Open NI一共定义了24个关节点。目前在使用插件NI⁃TE进行动作识别时, 最多只支持其中的15个关节点。

Open NI中定义了一个很重要的类, 用以充当内部沟通的基本单元, 称为生产节点类 (Production Node) 。每个生产节点类都有明确的生产功能, 例如, 用户生产节点类用于处理用户数据信息, 判断用户的状态;深度生产节点类用于读取深度图像或输出深度图像等。

生产节点掌管着Open NI框架中所有基础且必要的功能, 使用Open NI进行开发时离不开生产节点。然而Open NI还定义了另一种类, 用以实现一些进阶功能, 这些功能不是必须的, 当开发者需要时可以调用, 这种类有一个形象的名称, 叫能力类 (Capability) 。

在实现动作识别的过程中, 主要用到一个生产节点类与两个能力类, 其核心算法流程如图2所示。

在开始识别用户动作之前, 首先需要调用用户生产节点类对用户进行检测。生产节点类的使用要通过回调函数, 因此初始化用户生产节点类时注册了New User和Lost User两个回调函数, 对应用户出现和用户离开两个事件。当用户被检测成功时, 会调用New User函数, 开始跟踪用户, 并触发姿势检测能力类。

姿势检测能力类的功能是判断用户是否做出一个特定的校准姿势, 被检测到的用户需要做出该校准姿势后才能触发下一个能力类。姿势检测能力类中注册了回调函数Pose Detected, 当检测到新用户时会开始检测并等待用户做出校准姿势。当检测到校准姿势时, 函数Pose Detected就会被激活, 进而向骨骼跟踪能力类发出进行骨骼信息校准的请求, 同时停止对校准姿势的检测。

骨骼跟踪能力类收到骨骼信息校准请求后, 开始通过回调函数Calibration Start进行骨骼信息校准。当用户的姿势与校准姿势达到一定的置信度后, 利用回调函数Calibration End完成校准, 开始进行骨骼跟踪。如果在一定时间之内无法进行骨骼信息校准, 便重新触发姿势检测能力类, 循环进行校准姿势的检测。

根据以上的算法流程, 本系统在Unity 3D的脚本编辑环境中编写了一套脚本, 其主要功能是检测用户、校准及跟踪用户骨骼数据, 并将数据实时传递到虚拟角色的骨骼上。其核心结构如下:

该脚本注册了5个重要的函数, 分别用以调用实现动作识别所需的5个核心回调函数, 分别是核心算法 (图2) 中的New User, Lost User, Pose Detected, Calibra⁃tion Start, Calibration End。脚本中的Start函数调用5个核心函数, 会在每次脚本被调用时首先执行, 实现用户的初始化与动作校准。Update函数在每渲染一帧时都判断用户离Kinect的距离是否合适。Update Skeleton函数被虚拟角色骨骼的每个关节点调用, 用以遍历更新每一个关节点的位置和方向两个参数, 从而完成这一帧当中整个骨骼的动作识别。

3 系统测试

根据系统功能设计, 本系统主要实现了用户通过体感交互技术控制视角、与虚拟世界进行交互两大功能。在测试中, 当用户进入Kinect检测范围后, 系统会提示用户摆出校准姿势。姿势校准成功后, 用户的动作与系统中虚拟角色的动作会实时同步。此时用户可以提起右手往屏幕方向做出一个“点击 (Click) ”的动作, 系统识别该动作后在屏幕中会出现一个控制点, 用以跟踪用户手掌位置。用户的视角会根据该控制点的移动而相应地改变, 以实现通过体感交互控制用户视角。同时, 用户可使用左手拍打虚拟角色旁边的一个三维按钮, 以激活场景中特定的事件, 以测试用户与虚拟世界的交互。

为了模拟虚拟展示系统的硬件消耗, 本系统的测试场景运用了大量的渲染特效, 如水体模拟、大气光效、实时风效等, 以确保在高沉浸感的前提下实现体感交互。图3为系统特效全开的实时截图。

测试选用了一般家用计算机硬件环境 (双核CPU、2.3 GHz;2 Gbyte内存;512 MHz独立显卡) , 在分辨率为1 280×768、场景特效全开的情况下进行体感交互。测试结果显示系统运行的帧速率约为20~30 f/s, 基本满足虚拟展示所要求的画面流畅性。另外, 实验结果显示系统具有一定的鲁棒性。在不同性别、不同身形的用户实际测试中, 所有用户均被系统成功检测。同时, 在熟悉了系统的姿势校准方式后, 所有用户的动作都能被成功跟踪, 从而实现与虚拟场景的体感交互。用户完成交互并离开测试环境后, 系统能自动恢复到初始状态, 新的用户可重新对系统进行控制。

与Gronbaek[12]和Benko[13]的方法相比, 本系统无须用户佩戴或触碰任何硬件, 真正消除了用户与计算机之间的硬件隔阂。相对于Mc Ginity[11]的方法, 本系统实现了用户骨骼数据的捕捉, 能实现更为复杂的体感交互, 同时在系统的鲁棒性上有了大幅的提高。

4 结语

本文提出了一套基于体感交互技术的虚拟展示解决方案, 并通过高真实度的虚拟场景测试了体感交互技术在虚拟展示系统中的实用性。测试结果表明系统在普通硬件环境下能达到高于20 f/s的运行性能, 满足一般虚拟展览需求。另外测试显示系统对用户动作的识别度高, 具有一定的鲁棒性。

虚拟交互 篇10

关键词：无人机；操作训练；虚拟仿真；Pro/E；3DS MAX；Cult 3D

中图分类号：TP391文献标识码：A文章编号：1674-098X(2011)03(a)-0000-00

长期以来，无人机装备的操作训练一般依赖于实装开展，受到场地、人员、装备维护保养的限制，具有效率低、代价高、训练内容片面的弊端。利用虚拟仿真训练系统进行无人机操作训练，能够有效克服实装训练中存在的问题，且经济、智能、可重用，具有广阔的应用前景。

无人机虚拟仿真三维交互模型作为用户训练中的直接操作对象，对整个虚拟仿真训练系统起着至关重要的作用，必须具备逼真的外观形象和强大的交互功能，其设计实现涉及到计算机仿真与虚拟现实的相关技术和结合机制问题。采用Pro/E、3DS MAX及Cult 3D软件相结合的形式，利用三者之间的兼容性进行优势互补，是解决上述问题的有效途径[1-4]。在分别运用Pro/E和3DS MAX对无人机实现精确建模和动画模拟的基础上，借助Cult 3D进一步实现模型的交互功能，能够有效确保无人机虚拟仿真三维交互模型的逼真度、沉浸感和可控性，对提高无人机虚拟仿真训练系统的训练实效具有重要意义。

1 无人机三维实体模型的建立

由于Cult 3D本身没有仿真建模功能，3DS MAX难以实现精确三维建模，故无人机三维实体仿真模型需借助Pro/E软件来建立[5]。Pro/E是美国PIE公司推出的一款CAD/CAM/CAE集成解决方案，是目前应用最为广泛的工业仿真设计软件之一。它采用设置特征参数的建模方式，使用参数来描述零部件的形状、尺寸和属性，所建三维模型的精度较高。图1所示为基于Pro/E软件建立的无人机某零件三维模型。

考虑到在无人机操作训练中，涉及大量的零部件的拆卸组装以及配合运动过程，无人机三维实体模型的建立采用拼接法，即先建立各个零部件的独立模型，再组装成整体，具体过程为：首先，对无人机所含零部件进行数量统计和尺寸测量，并予以标识；其次，根据统计数据和测量参数，使用Pro/MOLDESIGN模块创建各个零部件的三维模型，并予以修改和完善。所建立的单个零件模型要进行规范的命名编号，以方便后期的合成组装；再利用Pro/ASSEMBLY模块将所有零部件进行组装，形成无人机整体模型；最后将Pro/E生成的*.prt文件导出为*.stl格式文件。

图1 基于Pro/E软件建立的无人机某零件三维模型

2 无人机模型的渲染和动画设计

3DS MAX是Autodesk公司推出的一款三维动态仿真软件[6]，具有强大的材质编辑功能，能细腻模拟实物的质地和纹理，在合理的灯光效果下可以渲染出逼真的视觉效果，给用户带来强烈的沉浸感。3DS MAX的动画设计通过设置关键帧参数实现，操作方便简洁，且几乎任何参数都可作为关键帧参数，能够生成多种复杂动画[7]。3DS MAX与Pro/E相兼容，能够对其生成的无人机三维模型进行渲染加工和动画设计，从而弥补Pro/E软件的不足。图2所示为基于3DS MAX软件制作的无人机装配三维动态模型。

（a）无人机装配图1

（b）无人机装配图2

图2 基于3DS MAX建立的无人机装配三维动态模型

利用3DS MAX对无人机三维模型进行渲染和动画设计的具体步骤为：首先，将 Pro/E导出的*.stl文件导入3DS MAX，对各个无人机零部件模型进行材质编辑、灯光效果设置。零部件模型使用实物照片进行贴图，并采用Ommi和Sky灯光作为背景灯光，力求渲染效果的逼真自然；其次，按照操作训练需求制作无人机模型动画。按照具体操作步骤将动画分解成若干阶段，在每个阶段规划零部件的运行时间和顺序，确保运动的同步性和协调性。

3无人机模型交互控制的设计

Cult 3D是由瑞典Cycore公司设计制作的一款三维虚拟仿真控制软件，其基于“事件规划窗口”的流程设计方式和图形化编程模式，使得对三维模型复杂运动的交互设计变得十分简单[8]。此外，Cult 3D还提供了Java API接口，用户可以通过JAVA编程实现更强大、更复杂的控制功能。Cult 3D与3DS MAX相兼容，能够对其生成的无人机三维动态模型进行交互功能设置，生成无人机虚拟仿真三维交互控制模型。

借助Cult 3D Export插件，在3DS MAX环境下将无人机三维动画模型导出为*.c3d文件，再将*.c3d文件导入Cult 3D Designer中，即可进行模型交互功能的设计制作，具体步骤为：首先，将所需的模型对象从“场景图表”（参见图3）中的拖入“事件规划窗口”，并在“演示窗口”中设置好用户视角；

图3 Cult 3D的“场景图表”

其次，将“世界启动”和“计时器”图标拖入“事件规划窗口”，并通过 “计时器时间线编辑窗口”设置模型动画的运行时序。设置模型运动时序是极为重要的步骤，要与3DS MAX中设置的动画时间相兼容，否则将出现模型运动的错乱。制作过程中，用户可通过“演示窗口”对所设计的虚拟交互模型进行预览，查找错误并修正；然后，再将“点击鼠标左键”图标拖入“事件规划窗口”，对模型对象运动的交互触发进行设置，直至训练操作运行完毕。最后，利用“文件发布对话框”将制作好的方案导出为*.co文件，作为虚拟仿真系统开发的无人机虚拟仿真三维交互控制模型素材。

4 结语

利用Pro/E、3DS MAX及Cult 3D软件对无人机分别进行三维实体建模、动画设计、交互控制设计，最后生成了逼真的、可控的无人机虚拟仿真三维交互控制模型，能够实现对无人机的三维运动仿真，操作训练模拟，大大提高了无人机虚拟仿真训练的可行性和实际效用。

参考文献

[1] 申蔚,夏立文.虚拟现实技术[M].北京:北京希望电子出版社,2002.

[2] 周晓琪.虚拟现实技术[M].北京:电子工业出版社,2003.