无线高清手术摄像系统
jinnian金年会官方网站入口
继智能手机、平板电脑之后,虚拟现实(VR)与增强现实(AR)有潜力成为下一个重大通用计算平台。
从当前来看,更多的公司选择从VR领域进行切入,各大研究公司、投行针对VR领域的研究报告也层出不穷,相比之下,AR领域却稍显平淡。
腾讯科技旗下VR次元综合多家研究机构更为细化的报告,发布全球首份综合性AR报告,在这份报告中,我们将对AR的发展趋势、未来的挑战、应用领域、可能创造和颠覆的市场进行分析和预测。
AR是将计算机生成的虚拟世界套在现实世界上,即把数字想象世界加在真实世界之上。最典型的AR设备就是谷歌眼镜。这种智能眼镜将触控板、摄像头以及LED显示器结合起来,通过显示器,用户可以联网,并在视野内使用地图、电子邮件等服务。其他知名的AR产品还有微软的HoloLens,创业公司则以Magic Leap为典型代表。
1、融合虚拟和现实:与VR技术不同的是,AR技术不会把使用者与真实世界隔开,而是将计算机生成的虚拟物体和信息叠加到真实世界的场景中来,以实现对现实场景更直观深入的了解和解读,在有限的时间和有限的场景中实现与现实相关知识领域的理解。增强的信息可以是与真实物体相关的非几何信息,如视频、文字,也可以是几何信息,如虚拟的三维物体和场景。
2、实时交互:通过增强现实系统中的交互接口设备,人们以自然方式与增强现实环境进行交互操作,这种交互要满足实时性。
3、三维注册:“注册”(这里也可以解释为跟踪和定位)指的是将计算机产生的虚拟物体与真实环境进行一一对应,且用户在真实环境中运动时,也将继续维持正确的对准关系。
VR是让用户置身于一个想象出来或者重新复制的世界,或是模拟真实的世界。VR领域主要的产品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。(有关VR更详细的内容,可以参考VR次元发布的德银VR报告和高盛VR报告)
区分VR和AR的一个简单的方法是:VR需要用一个不透明的头戴设备完成虚拟世界里的沉浸体验,而AR需要清晰的头戴设备看清真实世界和重叠在上面的信息和图像。
Heilig是一名哲学家、电影制作人和发明家。他利用他在电影拍摄上经验设计出了Sensorama Stimulator,并在1962年获得了专利。
Sensorama Stimulator使用图像、声音、风扇、香味和震动,让用户感受在纽约布鲁克林街道上骑着摩托车风驰电掣的场景。尽管这台机器大且笨重,但在当时却非常超前。令人遗憾的是,Heilig没有能够获得所需的资金支持让这个发明商业化。
AR历史上的下一个重大里程碑是第一台头戴式AR设备的发明。1968年,哈佛副教授Ivan Sutherland跟他的学生Bob Sproull合作发明了Sutherland称之为“终极显示器”的AR设备。使用这个设备的用户可以通过一个双目镜看到一个简单三维房间模型,用户还可以使用视觉和头部运动跟踪改变视角。尽管用户交互界面是头戴的,然而系统主体部分却又大又重,不能戴在用户头上,只能悬挂在用户头顶的天花板上。这套系统也因此被命名为“达摩克利斯之剑”。
尽管这些早期的发明属于AR的范畴,但实际上,直到1990年,波音公司研究员Tom Caudell才创造了“AR”这个术语。Caudell和他的同事设计了一个辅助飞机布线系统,用于代替笨重的示例图版。这个头戴设备将布线图或者装配指南投射到特殊的可再用方板上。这些AR投影可以通过计算机快速轻松地更改,机械师再也不需要手工重新改造或者制作示例图版。
大约在1998年,AR第一次出现在大众平台上。当时有电视台在橄榄球赛电视转播上使用AR技术将得分线叠加到屏幕中的球场上。此后,AR技术开始被用于天气预报天气预报制作者将计算机图像叠加到现实图像和地图上面。从那时起,AR真正地开始了其爆炸式的发展。
2000年,Bruce H. Thomas在澳大利亚南澳大学可穿戴计算机实验室开发了第一款手机室外AR游戏ARQuake。2008年左右,AR开始被用于地图等手机应用上。2013年,谷歌发布了谷歌眼镜,2015年,微软发布HoloLens,这是一款能将计算机生成图像(全息图)叠加到用户周围世界中的头戴式AR设备,也正是随着这两款产品的出现,更多的人开始了解AR。
AR硬件发展的驱动力源于计算机处理器、显示技术、传感器、移动网络速率、电池续航等多个领域的技术进步。
智能手机正是手持设备的代表,这些设备正在变得越来越好显示器分辨率越来越高,处理器越来越强,相机成像质量越来越好,传感器越来越多,提供着加速计、GPS、罗盘等等功能这些成为了天然的AR平台。尽管手持设备是消费者接触AR应用最为方便的形式,但由于大部分手持设备不具备可穿戴功能,因此用户无法获得双手解放的AR体验。
固定式AR系统适用于固定场所中需要更大显示屏或更高分辨率的场景。与移动AR设备不同的是,这些极少移动的系统可以搭载更加先进的相机系统,因此能够更加精确地识别人物和场景。此外,显示单元往往能呈现出更加真实的画面,而且受阳光或照明等环境因素影响较小。
与所有系统不同的是,空间增强现实(SAR)系统的虚拟内容直接投影在现实世界中。SAR系统往往固定在自然中。任何物理表面,如墙、桌、泡沫、木块甚至是都可以成为可交互的显示屏。随着投影设备尺寸、成本、功耗的降低以及3D投影的不断进步,各种全新的交互及显示形式正在不断涌现。SAR系统最大的优点在于,现实世界的反射在这里更加精确,即虚拟信息能够以实际的比例和大小呈现在眼前。此外在观看人数较多时,内容也能看清,这个案例可以用来实现同步办公。
HMD代表着另一种快速发展的AR硬件类型。HMD由一个头戴装置(如头盔),以及与之搭配的一块或多块(微型)显示屏组成。HMD将现实世界和虚拟物体的画面重叠显示在用户视野中。换而言之,用户不会直接看到现实,看到的是现实的增强视频画面。如果显示屏只覆盖用户的一只眼睛,这样的HMD称为单眼HMD,另一种是两只眼睛都看显示屏的双眼HMD。先进的HMD通常能够搭载具有很高自由度的传感器,用户可以在前后、上下、左右、俯仰、偏转和滚动六个方向自由移动头部。该系统因此能够实现虚拟信息与现实世界的贴合,并根据用户头部移动作做相应的画面调整。
消费电子行业的许多公司认为,智能眼镜将会成为智能手机后下一大全球热卖消费产品。这些AR设备实际上是带有屏幕、相机和话筒的眼镜。根据这一概念,用户的现实世界视角被AR设备截取,增强后的画面重新显示在用户视野中。AR画面透过眼镜镜片,或者通过眼镜镜片反射,从而进入眼球。智能眼镜技术最为突出的例子是谷歌眼镜和Vuzix M100。不过,目前开发中的最令人激动的智能眼镜要数Atheer One该智能眼镜配有3D景深传感器,用户可以实际控制眼前显示的虚拟内容。
智能眼镜绝不是故事的结局。越来越多的研究投入到能显示AR画面的智能透镜上;微软、谷歌等公司也正忙于宣布自己的智能透镜项目。
智能透镜的理念是在传统透镜中集成控制电路、通信电路、微型天线、LED及光电组件,从而形成一套功能系统。未来或许可以用成千上万颗LED直接在眼前形成画面,从而让透镜变成显示屏。然而,还必须克服一系列难题,比如说如何给透镜供电,如何保证人眼不受伤害等等。
军事:使用AR眼镜向士兵展示战场中出现的人和物体,并附上相关信息,以帮助士兵避开潜在的危险。
导航:将道路和街道的名字跟其他相关信息一起标记到现实地图中,或者在挡风玻璃上显示目的地方向、天气、地形、路况、交通信息,提示潜在危险。
本章导读:在本章中,我们将解读AR的工作原理、关键技术,并以SixthSense(第六感)AR系统为例,更直观地还原AR工作方式。
AR介于VR和真实世界之间,VR创造逼真的虚拟世界,AR则将图形、声音、触感和气味添加到真实的世界中。
在2009年2月的TED大会上,帕蒂梅斯和普拉纳夫米斯特莱展示了他们研发的AR系统。该系统属于麻省理工学院媒体实验室流体界面小组的研究成果之,他们称之为SixthSense(第六感)。它依靠众多AR系统中常见的一些基本元件来工作:摄像头、小型投影仪、智能手机和镜子。
这些元件通过一根类似绳索的仪器串连起来,然后戴在佩戴者的脖子上。用户还会在手指上戴上四个不同颜色的特殊指套,这些指套可以用来操纵投影仪投射的图像。
SixthSense设备利用简单的、现成的元件来组成AR系统,它的投影仪可以将任何平面变成一个互动的显示屏。SixthSense设备利用摄像头和镜子来捕捉周围的环境,然后将这种图片传给手机,然后将这些信息从投影仪投射到用户面前的任何平面上,不管这种平面是一个手腕,一面墙,还是一个人。由于用户将摄像头佩戴在胸前,因此SixthSense设备能够增强他所看到的一切。例如,如果他在一个杂货店里挑选了一罐汤,SixthSense设备将能够搜索这罐汤的相关信息,例如成分、价格和营养价值甚或用户评论,然后将它们投射到平面上。
利用手指上的指套,用户可以在投射的信息上执行各种操作,这些操作将会被摄像头捕捉到,然后通过手机来处理。如果他希望了解这罐汤的更多信息,例如与之竞争的同类产品,那么他可以用手指与投射画面进行互动,从而获取更多的信息。SixthSense设备还能够识别一些复杂的手势,例如你在手腕上画一个圆圈,SixthSense设备就能够投射一款手表来显示当前的时间。
一个典型的AR系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和外设的管理;透射式头盔显示器负责显示虚拟和现实融合后的信号;头部跟踪设备跟踪用户视线变化;交互设备用于实现感官信号及环境控制操作信号的输入输出。
首先透射式头盔显示器采集真实场景的视频或者图像,传入后台的处理单元对其进行分析和重构,并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置,实现坐标系的对齐并进行虚拟场景的融合计算;交互设备采集外部控制信号,实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中,展现在人的视野中。
在增强现实系统中,首先要解决“是什么”的问题,也就是要理解、知道场景中存在什么样的对象和目标。第二要解决“在哪里”的问题,也就是要对场景结构进行分析,实现跟踪定位和场景重构。
物体检测和识别的目的是发现并找到场景中的目标,这是场景理解中的关键一环。广义的物体检测和识别技术是基于图像的基本信息(各类型特征)和先验知识模型(物体信息表示),通过相关的算法实现对场景内容分析的过程。在增强现实领域,常见的检测和识别任务有,人脸检测、行人检测、车辆检测、手势识别、生物识别、情感识别、自然场景识别等。
目前,通用的物体检测和识别技术,根据不同的思路可以分为两种:一种是从分类和检测的角度出发,通过机器学习算法训练得到某一类对象的一般性特征,从而生成数据模型。这种方法检测或者识别出的目标不是某一个具体的个体,而是一类对象,如汽车、人脸、植物等。这种识别由于是语义上的检测和识别,所以并不存在精确的几何关系,也更适用于强调增强辅助信息,不强调位置的应用场景中。如检测人脸后显示年龄、性别等。另外一种识别是从图像匹配的角度出发,数据库中保存了图像的特征以及对应的标注信息,在实际使用过程中,通过图像匹配的方法找到最相关的图像,从而定位环境中的目标,进一步得到识别图像和目标图像的精确位。