HoloLens 2设备MR 应用交互设计

这篇具有很好参考价值的文章主要介绍了HoloLens 2设备MR 应用交互设计。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

AR 眼镜实现了虚拟世界与现实世界的融合,完成屏幕的“跨越”,人机交互设计也从二维平面迈向三维世界。目前,MR 应用的人机交互界面仍然处于早期发展阶段,各种理念和方法仍处于逐步形成与应用阶段,低成本地完成使用者从传统屏幕交互方式向3D 自然交互的过渡是MR 应用开发设计人员应当认真思考的问题。

01、指示光标

光标或指示图标为使用者的操作提供持续的操作点反馈,类似于PC 界面中的鼠标,用于指示当前操作区域、对象、输入位置等,它不仅是使用者信息输入的着力点,也是HoloLens 2设备了解使用者关注点的重要途径,通过光标或指示图标使人机交互变得可视化、更直观、更高效。

在MR 应用中,通常有3 种类型的光标:指尖光标、射线光标、凝视光标,但这3 种类型的光标在HoloLens 1 代和2 代中的支持情况并不相同,具体如表11所示。在使用MRTK开发时,其提供了非常直观的包围盒与调整点,可以协助使用拖放、缩放、平移完成相应操作。

■ 表1  指示光标支持情况

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

1●指尖光标

为避免误操作和引起混淆,HoloLens 2 设备中只有食指可以使用指尖光标,同时,为营造更好的用户体验,指尖光标尺寸的大小会根据手指与UI 面板的距离进行缩放,如图2 所示。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图2 指尖光标会根据用户手指与操作目标的距离调整大小

2●射线光标

射线可以允许使用者远距离操作虚拟元素,射线光标用于指示射线与虚拟元素的实时交互,以直观的方式反馈射线与虚拟元素的交互情况,射线光标如图3(a)所示。

3●凝视光标

凝视光标是一个点,通过头部运动控制光标位置。凝视光标需要与其他输入方式结合才能实现对虚拟元素的操作,如隔空敲击、语音命令、手势操作等,但在HoloLens 2 设备中,凝视光标最好不要与隔空敲击手势结合使用,因为隔空敲击手势会与射线手势冲突而引发混乱。凝视光标如图3(b)所示。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图3 射线光标与凝视光标

除使用系统自带的光标图标,也可以使用自定义图标,但在使用自定义图标时,为防止使用者产生困惑或操作不便,通常应当遵循以下的原则。

体验要素

光标尺寸

光标不应大于操作目标

根据使用场景决定光标缩放,但需要确保光标在很远的距离时也清晰呈现,不因变得很小而不可见

在缩放光标时,使用缩放动画平滑过渡

切记勿喧宾夺主,遮挡虚拟元素

使用无方向

指示光标

使用圆形或者环形光标,而不是使用传统PC中的箭头光标,因为在3D环境中,箭头光标很容易让人误解为希望使用者转移关注点

使用箭头光标的特例是指示交互操作,如在缩放虚拟元素时,可以短暂的使用箭头光标指导使用者进行操作

外观

在绝大部分场景下使用圆形或环形光标

使用适合应用体验的颜色与形状

使用易于分辨的颜色

透明的小光标在绝大多数场景下工作得很好

注意光标的阴影与高亮效果,使用不恰当时很可能会遮挡虚拟元素并分散使用者注意力

光标应与环境中的表面对齐,与环境表面对齐的光标会给人很好空间感知效果

当光标处于可交互虚拟元素周边时,可以将光标吸附到可交互元素上,这会增强使用者操作虚拟元素的能力

视觉提示

当光标与可交互对象接触时,可以通过改变其形状或颜色提示使用者虚拟元素的可交互性,方便使用者操作

在使用空间感知的应用中,光标应与环境的表面对齐,这会大大的增强虚实沉浸感

关注光标落空(不与任何虚拟元素交互时)时的表现,如可以预设一个距离呈现光标

操作反馈

可以通过改变光标图标的形状来表现不同的可操作类型

只在必要时才添加附加信息到光标,不然很容易造成使用者困惑

状态提示

使用光标显示使用者的输入状态或输入意向,如显示手部的虚拟数字模型,明确告知使用者系统已检测到其手部状态并为即将进行的操作做好了准备

在使用者使用语音命令时,改变光标的颜色或者图标,给予使用者明确的反馈

使用不同的光标图标和状态来表示不同的状态,如默认状态、已检测到虚拟物体的状态、虚拟物体可交互的状态、光标悬停在虚拟物体上的状态等,但在整个应用中,光标图标应保持统一

02、可交互对象

在传统应用中,通常使用按钮触发应用逻辑中的某个事件。在三维MR 应用中,任何虚拟元素都可能是触发事件的可交互对象,如从桌子上的咖啡到悬浮在空中的气球。当然,也可以在UI 中使用传统的按钮,而这些按钮的可视化形式也可以自行定义。

在MR 应用中,可交互对象应当与不可交互对象区别开来,以便使用者能直观、便捷地了解所关注对象的交互性。

1●视觉提示

MR 应用营造了与真实世界一样的虚拟体验,这也意味着使用者获取信息的主要来源为视觉信息输入,因此,需要让计算机和使用者都了解当前使用者的关注点,所以为每个可交互对象、使用者的输入状态提供不同的视觉提示变得非常重要,这不仅可以帮助使用者了解场景中哪些对象是可交互的,哪些是不可交互的,也能让计算机了解当前使用者的关注点及预交互对象。

2●远程操作

使用者可以使用手部射线、凝视、控制器与距离较远的对象进行交互,通常建议对观察、悬停、按下(抓取)3 种使用者输入状态使用不同的视觉提示反馈,可以通过改变颜色、缩放对象、高亮对象等方式表达状态的改变,这有助于使用者了解当前操作的进展,增强操作自信,如图4 所示。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图4 对使用者的远程操作状态进行视觉反馈

3●接近操作

HoloLens 2 设备已支持手势跟踪和输入,利用它可以非常方便地以自然的方式与对象进行交互。从技术层面来讲,精确地对手势进行识别是一件非常复杂的任务,特别是对手部深度的判断可直接影响交互的主观感受,提供足够多的可视反馈来传达交互状态变得非常重要。通常而言,直接的手势操作可以分为以下阶段:默认(非交互状态)、悬停(手指接近可交互对象)、交互点(反映手指与对象的距离情况)、接触(手指与对象发生碰撞)、抓握(选择并抓握对象)、脱离(接触结束),以不同的颜色或者可视化方式表达上述的不同阶段非常有利于使用者对自己的操作进行直观判断。在接近操作时,可以通过颜色、指尖照明、指尖光标、音效等方式表达使用者与对象交互状态的变化,如图5 所示。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图5 对使用者的接近操作状态变化进行视觉或音效反馈

4●音效

正确地使用不同的音效表达不同的操作阶段能进一步改善使用者的体验,可以在接触开始、抓握、脱离接触时播放不同的音效,帮助使用者确认当前操作。

5●语音命令

由于使用者可能在任何环境、状态下使用MR 应用,在某些情况下使用者可能不方便使用某一种输入方式,这时提供另一种替代的交互选项就变得非常重要,一般情况下,除手势交互手段外,建议至少提供语音命令或者凝视操作支持。

6●目标大小

目标对象的渲染大小会随其与使用者的距离发生改变,过小的目标对象非常不便于操作,为提高使用者操作的便捷性,对于使用近端手势操作的目标对象,建议最佳操作距离为45cm、最佳查看角度大于2°,物理尺寸不小于1.6cm×1.6cm,如图6所示。对于直接交互的按钮,建议最小为3.2cm×3.2cm 以便包含图标及文字。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

 文章来源地址https://www.toymoban.com/news/detail-642845.html

■ 图6 近端操作时目标大小建议

而对于使用手部射线进行远端交互的目标对象,建议目标对象距离为2m,查看角度不小于1°,最小尺寸为3.5cm×3.5cm,如图7 所示。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图7远端操作时目标大小建议

03、本能交互

HoloLens 2 设备将简单、本能交互这一理念贯穿于整个MR 交互设计中,所谓本能交互即人在自然世界、社会中长期形成的与世界及与他人交互的固化交互模式,这种交互模式符合日常生活的行为习惯,是一种本能行为,如人们想喝水时,会很自然地用手端起桌上的水杯,这就是一种本能动作。由于技术发展的限制,长期以来,在数字世界中,人们使用的却并不是本能交互,如使用手机或平板运行AR 应用,目前只能通过电子屏幕来放置、操作3D 世界中的虚拟物体,这种操作模式实际上违反了人类长期以来形成的固有行为习惯。

HoloLens 2 设备力图解决这个问题,通过手势识别、眼动跟踪、自然语言输入尝试使本能交互在计算机平台实用化,为实现这一目标,从传感器、输入采集到多模式手势识别、自然语言翻译、眼球注视点等各方面、各层次做出了很多努力,也取得了比较好的效果,其中如手势识别准确率很高、使用体验非常出色。更出色的是,HoloLens 2 设备中手势交互几乎没有学习成本,因为设计时充分贯彻了本能交互这一理念,用户凭本能进行操作能很好地被系统所识别,如图8 所示的本能手势操作。

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

■ 图8 HoloLens2设备中本能手势操作示意图

在MR 应用中,当前手势交互、眼动跟踪(凝视)、自然语言输入能满足大部分混合现实体验需求。通常而言,手势操作更适合常见场景,但当环境受限或者双手不便操作时自然语言输入和眼动跟踪就成为最佳选择,HoloLens 1 设备还提供了控制器,但控制器并不是本能交互的一部分。不同的交互方式所适应的场合及设计注意事项如表2 所示。

■ 表2  常见交互方式适应场合及设计指南

 

HoloLens 2设备MR 应用交互设计,算法,hololens,mr,ar,vr,原力计划

 

 

 

 

 

到了这里,关于HoloLens 2设备MR 应用交互设计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • unity HoloLens2开发,使用Vuforia识别实体 触发交互(二)(有dome)

    提示:文章有错误的地方,还望诸位大神不吝指教! 我使用的utniy 版本:Unity 2021.3.6f1 第一章地址链接: link 第一章记录了一些 安装环境 需要的东西,这章主要章打包和一些BUG问题 以前记录的:链接: link 前提:需要在MRTK工具包中导入到项目。 本人经常使用的方法: 在holo

    2024年02月04日
    浏览(50)
  • HoloLens 2 应用开发流程笔记

    本文链接:微信推文阅读效果更佳 笔者在 2020 年首次接触到 HoloLens 2 应用的开发,直到 2021 年开发出一个简单的 AR 程序,并作为一个会议论文的演示部分,着实为论文的成功接收立下了汗马功劳。若干年后的今天需要对会议论文进行扩刊,然而再次想要设计一个新的 HoloLe

    2024年02月03日
    浏览(46)
  • AI专题:AI+MR引领变革,看好技术迭代与应用场景落地

    今天分享的是 AI系列 深度研究报告:《 AI专题:AI+MR引领变革,看好技术迭代与应用场景落地 》。 (报告出品方:东北证券股份有限公司) 报告共计: 56 页 模型端:更多模态、更加垂直 目前海外大模型格局:闭源模型OpenAl+Google双龙头,Meta持续耕耘开源模式,垂类模型独树一

    2024年02月20日
    浏览(49)
  • MR混合现实情景实训教学系统在军事专业课堂上的应用

    MR混合现实在军事专业课堂中的应用 1. 模拟实战环境:通过MR系统,教师可以模拟各种实战环境,让学生在实际操作中学习和掌握军事技能。例如,在战术训练中,学生可以在模拟的敌方阵地环境中进行实战演练,提高应对复杂战场的能力。 2. 情景式教学:MR系统可以根据教

    2024年02月20日
    浏览(47)
  • MR混合现实情景实训教学系统在旅游管理专业中的应用

    在旅游管理专业中, MR混合现实情景实训教学系统 的主要应用包括但不限于以下几个方面: 1. 实地考察的替代:对于一些无法实地考察的景点或设施,学生可以通过MR系统进行虚拟参观,从而了解其实际情况。这不仅可以减少时间和金钱的消耗,还可以避免安全风险。 2. 实

    2024年02月08日
    浏览(39)
  • HoloLens世界锚资料

    1.Unity 中的本地定位点传输: Unity 中的本地定位点传输 - Mixed Reality | Microsoft Docs https://docs.microsoft.com/zh-cn/windows/mixed-reality/out-of-scope/local-anchor-transfers-in-unity 2.添加/移除世界锚: Unity 中的坐标系统 - Mixed Reality | Microsoft Docs https://docs.microsoft.com/zh-cn/windows/mixed-reality/develop/unity

    2024年02月09日
    浏览(17)
  • Hololens2项目基础开发

    目录 一、前言 二、VS2019负载安装 三、Hololens2项目环境配置 四、项目具体功能实现 五、打包部署真机测试 Hololens2项目基础开发包含:单(双)手近距离控制物体移动旋转、双手近距离控制物体的缩放、语音功能(控制物体生成、缩放等)、凝视功能、空间映射等。 Unity版本

    2023年04月20日
    浏览(64)
  • 微软Hololens 2开发指南

    1、首先来介绍一下这款混合现实MR产品: 这是微软在2019年向市场发布的,内部拥有win10系统,很方便用户操作,而且手势简单易上手。相较于第一代产品来说整体提升了不少,结构上解决了第一代压鼻梁的问题,这次二代的受力比较平均。最重要的是比第一代的可视角度有所

    2024年02月03日
    浏览(34)
  • Hololens2开发入门(一)环境搭建

    Hololens开发环境配置主要分为两块 一.unity环境搭建 本贴以2021.3.16f1c1版本为例,需要勾选 1.安卓板块 2.ios板块 3.universal windows platform build support板块 4.windows build support(IL2CPP)板块 5.visualstudio2019(开发工具)  二.VisualStudio环境配置 打开VisualStudio installer,点击修改,勾选以下板块,并

    2024年02月15日
    浏览(47)
  • Unity Hololens2开发|(一)环境配置

    Windows10 SDK Microsoft Visual Studio2022 Windows 10/Windows11(专业版或者企业版操作系统 家庭版不行) Unity2021.3.29lts MixedRealityFeatureTool(用于配置MRTK3 Unity 的混合现实工具包) HoloLens 2 仿真器 :(有设备或者初学者不建议安装) 配置开发者模式 Holographic Remoting Player(全息远程处理播放) Visual

    2024年02月04日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包