新闻中心

EEPW首页 > 学习方法与实践 > 识别手势符:逾越点击的界面设计

识别手势符:逾越点击的界面设计

——
作者:Robert Cravotta时间:2007-11-13来源:EDN收藏

    的复杂性和功能都在增加,拓展了游戏机、手机、工业系统等电子设备控制的新领域。
  要 点
  许多创新产品中的根源可追溯到几十年前。 
  除了游戏和信息娱乐设备之外,还应用于工业系统和医疗设备等领域。 
  促进手势符界面更加可靠、实用的技术,如对内容进行推断和预测等,用户并不很清楚。 
  界面的成功之处在于能否完美地处理用户面临的不确定性。 
  具有现代界面的设备必须考虑如何管理系统间的无线与网络连接,使这些系统对用户而言为同一系统。

    最基本且最简单的手势符的指向动作,成为多数人与他人交流的有效途径,甚至在有语言障碍的情况下人们也可以相互交流。但如果谈话的对象或表达的概念不在视线之内,指向方式就无法进行交流。扩展手势符识别范围,使其不再局限于简单的指向动作,能大大增加人与人之间信息交流的渠道。手势符交流的方式自然而有效,因此早在婴儿能清晰说话之前,父母就倾向于利用婴儿手语与他们进行直接的双向交流(参考文献 1)。




  用户与电子设备交流的级别很大程度上局限于指向界面。目前,只存在少数指向界面的扩展功能,包括单击、双击或叩击设备,及用户在移动  
指向焦点时可按下按钮的设备,如鼠标、轨迹球及触摸屏等。用户利用手势符界面及语音识别界面与计算设备交流的能力,如多触点或光输入系统,还处于起步阶段。我们可以设想一种革命性的新款手机,它采用触摸屏驱动用户界面而不是物理按键,同时使用预测引擎帮助用户在平板上进行输入。这种描述符合Apple公司在今年六月发布的 iPhone,或IBM 公司与Bell South 在1993年联合推出的Simon,而后者比iPhone早了14 年。但是这两种触控界面间存在一些差异。例如,新型产品支持多触点手势符如“挤压”图像缩放、或闪现显示滚动内容。本文探讨了手势符界面发展的性质及其对未来界面的影响。

  当今手势符界面采用的多数技术并不新奇,甚至可追溯到数十年前的产品。根据参考文献 2,多触点面板界面至少已经存在了25 年,而鼠标自1965 年发明到成为普遍指向设备的高峰点之间也不过只有30 年(该高峰点出现在Microsoft Windows 95发布的时刻)。针对各种界面在硬件方面的改进促使设计师降低终端系统的成本。更重要的是,设计师可以利用更多的低成本软件处理功能来更好地识别更多的上下文,从而能够更好地解释用户正在告诉系统做些什么。换言之,多数新兴手势符界面的进步不是来自新硬件,而更多的是来自更为复杂的软件算法,充分利用优势来补偿各种输入界面的弱点。参考文献 3 提供了一个正在完善的输入技术目录源。

  除了iPhone的商业发布外,由Prada公司设计、LG 电子制造的LG Prada 电话今年在韩国与欧洲上市,Nintendo的Wii 手势符界面控制器也进行了成功的商业发布,随后还将推出多触点Microsoft Surface 平台(参见附文1“多触点表面”)。设计师从以前迭代手势符界面学到的教训能否足够保证当今最新的创新产品生存一年或两年,最终进入更自然的人机交流的时代吗?这些平台可访问大量内存,利用互联网实现全球性的连接,进行软件更新。由此看来,也许最相关的问题就是:这些平台灵活可编程的属性能否促使手势符界面吸取前科之鉴,而不返回到画板时代吗?

  手势符识别界面并不局限于游戏和信息娱乐产品。Segway的 PT(人员输送器) 用户通过向前、停止及左右转等合适的方向倾斜,直观地命令其输送器(图 1)。某些界面主要捕捉各种细微的手势符来模拟真实工具,而不是向计算机发出抽象的命令。例如,Wacom的Intuos 和Cintiq 图形输入板与图形输入板的增强型绘图与图形软件程序相配合,可真实地捕捉艺术家手和工具的上下、左右的六维运动、向下按压图形输入板表面、触控笔倾斜角度、触控笔倾斜方向及触控笔旋转等动作。这种功能使软件不但可以再现近似的运动,还可创建细微的运动,如弯曲手像绘图工具那样更实际地模拟复杂物体的行为。

  另一个捕捉细微运动模拟直接控制实际工具的例子,是直观的Surgical的“达芬奇外科手术系统”。该系统采用专有的三维可视系统和两套自动控制装置——主机和EndoWrist 仪器(模拟人手腕活动的仪器)。在主机上真实地转换外科医生手和手指运动信息,以控制在腹腔镜手术期间的 EndoWrist仪器 (图 2),从而将外科医生的手的运动从现场手术器械中解脱出来。手术不但可实现用更小的刀口将手术工具插入病人体内,还可保证外科医生在进行较长时间的操作时,保持更舒服的姿势来延迟疲劳,实现更高的手术精度,更大的运动范围,同时与传统腹腔镜手术等外科医生直接控制手术工具的手术相比,数字过滤技术也提高了灵巧性。 

    三维可视系统这一重要的反馈界面可促使外科医生有效地使用“达 芬奇外科手术系统”并避免失误。此外,系统可利用简单的触觉或力的反馈完善视觉反馈界面,如检测运动中出现的内部与外部碰撞。约翰霍普金斯大学等研究机构使用“达芬奇外科手术系统” 研究支持“触觉检测”技术。 “‘达芬奇外科手术系统’ 是一个完美的‘试验室’,为程式化而明确的目标任务提供高质量的运动和视频数据,” 约翰霍普金斯大学的计算机科学教授Gregory D Hager说,“我们期望使用统计模型来促进设备更加智能化,从而确定手术现场的情况。”




  Microsoft的首席研究人员Bill Buxton认为“出色的经验并不是偶然得来的,而是深思熟虑的结果”。他举了两个低技术例子,其中涉及两个有类似用户界面的手动榨汁机 (参考文献 4)。如果你会使用其中一个,就会使用另一个。两台机器榨汁时间相同,榨出的果汁味道也相同。然而,它们的使用方法和用户使用最大力道时间却不同。有恒定传动比的榨汁机,需要用户在手柄末端施加很大的力道,而没有可变传动比的榨汁机则减少这种力道。实质上,两种榨汁机的本质差异隐藏在界面下的不明显的机械构造中。

  手势符识别界面的应用例子是直接控制界面,用户自己想做的事情对系统  
发出明确或直接的指令。然而,嵌入式或隐藏的人机界面的新趋势具有更大的潜力。嵌入式处理,通常终端用户无法看到,促使设计师以更低成本和更好的能效生产具有更多功能的产品。随着传感器和处理容量的成本不断下降以及处理器可以优化控制系统的重要功能,额外的处理能力可以提供隐含或嵌入式用户与系统间人机界面机会。换言之,用户并不知道自己在向系统传达意图。这种新兴的功能可帮助系统使用预测补偿,从而弥补用户因缺乏经验而造成的失误或误差,并允许系统完成用户计划的操作。

  Simon推出的 Predictakey键盘明确地列出用户最常用的六个预测备选字,供用户选择。为了发挥预测引擎的优势,用户必须明白引擎提供的建议并从中做出选择。与此相反,iPhone的键入界面以各种明显和隐藏的方式提高键入速度和准确率。首先,针对不同应用推出专门的键盘布局,并给出相关的键进行输入。在用户打字时,系统会预测单词,如果单词正确,用户可以按上的空格键进行选择,反之则继续键入。同样,系统也可识别拼写错的单词,并将正确的拼写以类似的方式显示,用户可以采纳或忽略系统的改正建议。

  但iPhone 键入界面中新颖且隐含的优势,在于根据键入引擎对于用户将要选择的键入字母的预测,在上补偿用户按错的字母,从而在不改变显示尺寸(参考文献 5)的情况下,动态地改变分配给每个字母的目标区域或叩击区域大小。对于引擎所预测的用户键入字母将被分配较大的叩击区域,而可能性较低字母只分配较小的叩击区域,同时前者可能重叠后者的显示区域。这种特性提高了预测字母的选择机率,也降低了与预测的字母相邻的非预测字母的选择机率。

  与用户和计算机之间的界面不同,汽车安全特性严格来说不算用户界面,但一些汽车安全特性提供隐晦的通信界面的早期形式预测安全特性。例如,在是否提醒司机即将出现车道出口的问题上,系统可检查转弯信号来确定即将出现的车道出口是正确的还是意外的。乘客检测系统交流控制事故发生时是否启用安全系统。例如,汽车可调节安全气囊以避免对不同身材乘客造成伤害。电子稳定控制系统通过检查转向和制动输入及车辆的实际运动,判断司机的意图,从而可以对每个车轮适当地应用制动和减少发动机动力,以帮助校正转向不足、转向过度及驱动轮打滑等,帮助司机控制车辆。

  通过机动性最好的战斗机控制系统可以窥见对未来复杂系统的消费级别控制。由于飞机的高度不稳定性导致了机动性,驾驶员不必直接控制飞机的子系统,而是由嵌入处理系统处理这些细节,从而驾驶员可专心地执行更高级别的任务。随着汽车控制系统预测司机意图的能力增强,并将预测意图与车辆状态及周围环境关联起来,因此可以实现提高能源效率,降低不必要情况下的能源负载,同时不会牺牲安全性。在各种情况下,系统都有能更好地理解用户意图的能力,并进行合适的响应,从而无形而精确地预测用户可能采取的行动。

  不论如何丰富和直观,界面最终是否被成功采用取决于用户及系统如何相互互动并弥补可能的误解。命令系统与其结果行为间的不确定性或不可预见性,会直接抹杀手势符界面的作用,从而推延其采用的时间。仅仅不断通知用户出现错误的功能在现代电子设备中并不够用。因此设备应当经常提醒用户误差或误解的性质,及告知用户如何改正。现代界面采用了传感器、改进的处理算法及用户反馈相结合,从而提供了各种机制来减少用户与系统间的模糊性及不确定性,促使彼此更迅速明确地补偿对方突发的行为(参见附文2“补偿误差”)。

  系统将可能的输入控制缩小到有效环境中,是弥补潜在误解的一种方法,如iPhone的专用键盘布局。可分段或隔离狭窄环境并伴有明确目标任务的应用,为此类补偿提供了良好候选资格。Palm PDA等采用Graffiti识别技术的手写系统,提高了手写界面可用性并降低了误差输入的可能性,但却需要一个较长的学习过程才能可靠地使用系统。无需对讲话人训练的语音识别系统通过限制系统可识别的词的数量,如10个数字,或通过为用户提供短小菜单响应,提高了识别的成功率。  
 

    另一种补偿误解的方式是消除用户到系统的翻译过程。HP Labs India 正在研究一种笔式输入装置,即GKB (手势符键盘),可让用户输入语音原程序,如Devanagari 和Tamil 原程序,或在没有专用语言键盘的帮助下进行文本输入。另一个例子是Segway PT,这个系统曾经需要用户将向前和向后扭转转换成向左或向右的信号。如今,用户只要向所需的方向倾斜,便可左转或右转。在这种情况下,新的界面控制消除了扭转方向调整的不明确性或模糊性,扭转方向、转向与系统采用向心力的自然控制,极大地强化了这种可持续发展的有用界面。

  另一种重要的补偿潜误差或误解的方式,是给用户足够的相关反馈,以便适当地改变其期望或行为。可视反馈是一种常用的机制。多数系统上的鼠标光标,除了作为指向焦点外,还能向用户提供  
系统忙碌的时间和原因等方面的反馈。具有Wii 远程接点的手势符界面成功的关键,部分由于系统软件随时间改善向用户提供更好的敏感度,也依赖于提供反馈的质量,如显示屏上的可视提示,提示用户如何对运动进行小幅调节,从而使系统恰当地理解用户所要表达的手势符。

  触觉或触觉反馈利用了用户的触摸感觉,发展迅速,特别是对于多种感官的多模反馈。游戏控制台数年来在手持控制器中采用嚷闹特性。Segway PT可通过控制手柄上的力度反馈将误差状况报告给用户。“达芬奇外科手术系统” 通过力度反馈将边缘碰撞传递给用户,如EndoWrist instrument 与切割目标表面的接触。触觉反馈可以弥补其它反馈方式的弱点,如嘈杂环境中的声响。

  触觉反馈还有助于消除眼睛的过度疲劳,用户不必一直盯着屏幕输入的信息,可以去观察其它细节。例如iPhone 键盘并不采用触觉反馈告知用户何时按下了哪个键,从而用户必须用眼睛盯着屏幕以确认每一个按键。Immersion公司提供了一种方法,模拟移动设备的接触感觉,在5ms的输入窗口,对设备的震动传动装置发出精确的脉冲控制。

  当所有其它补偿方式都不能消除误解时,设计师可使用上下文相关的响应来处理特定输入的不确定性。常见的响应类型是发出一个警告,要求用户重新输入。但这种方式的风险是,如果系统不断的要求重新输入,而没有附加的指示,就会导致用户失去耐心。系统可以猜测输入的内容,然而要求用户确认是否正确,但是在第二次尝试时如果不能细化猜测,也会导致用户失去耐心。最大程度减少使用这种类型响应的可能策略是系统对用户行为进行仿形,并开发统计模型,确定用户经常需要的内容,从而进行更好猜测。

  Gene Frantz, Texas Instruments的主要研究人员认为网络将系统连接时,系统的大小是可升级的。这种考虑对现代设备越来越重要。iPhone、Wii、及Microsoft Surface 技术都具有与其它系统无线通信的连接能力。这些设备与其它外部系统互动的能力会影响其用户需求的能力。虽然手势符界面刚刚开始在电子领域立足,我们还是期望这些设备吸收与单设备到与多设备互动的经验,实现与用户的无缝互动。这些系统可以实现最佳地预测用户意图,减少或避免不确定性,并完美地与其它系统连接,从而推动未来手势符界面的发展。 



参考文献
1. “Signing with your baby.” 
2. Buxton, Bill, “An Incomplete Roughly Annotated Chronology of Multi-Touch and Related Work,” from Multi-Touch Systems That I Have Known and Loved. 
3. Buxton, Bill, “A directory of sources for input technologies.” 
4. Buxton, Bill, “Experience Design vs 界面 Design,” Rotman Magazine, Winter 2005, pg 47. 
5. “iPhone Keyboard.” 

    附文1:多触点表面

  多触点界面已经存在了25 年,随着今年 Apple iPhone 及Microsoft Surface技术 (参考文献 A 和 参考文献 B)等的商业性发布,其普遍采用的时代就要到来。多触点显示屏允许用户直接用手和手指在显示的对象上操作,而不必思考屏幕上的鼠标光标的相关位置或指针的移动。多触点界面比如 今常用的单触摸或单聚焦界面提供了更丰富的互动阵列。Apple的iPhone多触点界面,采用电容式触摸屏技术,用户只需活动手指便可实现互动,同时支持滑动屏幕以滚动内容及挤压屏幕来缩放节目等手势符。





  Perceptive Pixel 发布的视频展示公司在大型多触点显示屏方面所做的工作,并显示了受益于多触点界面(参考文献 C)的各种手势符和语境。按下按钮,除了视频外没有额外信息。但有趣的是,显示触摸屏挂在墙壁上,比常见的显示屏要大得多;多数情况下同时有多人在操作此显示屏,有时这些人共同完成一项工作,而有时则在进行不同工作;视频运行的大部分过程中,操作员双手同时工作,很短的时间内就可实现大量的动作;而三维虚拟对象的控制则更为先进。如果房间比较暗,说明传感器实现并不适合所有环境,但其它传感器实现可在不同的环境中达到类似的敏感度。

  Microsoft 在今年五月份发布了台式Surface多触点显示屏界面,并期望在今年十一月会进行大批量生产。这种平台能在台式机surface底部发出850nm波长的近红外光,并使用多个红外摄像头检测物体和手指触摸到显示屏表面时的反射光(图 A)。近红外光  
的使用允许用户在环境光线下使用该台式设备。显示屏上的纹理扩散器将近红外光反射回台下的摄像机,从而软件就可以有意义地识别手指、手、动作和其它真实的物体。该平台支持滑动屏幕和挤压屏幕等其它多触点相同类型的直接互动手势符,但界面增加了一种新功能:除了多个用户的手和手指外,它可与数十种真实物体进行互动。因此这种台式形状因子自然支持多人、电子内容及真实物体间的面对面协作。

  该平台具有消除真实物体与虚拟物体间差距的能力对于手势符界面动作的意义非常重大。用户只要将无线设备放在显示屏上,平台即可识别,并与之无形建立通信链路,在表面显示屏上用围绕它们的圆圈将它们识别。用户可将照片等内容,从一个设备拖到桌面上另一设备的surface 界面中。数据传输不再需要设备间的连线,真实设备间的虚拟物体的传送能与自然拖放的手势符相一致。


参考文献
A Microsoft Surface. 
B "Microsoft Surface: Behind-the-Scenes First Look (with Video)," Popular Mechanics, July 2007. 
C Perceptive Pixel, "Multi-Touch Demonstration Video." 


--------------------------------------------------------------------------------
  附文2:补偿误差

  由于汲取了设计师们在如何补偿用户观看与系统交互中所取得的多年经验,现代界面通常看起来都比较复杂。iPhone预言的打字输入引擎与动态改变叩击区域大小的配合,提供了系统补偿用户降低非预期输入频率的很好范例。这种技术建立在用户和系统间采用键或叩击交流方式的系统技术上,并进行了延伸。其中一种老式技术是键盘去抖动过滤,避免了由于输入设备瞬间抖动,系统将单个按键动作理解为多个按键动作。

  去除键盘抖动的发展过程说明了误差补偿机制的可能生命周期。由于不能过滤去除抖动,只能由用户来确定系统是否将单个按键动作误解为多个按键动作,因此误差对有电子键盘或触摸屏的早期系统是个大问题。这种情况将系统较低的认知缺陷加到用户身上,会导致用户在使用该界面时失去耐心。如果过滤掉键盘抖动,用户可将精力集中在更高级别的任务上。解决去除抖动问题曾经是一种与众不同的特性,但现在已成为一种常见的功能。

  今天许多系统使用的删除确认机制的发展过程例证了界面功能如何逐步发展成适合用户如何观看系统的一种好的理解。删除确认机制从用户意外删除文件等数据的问题发展而来。在命令行界面中,用户可能使用替代卡来规定删除一个非计划中的文件名却导致意外删除一个文件。在指点界面如键盘或键盘鼠标光标中,由于在发出删除命令时文件名字位于光标所指的位置,所以允许意外地删除文件。

  用户界面早期变动的一种补偿这类误动作的策略是要求用户确认删除操作。用户可在删除前检验文件名以发现错误。然而这种机制的问题是在每项删除操作时都要进行确认,很容易变成无意识的自动按键或点击,因此很快就会失去其安全意义。另一种补偿策略是提供非删除命令来修复删除确认失败。由于常被认为是数据保护的低价值和高噪声方法,许多系统现在允许用户跳过或避免删除确认提示。垃圾箱或再生箱图标代替了未删除的命令,允许用户恢复许多删除的文件。应用中删除的数据也采用命令撤销等类似方法,并最终发展为现代应用程序中常见的多步撤销功能。

  随着新的补偿机制的出现,系统要承担理解用户意图的更多责任,甚至允许用户撤销不可恢复的操作。在各种机制的每一个发展阶段,界面都支持各种机制来弥补用户可能的误解或误用。每种新的补偿机制都吸收了设计师关于用户如何与系统交互的教训,以避免未来不需要的结果出现。 

c语言相关文章:c语言教程


电容式触摸屏相关文章:电容式触摸屏原理


评论


相关推荐

技术专区

关闭