AI模型可预测人们在打字时如何移动眼睛和手指

来源：aalto

编译：在赤道的熊猫

众所周知，触摸屏很难打字。

由于无法感觉到按键，我们依靠视觉将手指移至正确的位置并检查错误，这是我们无法在同一时间进行一系列动作。

为了真正理解人们在触摸屏上的打字方式，Aalto University和芬兰人工智能中心FCAI的研究人员创建了第一个人工智能模型，该模型可以预测人们在打字时如何移动眼睛和手指。

这个AI模型可以模拟人类如何在任何键盘上键入任何句子。它产生错误，发现错误（虽然并不总是立即发现），并像人类一样纠正它们。该模拟还可以预测人们如何适应交替的环境，例如当他们开始使用新的自动校正系统或键盘设计时，他们的写作风格会如何变化。

‘以前，人们主要是从手指移动的角度来理解触摸屏打字的。基于AI的方法为这些运动提供了新的思路：我们发现了决定何时何地看哪里的重要性。

现在，我们可以对人们在手机或平板电脑上的打字方式做出更好的预测。’负责这项工作的Jussi Jokinen博士说。

这项研究将于5月12日在ACM CHI上发表，为开发更好甚至个性化的文本输入解决方案奠定了基础。

Jokinen解释说：“现在，我们已经对人在触摸屏上的打字方式进行了逼真的模拟，优化键盘设计以实现更好的打字应该容易得多，这意味着更少的错误，更快的打字速度，并且对我来说最重要的是，减少了挫败感。”

除了预测普通人将如何打字之外，该模型还能够考虑不同类型的用户，例如运动障碍的用户，并可用于开发针对这些人群而设计的打字辅助工具或界面。对于那些没有特殊挑战的人，可以从个人写作风格中得出结论（例如，注意到在文本和电子邮件中反复出现的错误），哪种键盘或自动校正系统最适合一个用户。

可视化键入时用户指向和查看的位置。绿色表示眼睛位置，蓝色表示手指。深色代表更长或更频繁的扫视或移动。左：按模型模拟；右：用户的观察。

这种新颖的方法建立在该小组较早的实证研究的基础上，该研究为人类如何进行认知模式提供了基础。然后，研究人员产生了能够独立打字的生成模型。这项工作是在芬兰人工智能中心的一个较大的交互式AI项目中完成的。

作为经典的机器学习方法（强化学习）的基础， 研究人员将其扩展为模拟人类。强化学习通常用于教导机器人通过反复试验来解决任务。团队发现了一种使用此方法来产生与人类行为非常相近的行为的新方法，包括错误，纠正和所有错误。

‘我们赋予模型与人类一样的能力和界限。当我们要求它有效地键入内容时，它便找到了如何最好地利用这些功能的方法。最终结果非常类似于人类的打字方式，而无需使用人类数据来教授模型。’Jokinen说。

与人类打字数据的比较证实了该模型的预测是准确的。将来，该小组希望模拟慢速和快速打字技术，例如，为想要提高打字效率的人们设计有用的学习模块。

相关报道：

https://www.aalto.fi/en/news/ai-learns-to-type-on-a-phone-like-humans