如何让AI听懂人说话？Facebook研究者建议带TA去玩《我的世界》

《我的世界》(Minecraft)是一款高自由度的沙盒探索游戏，玩家在游戏中可以用各种方块来建造建筑物，通过伐木、挖矿、捕猎等方式获取资源并通过合成系统打造武器和工具。

如果你曾希望《我的世界》也能拥有一个类似于Alexa的虚拟助手，能够执行任何任务，那么你就幸运了。

Facebook的研究人员最近提出了一种用于自然语言理解(NLU)研究的互动、协作的Minecraft机器人的假设。他们假设Minecraft的约束使其非常适合在不同NLU子领域进行实验，为此，他们在GitHub上免费提供了基线数据、代码、标签工具和基础设施。

他们的工作在一定程度上建立在LIGHT的基础上，LIGHT是一个开源的研究环境，其形式是大规模的众包文本冒险，其中人工智能系统和人类作为玩家角色进行交互。Facebook人工智能研究中心、洛林计算机科学及其应用研究实验室和伦敦大学学院的科学家们在今年早些时候发表的论文中详细阐述了LIGHT的作用。

“尽管有许多与虚拟助手相关的重要研究方向，但它们本身并不是研究社区的理想平台。它们的范围很广，需要大量的世界知识，还有复杂的代码库，需要由数百名(甚至数千名)工程师维护，”合著者在Arxiv.org上发表的一篇预印本论文中写道。

“此外，它们的专利性质和商业重要性使它们很难进行试验。相比起一个‘现实世界’虚拟助手，我们建议在《我的世界》这个沙盒构建游戏中工作。”

《我的世界》(Minecraft)游戏中存在由方块组成的树木、山脉、田野、动物、非玩家角色(NPC)等，玩家可以移动、放置或移除不同类型的方块。

然后，研究人员描述了一个能够理解自然语言命令的Minecraft机器人(例如，“建造一座15个方块高的塔，然后在塔顶放一个巨大的笑脸”)，并通过游戏内的聊天窗口传达给它。

他们承认，实现这一点说起来容易做起来难，因为玩家可能会要求机器人执行的任务很复杂。在上面的例子中——“建造一座15个方块高的塔，然后在塔顶放一个巨大的笑脸”——虚拟助手需要理解“塔”和“笑脸”的含义，以及如何建造它们;它还需要知道“十五个方块高”指的是塔的高度，需要认识到“15”的重要性，并知道“顶”是个相对位置。

尽管如此，论文的合著者断言Minecraft的任务空间和环境具有“规律性”，可以用来简化任务执行。例如，用于生成示例任务命令的语言/操作模板集可用于构建培训数据，并告知机器人的底层NLU模型的结构。

此外，《我的世界》的结构可以作为AI和玩家之间共享的知识资源。例如，如果用户要求助手“构建一个smiley”，助手可以推断“一个smiley”是一种块对象，因为“构建”是一个机器人已经理解的常见任务。

研究人员提出了一种模块化方法来简化假设中的助手的设计和后续研究。他们建议，完成《Minecraft》基本任务(如路径规划和构建)所需的行动可以通过访问游戏的内部世界状态来编写脚本。此外，他们指出，通过记录玩家与助手的互动，收集或生成动作数据相对容易。

团队指出，《我的世界》中的机器人“迷人”而“有趣”，面临着巨大的挑战。它需要立即对反馈做出反应，因为延迟常常对玩家对游戏的印象有很大影响，并且它必须提出有意义的问题，而不是用烦人的问题轰炸玩家，从而“最佳”地与玩家互动。但尽管有这些障碍，团队坚信《我的世界》是研究从互动中学习的理想选择，尤其是从语言互动中学习。

“与其探索可以学习环境表示并允许助手有效执行操作的机器学习方法，我们感兴趣的问题是，考虑到我们能够设计的环境中最有利的表现形式，什么样的方法能够让助手理解玩家意图，并通过交互来改进自己。”这个团队写道。

“尽管我们赞同这样的观点，即如果没有表征学习方法的根本进步，我们将无法有效地解决NLU问题，但我们认为，无论如何，现在是时候尝试一下了。”