年度智能音箱智商测试:谷歌助手智商最高 能完全理解用户的指令

olivia chan

前瞻经济学人

今年7月,Loup Ventures公布了一项“年度数字助理智商测试”的结果,该测试将谷歌助手与苹果的Siri、亚马逊的Alexa和微软的Cortana进行对比,在回答800个真实世界问题时,将这四款人工智能系统按照性能降序排列。如今,该公司又推出了一项“年度智能音箱智商测试”,重点关注搭载在Google Home、苹果的HomePod和亚马逊的Echo等智能音箱上各个助手的表现。

前瞻经济学人

与之前的情况一样,搭载在Home Mini的谷歌助手表现最佳,它能够完全理解问题,回答问题的准确率高达 87.9%--高于7月份在智能手机上测试的85.5%以及高于 Loup于2月份进行的最新智能音响测试的 81 %。谷歌助手的回答在本地、商业、导航及信息请求这四个类别中击败了所有竞争对手,只有在“命令”请求中排名第二,准确率为73%。

苹果公司搭载在HomePod上的Siri的表现较2月份的中等水平有了强劲增长,但仍不及其七月在iPhone上测试的表现。智能音响上的Siri回答问题的准确率为74.6%,高于2月份的52.3%,而理解问题的正确率为99.6%。Siri回答问题的准确率略低于7月份在iPhone测试中78.5%的准确率。Loup注意到Siri将“基本上除音乐以外的任何命令”的请求传递回iOS设备进行处理。即便如此,HomePod在“命令”类别中仍领先所有竞争对手,准确率达85%。

亚马逊的Alexa和微软的Cortana再次分列第三和第四位,但它们在智能音响上回答问题正确率方面都有所进步。搭载在Echo上的Alexa 的正确率为72.5%,相比之下,2月份搭载在智能音响上测试的正确率为64%,7月份搭载在手机上的正确率为61.4%,这一增幅几乎与价格昂贵得多的HomePod不相上下。搭载在Harman Kardon Invoke音响上的Cortana,回答问题的正确率为63.4%,高于2月份搭载在智能音响测试的57%和7月份在智能手机上测试的52.4%。

根据Loup的说法,专有名词仍然是各大智能音响的最大弱点,否则他们几乎可以完全理解用户的话语。然而,除了这些,所有的助手都在进行“有意义的”改进,Siri从增加额外的专业领域中获益,而Alexa则可能从Alexa Answers等众包知识中受益。一些智能扬声器还添加与第三方合作伙伴进行更大的交互功能。

而Loup预计明年7月将再次更新其智能手机数字助理的发现,它不希望只看到智能扬声器还只是在追求回答问题的准确率——相反,它们应该能执行更多的命令,包括控制更多的设备,或提升现有功能,如电子邮件、日历、和消息传递。在这个阶段,每一个改进都为用户增加了真正的价值,所以明年验证预测的时刻将是令人兴奋的。

可行性研究报告

广告、内容合作请点这里:寻求合作

咨询·服务

相关阅读

精彩推荐