华为推新App将儿童读物自动翻译成手语 帮助聋哑儿童享受美好故事时光

中国智能手机巨头华为发布了一款新的安卓应用程序，利用图像识别和光学字符识别(OCR)等人工智能工具，将流行的儿童读物翻译成手语。

StorySign是由华为、非营利性组织欧洲聋人联盟(European Union for the Deaf)、企鹅(Penguin)和动画大师阿德曼(Aardman)合作开发的。

从今天起，这款应用可以从Google Play和华为自己在欧洲10个市场的AppGallery下载。虽然它在大多数安卓6.0及以上版本的手机上都能正常运行，但华为表示，它是针对自己搭载AI功能的手机进行优化的，比如华为的Mate 20 Pro。

它是如何运行的?

鉴于不同国家的手语不同，这款应用会要求你选择自己喜欢的手语变体。推出时，StorySign将支持使用英国、法国、德国、意大利、西班牙、荷兰、葡萄牙、爱尔兰、比利时佛兰德和瑞士-德国的手语。

当时使用这个应用程序时，你可能会注意到该app目前只支持一本书——《斯波特去哪了?》(Where’s Spot?)--Eric Hill于1980年出版的经典儿童故事。

这也暗示了这款应用的一个核心问题——它推出的时候还不太成熟。除非你有《斯波特去哪了?》实体读本，否则你将无法使用这个应用程序。

如果你有这本书，你或者你的孩子可以把手机放在书本前，当你翻动书页时，该应用程序会实时将文字翻译成手语。

华为表示，该应用使用图像识别技术，即使手机与书本之间的角度不合适，它也能检测到文字，而光学字符识别(OCR)则能提高精确度。

华为西欧首席营销官Andrew Garrihy表示:“在华为，我们相信人工智能的力量，相信技术能够给世界带来积极的影响。我们创造了 StorySign，帮助聋哑儿童家庭享受美好的故事时光。”

巨大的潜力

从表面上看，StorySign应用程序有很大的潜力——根据世界卫生组织(WHO)的数据，全球大约有4.6亿“听力障碍”人士，其中3400万是儿童。在这种背景下，像StorySign这样的应用程序可以让数百万的早期学习者在接触阅读标准的书面文本之前就有机会享受阅读的乐趣。但如果它能与任何书籍实时协作，那将更有用。

事实上，如果能将从《咕噜牛》(Gruffalo，图画书)到《The Wonky Donkey》各种书籍翻译成手语，那将展示人工智能相当强大的力量。在发行时只支持一本书感觉有点不足，而且它必须在逐本书基础上逐步推出支持，这一点让它显得有些令人失望。

然而，与最近的许多其他举措一起，StorySign确实提供了进一步的证据，证明了技术可以帮助弥合听觉世界和非听觉世界之间的鸿沟。

今年早些时候，来自纽约大学的学生展示了一款原型应用程序，它融合了增强现实(AR)和机器学习技术，能够在手语和书面英语之间进行双向翻译。去年，加州大学圣地亚哥分校研制出一种手套，可以将手语转换成文字。

StorySign适应了这种更广泛的探索——并为未来的发展奠定了基础。

“我们非常希望它能对聋人社区产生重大影响，帮助更多的聋哑儿童学习如何与有听力的儿童在同一水平上阅读，”欧洲聋人联盟执行主任Mark Wheatley补充说，“我们也希望StorySign的推出能够支持一场更广泛的对话，为全欧洲的聋人在生活的各个方面确保平等。”