盲人增强现实:用耳朵看!
用耳朵看! The vOICe for Android将实时摄像头视图映射到音景,通过感官替代和计算机视觉为完全盲人提供增强现实和前所未有的视觉细节。还包括实时说话 OCR、说话颜色识别器、说话指南针、说话人脸检测器和说话 GPS 定位器,而 Microsoft Seeing AI 和 Google Lookout 对象识别可以通过点击左侧或右侧屏幕边缘从The vOICe for Android启动。
它是增强现实游戏还是严肃的工具?两者都可以,就看你想要什么了!最终目标是为盲人提供一种合成视觉,但视力正常的用户也可以轻松玩“无视力”游戏。如果听觉反馈有助于他们注意到视觉周边的变化,患有严重隧道视野的视力受损用户可以尝试。 The vOICe for Android在智能手机和平板电脑上运行,但也与大多数智能眼镜兼容,使用这些眼镜中的微型摄像头和特殊的用户界面来生成实时声音增强现实叠加,免提!您可能需要使用通过 USB 线连接的外部电池,以防止智能眼镜电池耗尽太快。您可以通过博客和推文讲述您的经历、您的用例以及*您*如何学会用声音看东西来帮助我们。
它是如何运作的? vOICe 在任何视图的一秒从左到右扫描中使用音高表示高度,使用响度表示亮度:上升的亮线听起来像是上升的音调,亮点是蜂鸣声,明亮的填充矩形作为噪声爆发,垂直网格作为节奏。最适合与立体声耳机一起使用,以获得最身临其境的体验和最详细的听觉分辨率。
首先尝试简单的视觉模式,因为现实生活中的图像极其复杂。随机将一个明亮的物品(例如 DUPLO 积木)放在黑暗的桌面上,并学习仅通过声音来够到它(如果您有视力,请闭上眼睛)。接下来尝试探索您自己的安全家庭环境,并学习将复杂的声音模式与您已知的声音模式联系起来。视力正常的用户还可以通过在主屏幕上向下滑动来切换双目视图,从而在 Google Cardboard 兼容设备上使用该应用程序。
对于认真的用户来说:学习用声音看就像学习外语或学习演奏乐器一样,真正挑战你的毅力和大脑可塑性。它很可能是终极的大脑训练系统,通过人工联觉连接感官。 vOICe 的一般培训手册(不特定于 Android 版本)可在线获取:
https://www.seeingwithsound.com/manual/The_vOICe_Training_Manual.htm
以及在智能眼镜上免提运行 The vOICe for Android 的使用说明位于
https://www.seeingwithsound.com/android-glasses.htm
不用担心 Android 版 vOICe 的众多选项:人眼没有按钮或选项,而 vOICe 的设计类似,开箱即可执行其主要功能,因此您无需使用任何选项即可开始操作。当您在主屏幕上缓慢滑动手指时,会出现一些最常见的选项。
为什么 The voice 是免费的?因为我们的首要目标是通过尽可能降低使用障碍来实现真正的改变。您会发现竞争技术的成本高达 10,000 美元以上,但规格却较低。 The vOICe 提供的感知分辨率甚至是价值 150,000 美元的“仿生眼”视网膜植入物无法比拟的(PLoS ONE 7(3): e33136)。
The vOICe for Android支持英语、荷兰语、德语、法语、西班牙语、意大利语、爱沙尼亚语、匈牙利语、波兰语、斯洛伐克语、土耳其语、俄语、中文、韩语和阿拉伯语(菜单选项 | 语言)。
请向[email protected]报告错误,并访问网页http://www.seeingwithsound.com/android.htm以获取详细说明和免责声明。我们的 Twitter 账号为@seeingwithsound。
谢谢你!
v2.73:修复了应用程序主屏幕上一些位置错误的图形按钮的错误。
阅读更多信息