Дополненная реальность для слепых: смотрите ушами!
Смотрите своими ушами! The vOICe for Android преобразует изображения с камеры в реальном времени в звуковые ландшафты, предлагая дополненную реальность и беспрецедентные визуальные детали для полностью слепых посредством сенсорной замены и компьютерного зрения. Также включает в себя живое распознавание текста, говорящий идентификатор цвета, говорящий компас, детектор говорящего лица и говорящий GPS-локатор, а распознавание объектов Microsoft Seeing AI и Google Lookout можно запустить из The vOICe for Android , коснувшись левого или правого края экрана.
Это игра дополненной реальности или серьезный инструмент? Это может быть и то, и другое, в зависимости от того, чего вы хотите! Конечная цель — предоставить слепым своего рода синтетическое зрение, а зрячие пользователи могут просто развлечься, играя в игру «зрение без зрения». Пользователи с нарушениями зрения и тяжелым туннельным зрением могут попробовать, если слуховая обратная связь поможет им заметить изменения на зрительной периферии. The vOICe for Android работает на смартфонах и планшетах, но также совместим с большинством умных очков, используя крошечную камеру в этих очках и специальный пользовательский интерфейс для создания живого звукового наложения дополненной реальности без помощи рук! Возможно, вы захотите использовать внешнюю батарею, подключенную через USB-кабель, чтобы батарея смарт-очков не разряжалась слишком быстро. Вы можете помочь нам, написав в блоге и Твиттере о своем опыте, вариантах использования и о том, как *вы* учитесь видеть со звуком.
Как это работает? VoICe использует высоту звука для высоты и громкость для яркости при сканировании слева направо любого вида в течение одной секунды: восходящая яркая линия звучит как повышающийся тон, яркое пятно — как звуковой сигнал, яркий закрашенный прямоугольник — как шумовой взрыв, вертикальная сетка — как ритм. Лучше всего использовать со стереонаушниками для максимального эффекта погружения и наиболее детального звукового разрешения.
Просто сначала поэкспериментируйте с простыми визуальными шаблонами, потому что реальные образы чрезвычайно сложны. Случайно бросьте яркий предмет, например кубик DUPLO, на темную столешницу и научитесь дотягиваться до него только с помощью звука (закройте глаза, если у вас есть зрение). Затем попробуйте исследовать свою собственную безопасную домашнюю среду и научитесь связывать сложные звуковые шаблоны с тем, что, как вы уже знаете, там находится. Зрячие пользователи также могут использовать приложение с устройствами, совместимыми с Google Cardboard, проведя пальцем вниз по главному экрану и переключив бинокулярный вид.
Для серьезных пользователей: научиться видеть с помощью звука — это все равно, что изучать иностранный язык или учиться играть на музыкальном инструменте, что действительно бросает вызов вашей настойчивости и пластичности мозга. Вполне возможно, что это совершенная система тренировки мозга, соединяющая чувства посредством искусственной синестезии. Общее учебное руководство по vOICe (не только для версии Android) доступно в Интернете по адресу:
https://www.seeingwithsound.com/manual/The_vOICe_Training_Manual.htm
и примечания по использованию для использования голосовой связи vOICe для Android на интеллектуальных очках находятся по адресу
https://www.seeingwithsound.com/android-glasses.htm
Не беспокойтесь о многочисленных опциях The vOICe для Android: у человеческих глаз нет кнопок или опций, а vOICe аналогичным образом предназначен для выполнения своей основной функции «из коробки», поэтому вам не нужно использовать какие-либо параметры, чтобы приступить к работе. Некоторые из наиболее распространенных опций появляются, когда вы медленно проводите пальцем по главному экрану.
Почему VoICe бесплатен? Потому что наша главная цель — добиться реальных перемен, снизив барьеры для использования как можно большего количества ресурсов. Вы обнаружите, что конкурирующие технологии стоят более 10 000 долларов, но имеют более низкие характеристики. Перцептивное разрешение, предлагаемое The vOICe, не имеет себе равных даже у имплантатов сетчатки «бионического глаза» стоимостью 150 000 долларов (PLoS ONE 7(3): e33136).
The vOICe for Android поддерживает английский, голландский, немецкий, французский, испанский, итальянский, эстонский, венгерский, польский, словацкий, турецкий, русский, китайский, корейский и арабский (меню «Параметры» | «Язык»).
Сообщайте об ошибках по адресу [email protected] и посетите веб-страницу http://www.seeingwithsound.com/android.htm для получения подробного описания и отказа от ответственности. Мы в Твиттере @seeingwithsound.
Спасибо!
v2.73: Исправлена ошибка с несколькими неправильно расположенными графическими кнопками на главном экране приложения.
Читать далее
