Réalité augmentée pour les aveugles : voyez avec vos oreilles !
Voyez avec vos oreilles ! The vOICe for Android mappe les vues de caméra en direct sur les paysages sonores, offrant une réalité augmentée et des détails visuels sans précédent pour les personnes totalement aveugles grâce à la substitution sensorielle et à la vision par ordinateur. Comprend également l'OCR parlant en direct, un identifiant de couleur parlant, une boussole parlante, un détecteur de visage parlant et un localisateur GPS parlant, tandis que la reconnaissance d'objets Microsoft Seeing AI et Google Lookout peut être lancée à partir de The vOICe for Android en appuyant sur le bord gauche ou droit de l'écran.
Est-ce un jeu de réalité augmentée ou un outil sérieux ? Cela peut être les deux, selon ce que vous voulez ! Le but ultime est de fournir une forme de vision synthétique aux aveugles, mais les utilisateurs voyants peuvent simplement s'amuser en jouant au jeu de la vue sans vue. Les utilisateurs malvoyants ayant une vision tunnel sévère peuvent essayer si le retour auditif les aide à remarquer des changements dans la périphérie visuelle. The vOICe for Android fonctionne sur les smartphones et les tablettes, mais est également compatible avec la plupart des lunettes intelligentes, en utilisant la petite caméra de ces lunettes et une interface utilisateur spéciale pour générer une superposition sonore de réalité augmentée en direct, mains libres ! Vous souhaiterez peut-être utiliser une batterie externe connectée via un câble USB pour empêcher la batterie des lunettes intelligentes de se vider trop rapidement. Vous pouvez nous aider en bloguant et en tweetant sur vos expériences, vos cas d'utilisation et sur la façon dont *vous* apprenez à voir avec le son.
Comment ça marche ? La voix utilise la hauteur pour la hauteur et l'intensité pour la luminosité dans des balayages d'une seconde de gauche à droite de n'importe quelle vue : une ligne lumineuse montante sonne comme une tonalité montante, un point lumineux comme un bip, un rectangle rempli de lumière comme une explosion de bruit, une grille verticale comme rythme. Idéalement utilisé avec des écouteurs stéréo pour l'expérience la plus immersive et la résolution auditive la plus détaillée.
Expérimentez d’abord avec des modèles visuels simples, car les images réelles sont extrêmement complexes. Déposez au hasard un objet brillant tel qu'une brique DUPLO sur un dessus de table sombre et apprenez à l'atteindre uniquement par le son (fermez les yeux si vous avez la vue). Essayez ensuite d'explorer votre propre environnement domestique sûr et apprenez à associer les modèles sonores complexes à ce que vous savez déjà. Les utilisateurs voyants peuvent également utiliser l'application avec des appareils compatibles Google Cardboard en faisant glisser vers le bas sur l'écran principal pour basculer la vue binoculaire.
Pour les utilisateurs sérieux : apprendre à voir avec le son, c’est comme apprendre une langue étrangère ou apprendre à jouer d’un instrument de musique, mettant vraiment à l’épreuve votre persévérance et votre plasticité cérébrale. Il s’agit peut-être du système d’entraînement cérébral ultime, reliant les sens grâce à une synesthésie artificielle. Un manuel de formation générale pour The vOICe (non spécifique à la version Android) est disponible en ligne sur
https://www.seeingwithsound.com/manual/The_vOICe_Training_Manual.htm
et les notes d'utilisation pour exécuter The vOICe pour Android en mode mains libres sur des lunettes intelligentes sont disponibles sur
https://www.seeingwithsound.com/android-glasses.htm
Ne vous inquiétez pas des nombreuses options de The vOICe pour Android : les yeux humains n'ont ni boutons ni options, et The vOICe est également conçu pour remplir sa fonction principale prête à l'emploi, vous n'avez donc pas besoin d'utiliser d'options pour commencer. Certaines des options les plus courantes apparaissent lorsque vous faites glisser lentement votre doigt sur l'écran principal.
Pourquoi The VOICe est-il gratuit ? Parce que notre objectif premier est d’apporter un réel changement en réduisant autant que possible les obstacles à l’utilisation. Vous constaterez que les technologies concurrentes coûtent plus de 10 000 $ et ont pourtant des spécifications inférieures. La résolution perceptuelle offerte par The vOICe est inégalée, même par les implants rétiniens « œil bionique » de 150 000 $ (PLoS ONE 7(3 : e33136).
The vOICe for Android prend en charge l'anglais, le néerlandais, l'allemand, le français, l'espagnol, l'italien, l'estonien, le hongrois, le polonais, le slovaque, le turc, le russe, le chinois, le coréen et l'arabe (menu Options | Langue).
Veuillez signaler les bogues à [email protected] et visitez la page Web http://www.seeingwithsound.com/android.htm pour une description détaillée et des clauses de non-responsabilité. Nous sommes sur Twitter à @seeingwithsound.
Merci!
v2.73 : Correction d'un bug pour quelques boutons graphiques mal positionnés sur l'écran principal de l'application.
En savoir plus
