The vOICe voor Android

Zien met je oren! The vOICe voor Android zet "live" camerabeelden om in beeldgeluiden ("soundscapes"). Daarmee biedt het augmented reality voor volledig blinden door middel van sensorische substitutie en computer vision. Het bevat ook een sprekende kleurherkenner, een sprekend kompas en een sprekende GPS-plaatsbepaler, terwijl Microsoft Seeing AI en Google Lookout kunnen worden gestart vanuit The vOICe voor Android door de linker of rechter schermrand aan te raken.

Is het een augmented reality spel of een serieus gereedschap? Het kan allebei zijn, afhankelijk van wat je wilt dat het is! Het uiteindelijke doel is om een vorm van synthetisch zien te bieden aan blinden, maar ziende gebruikers kunnen zich simpelweg vermaken met het spel van zien-zonder-ogen. Je kunt ons ook helpen door te bloggen over hoe *jij* leert zien met geluid.

Hoe werkt het? The vOICe gebruikt toonhoogte voor hoogte en geluidsterkte voor helderheid in scans van links naar rechts door ieder camerabeeld: een stijgende heldere lijn klinkt als een stijgende toon, een heldere stip als een piep, een heldere gevulde rechthoek als een ruispuls, een verticaal rooster als een ritme. Gebruik bij voorkeur een stereo hoofdtelefoon voor de beste ervaring en de meest gedetailleerde auditieve resolutie.

Experimenteer eerst met eenvoudige visuele patronen, want normale omgevingsbeelden zijn complex. Laat een helder voorwerp zoals een DUPLO steen vallen op een donkere tafel, en leer om die te pakken door middel van alleen de beeldgeluiden (sluit je ogen als je niet blind bent). Onderzoek vervolgens je eigen veilige woonomgeving, terwijl je leert om de complexe klankpatronen te associëren met wat je al weet dat er is.

Voor serieuze gebruikers: leren zien met geluid is als het aanleren van een vreemde taal of het leren bespelen van een muziekinstrument, een grote uitdaging voor je doorzettingsvermogen en hersenplasticiteit. Het is misschien wel het ultieme Brain-Training-systeem, dat een brug slaat tussen de zintuigen door middel van kunstmatige synesthesie.

Waarom is het gratis? Omdat ons belangrijkste doel is om een echte verandering te bewerkstelligen door drempels voor gebruik zo ver mogelijk te verlagen. Je zult ontdekken dat concurrerende technologieën meer dan 10000 euro kosten, en toch lagere specificaties bieden.

Meld bugs s.v.p. aan feedback@seeingwithsound.com, en bezoek de webpagina seeingwithsound.com/android.htm voor een gedetailleerde Engelstalige beschrijving en disclaimers.

Veel succes!