Google apporte une assistance visuelle en temps réel aux utilisateurs aveugles sur Android

Google a lancé Vision guidée dans Gemini Live le 1er octobre 2026, une fonction d’assistance visuelle en temps réel, pilotée par la voix, conçue pour les personnes aveugles, malvoyantes ou souhaitant une assistance visuelle intuitive. Elle est désormais disponible sur les appareils Android fonctionnant sous Android 9 et versions ultérieures, dans les régions et langues où Gemini Live est pris en charge.

Google a présenté en avant-première la fonction le 1er septembre 2026, dans son Version Android de septembre, où Vision guidée était annoncée comme disponible prochainement sur les téléphones fonctionnant sous Android 9 et versions ultérieures dans les pays où Gemini est disponible. Cette avant‑première décrivait les mêmes descriptions partagées de la caméra et les retours vocaux pour le recentrage, et comportait une note de bas de page avertissant que la fonction peut commettre des erreurs et n’est pas destinée à être un dispositif médical, une aide à la mobilité, ni un substitut aux guides de déplacement sécurisés, ni à la navigation ou à la détection d’obstacles.

Comment fonctionne Vision guidée

Lors d’une session Gemini Live, l’utilisateur partage la caméra du téléphone et Gemini fournit des descriptions orales de l’environnement, répond à des questions de suivi détaillées et délivre des indications verbales proactives pour centrer ce que l’utilisateur souhaite explorer. Si la caméra est pointée trop haut, trop près ou légèrement de côté, Gemini répond par des invites verbales naturelles pour recentrer — en demandant à l’utilisateur de pivoter lentement vers la droite, d’incliner vers le bas ou de reculer jusqu’à obtenir le contexte visuel clair nécessaire à la réponse.

L’annonce, rédigée par Isha Sheth, Senior Product Manager de Gemini Live, décrit Vision guidée comme transformant Gemini en un partenaire visuel conversationnel qui s’intègre aux routines quotidiennes avec un minimum de friction.

Développé avec Aira et la communauté d’accessibilité

Google a déclaré que Vision guidée a été développée grâce à une collaboration étroite avec la communauté d’accessibilité. Pour entraîner Gemini Live à un contexte conversationnel et réel, l’entreprise s’est associée à Aira pour interpréter visuellement les données pendant plusieurs dizaines de milliers d’heures. Plus de 1 000 membres du réseau Trusted Tester d’Aira ont aidé à tester sous contrainte et à affiner le modèle au cours des routines quotidiennes, et des spécialistes d’Aira ont travaillé directement avec les équipes de Google en tant qu’experts du domaine pour établir et évaluer les garde‑fous de sécurité.

Sally Khoo, Directrice adjointe (Innovation) chez SG Enable, a déclaré dans l’annonce : “Comme les téléphones standards sont généralement conçus pour des utilisateurs voyants qui peuvent voir l’écran, un produit comme les descriptions visuelles en temps réel de Gemini Live avec une orientation vocale proactive de la caméra peut aider à combler un écart crucial dans les tâches quotidiennes à la maison, de la lecture de petits caractères à la localisation des objets essentiels du quotidien.”

Selon Google, la fonction reflète des tests approfondis et des retours des communautés aveugles et malvoyantes en Inde, Brésil, Singapour, Indonésie, Japon et ailleurs, recueillis afin que les descriptions, les indications de recentrage et les réponses paraissent naturelles et utiles.

Prashant Verma, de la National Association of the Blind, Inde, a déclaré dans la même annonce : “Tester ces capacités directement avec des utilisateurs aveugles et malvoyants dans les différentes langues indiennes garantit que cette technologie offre une assistance fiable et pratique au quotidien.”

Cas d’utilisation quotidiens documentés

Google a décrit les tâches quotidiennes où une vérification visuelle rapide est primordiale. Pour lire les petits caractères et les textes complexes, l’entreprise a cité les petites étiquettes nutritionnelles sur les emballages alimentaires, les cadrans d’appareils et les cycles de machines à laver, ainsi que les menus imprimés dans les restaurants faiblement éclairés. Pour trouver et localiser des objets, elle a donné comme exemples un écouteur tombé par terre et le poivre noir dans un placard à épices encombré. Pour décrire des objets et faire correspondre les détails, les utilisateurs peuvent interroger sur les couleurs, les motifs et les formes, par exemple vérifier si une chemise à rayures s’accorde avec un pantalon ou identifier la couleur d’une veste précise. Pour explorer l’environnement immédiat, Vision guidée fournit des aperçus descriptifs d’espaces inconnus, de plans de pièces ou d’objets placés sur une table.

Google a indiqué que Vision guidée prend en charge les conversations dans plusieurs langues et que, comme de nombreuses innovations d’accessibilité, elle offre également une assistance visuelle pratique aux personnes âgées, aux individus ayant un faible niveau d’alphabétisation ou à quiconque tente de lire de petits caractères dans un éclairage faible.

Chemins d’accès, disponibilité et limitations déclarées

Les utilisateurs peuvent accéder à la fonction via l’application Gemini, un raccourci d’accessibilité Android ou Google TalkBack. Dans l’application mobile Gemini, les utilisateurs ouvrent les paramètres du profil et activent “Utiliser Vision guidée en Live”, puis ouvrent Gemini Live et appuient pour partager la caméra. Dans les paramètres Android, sous Accessibilité puis Assistance visuelle, les utilisateurs peuvent configurer un raccourci d’accessibilité pour lancer Vision guidée en utilisant le bouton d’accessibilité flottant, un geste de glissement à deux doigts ou en appuyant sur les deux touches de volume. Les utilisateurs de Google TalkBack peuvent faire apparaître le menu TalkBack avec un tap à trois doigts et sélectionner Vision guidée directement.

Google indique que Vision guidée est un outil d’assistance et peut commettre des erreurs. La fonction n’est pas un dispositif médical, une aide à la mobilité ou un substitut à la canne blanche, et elle n’est pas destinée à la navigation, aux consignes de déplacement sécurisé ou à la détection d’obstacles. Les utilisateurs doivent continuer à s’appuyer sur les aides à la mobilité et les pratiques de déplacement sécurisé déjà établies dans les environnements physiques.

Pour commencer, Google conseille de mettre à jour l’application Gemini et le logiciel du système Android vers les dernières versions.