Guided Vision Gemini Live est disponible sur Android. Google ajoute à son assistant vocal une assistance visuelle en temps réel, mise au point avec Aira, qui ne se contente plus de décrire ce que filme la caméra : elle te dit aussi comment la déplacer. Pour une personne aveugle ou malvoyante, viser correctement un objet est souvent le premier obstacle, et c’est précisément celui que Google cherche à lever.
Les points clés à retenir
- Un guidage de cadrage à la voix : si la caméra est mal orientée, Gemini demande de pivoter, d’incliner ou de reculer.
- Conçu avec Aira, spécialiste de l’assistance visuelle à distance, sur des dizaines de milliers d’heures d’interprétation visuelle et avec plus de 1 000 testeurs de son réseau.
- Android 9 ou plus récent, dans les pays où Gemini Live est disponible.
- Trois façons de l’activer : réglages de l’application Gemini, raccourci d’accessibilité Android ou geste à trois doigts avec TalkBack.
- Des limites assumées : Google déconseille de s’en servir pour se déplacer ou repérer des obstacles, et précise qu’il ne remplace pas la canne blanche.
Que fait Guided Vision dans Gemini Live ?
D’après l’annonce de Google, une fois la fonction activée, l’utilisateur partage sa caméra et entend en temps réel une description de son environnement. Il peut poser des questions de suivi, et Gemini lui indique comment ajuster la prise de vue quand elle est insuffisante : tourner vers la droite, baisser l’appareil ou faire un pas en arrière, comme le détaille aussi Android Authority.
Les usages mis en avant sont très concrets : lire un texte de petite taille, comme une étiquette ou une addition, décrire ce qui se trouve autour de soi, retrouver un objet proche ou obtenir des précisions sur un objet précis. C’est de la vision de proximité, pas de la navigation.
Le vrai problème résolu : le cadrage
Les applications de reconnaissance visuelle partagent un angle mort : elles exigent que la caméra soit déjà bien placée. Demander à quelqu’un qui ne voit pas l’écran de viser un code-barres ou un bouton relève du paradoxe. Guided Vision déplace ce travail vers l’IA : c’est elle qui voit que l’objet est coupé, trop haut ou trop près, et qui corrige le geste, à la voix, pas à pas.
Aira, un partenaire du terrain
Google explique avoir travaillé avec Aira, service d’assistance visuelle à distance, sur des dizaines de milliers d’heures d’interprétation visuelle. Plus de 1 000 membres du réseau de testeurs d’Aira ont ensuite éprouvé et affiné le modèle dans des situations du quotidien, tandis que des spécialistes d’Aira ont aidé à définir et à évaluer les garde-fous de sécurité.
Ce que Guided Vision ne doit pas faire
Google est explicite : l’outil ne doit pas servir à la navigation, au déplacement en sécurité ou à la détection d’obstacles, et ne remplace ni la canne blanche ni une autre aide à la mobilité. Cette franchise est bienvenue : une erreur de description sur une boîte de conserve est un désagrément, une erreur à un passage piéton est un danger.
Comment activer Guided Vision sur Android ?
| Méthode | Comment faire |
|---|---|
| Application Gemini | Activer l’option dans les réglages de l’application |
| Accessibilité Android | Associer Guided Vision à un raccourci d’accessibilité |
| TalkBack | Appuyer à trois doigts pour ouvrir le menu du lecteur d’écran |
Notre analyse : l’accessibilité comme banc d’essai
Cette section est un éditorial : elle exprime mon opinion, pas celle de Google.
Ce lancement m’intéresse moins pour ses chiffres que pour ce qu’il prouve. Apprendre à une IA à dire « penche l’appareil vers le bas » demande de comprendre ce que l’utilisateur voit, ou ne voit pas, et de s’adapter à lui. C’est exactement le problème qui attend les lunettes connectées et les agents multimodaux : synchroniser une IA avec l’attention d’un humain. Selon Digital Trends, Google arrive d’ailleurs un an après Apple sur ce terrain : l’accessibilité devient un champ de bataille à part entière.
Pour une fois, une fonction d’IA répond à un besoin que personne n’a besoin d’inventer. Reste à voir si elle tiendra ses promesses hors des démonstrations : aucune évaluation indépendante n’a été publiée à ce stade dans les sources consultées.
FAQ
Qu’est-ce que Guided Vision dans Gemini Live ?
C’est une fonction d’assistance visuelle en temps réel de Gemini Live. Elle décrit ce que voit la caméra du téléphone, répond aux questions et guide à la voix le cadrage de l’appareil.
Sur quels appareils fonctionne Guided Vision ?
Sur les appareils Android 9 ou plus récents, dans les pays où Gemini Live est disponible.
Guided Vision peut-il remplacer une canne blanche ?
Non. Google déconseille de l’utiliser pour se déplacer, repérer des obstacles ou naviguer, et précise qu’il ne remplace ni la canne blanche ni une aide à la mobilité.
Qui est Aira ?
Aira est un service d’assistance visuelle à distance. Google s’est appuyé sur des dizaines de milliers d’heures d’interprétation visuelle et sur plus de 1 000 testeurs de son réseau pour développer et évaluer Guided Vision.
Sources
- Google — Guided Vision in Gemini Live: built for accessibility
- Android Authority — Gemini Live’s camera just became much more useful for accessibility
- HeadTopics — Google’s new Guided Vision feature can help you read
- Digital Trends — Guided Vision brings Gemini real-time visual assistance for accessibility, one year after Apple
À lire aussi sur Gemini Live : Gemini Live Avatar, Gemini 3.8 Live et la voix qui raisonne, Gemini Live, Spark, Gmail et Transcribe, ainsi que notre rubrique Gemini et le comparatif des modèles d’intelligence artificielle.