Qwen-UI-Agent est le nouveau modèle de fondation pour le contrôle d’écrans publié par l’équipe Tongyi d’Alibaba autour du 20 août 2026. Entraîné et évalué sur de vrais appareils, il pilote mobile, ordinateur et navigateur en lisant l’écran et en reproduisant clics, saisies et balayages, avec un score de 82,1 % sur le benchmark MobileWorld.
Un agent formé sur de vrais appareils
Contrairement à des systèmes entraînés uniquement sur des simulateurs, Qwen-UI-Agent a été mis au point directement sur du matériel réel : téléphones, ordinateurs de bureau et navigateurs web. L’objectif affiché par l’équipe Tongyi est de gérer les conditions changeantes d’un usage quotidien — applications Android qui évoluent, comptes multiples, réseau instable — pour mener à bien des tâches comme chercher, comparer, réserver ou faire des achats.
Le modèle couvre six modes d’usage : utilisation GUI mobile, contrôle d’ordinateur, combinaison GUI et ligne de commande, navigation web, recherche approfondie couplée au contrôle d’écran, et service proactif. Sur les tâches de bureau, environ 40 % des actions passent directement par des commandes en ligne de commande regroupées, plutôt que par des clics simulés un par un.
Des scores qui dépassent Claude et GPT-5.6 sur mobile
Sur le rapport technique officiel, Qwen-UI-Agent affiche 82,1 % sur MobileWorld, devançant Claude Opus 4.8 de 14,6 points et GPT-5.6 Sol de 12 points sur ce même test. Sur AndroidDaily, il atteint 97,5 %, contre 95,2 % pour son meilleur concurrent, Seed 2.1 Pro.
Le tableau se complique sur les tâches d’ordinateur : sur WebArena, Qwen-UI-Agent obtient 73,6 % contre 71,9 % pour Claude Opus 4.8, un écart faible. Mais sur OSWorld-Verified, Claude Opus 4.8 reprend l’avantage avec 83,4 % contre 79,5 % pour le modèle d’Alibaba. Qwen-UI-Agent domine donc nettement sur mobile, mais reste derrière Anthropic sur certaines tâches de bureau plus complexes.
Une architecture pensée pour rester généraliste
L’équipe Tongyi insiste sur un point : Qwen-UI-Agent n’est pas un modèle spécialisé uniquement dans le contrôle d’écran. Le raisonnement général et les capacités agentiques du modèle de base sont préservés, ce qui permet de basculer entre des tâches purement visuelles et des tâches de raisonnement classique sans changer de modèle.
Le contexte : Alibaba multiplie les lancements sur les agents
Cette sortie s’inscrit dans une cadence particulièrement soutenue côté Alibaba depuis l’été 2026 : nouveaux modèles Qwen à intervalles rapprochés, expérimentations sur la monétisation de l’écosystème open source, et désormais un modèle dédié spécifiquement au pilotage d’écrans. Pour les équipes qui construisent des agents capables d’agir sur une interface graphique plutôt que de seulement répondre par texte, Qwen-UI-Agent ajoute une option supplémentaire face aux modèles propriétaires d’OpenAI et d’Anthropic.
Sur quels benchmarks Qwen-UI-Agent devance-t-il ses concurrents ?
Sur MobileWorld, il obtient 82,1 %, devançant Claude Opus 4.8 de 14,6 points et GPT-5.6 Sol de 12 points. Il devance aussi légèrement Claude Opus 4.8 sur WebArena, avec 73,6 % contre 71,9 %.
Qwen-UI-Agent est-il meilleur que Claude Opus 4.8 sur toutes les tâches ?
Non. Sur OSWorld-Verified, un benchmark de tâches d’ordinateur complexes, Claude Opus 4.8 reste devant avec 83,4 % contre 79,5 % pour Qwen-UI-Agent.
Quels types d’appareils Qwen-UI-Agent peut-il contrôler ?
Le modèle couvre six modes d’usage : mobile, ordinateur de bureau, combinaison écran et ligne de commande, navigateur web, recherche approfondie avec contrôle d’écran, et service proactif.