Le modèle d'IA Gemini implémente les fonctionnalités de rotation de la caméra et de réponse en direct

(CLO) Google a commencé à déployer de nouvelles fonctionnalités d'IA sur Gemini Live, permettant à la technologie de « voir » l'écran ou l'environnement à travers l'appareil photo du téléphone et de fournir des réponses en temps réel.

Alex Joseph, porte-parole de Google, a confirmé la nouvelle. Ces fonctionnalités arrivent près d'un an après le lancement du projet Astra, la plateforme d'IA à l'origine de Gemini Live.

Fonctionnalité vidéo IA en temps réel de Gemini. Photo : chromeunboxed

Un utilisateur de Reddit a signalé l'arrivée de cette nouvelle fonctionnalité sur son téléphone Xiaomi. Dans une vidéo publiée aujourd'hui, il a présenté les nouvelles capacités de lecture d'écran de Gemini, l'une des deux fonctionnalités majeures annoncées par Google pour les abonnés Gemini Advanced fin mars dans le cadre de son offre Google One AI Premium.

L'autre fonctionnalité phare est la vidéo en direct, qui permet à Gemini d'analyser un flux d'images provenant de l'appareil photo d'un téléphone et de répondre aux questions des utilisateurs en temps réel. Dans une vidéo de démonstration publiée par Google début mars, un utilisateur a testé la fonctionnalité en demandant à Gemini des conseils sur la couleur de peinture idéale pour son nouveau produit en céramique émaillée.

Le lancement de ces fonctionnalités d’IA montre que Google est en tête de la course au développement d’assistants virtuels intelligents.

Amazon se prépare à lancer Alexa Plus, mais il n'en est qu'à ses débuts en version bêta. Apple a retardé la mise à jour de Siri, l'empêchant ainsi de concurrencer Gemini. Samsung conserve Bixby, mais Gemini est désormais l'assistant par défaut des derniers téléphones Samsung.

Lors du MWC 2025, Google s'est engagé à intégrer le projet Astra dans Gemini Live et le déploie actuellement par étapes. 9to5Google rapporte avoir repéré des fonctionnalités de partage d'écran et d'appareil photo commençant à apparaître sur quelques appareils Android individuels.

De plus, la capacité d'analyse des vidéos en direct a été étendue. Les utilisateurs peuvent ouvrir l'interface Gemini Live, lancer le flux vidéo en direct, puis appuyer sur le bouton de commutation de la caméra dans le coin droit pour permettre à Gemini d'interagir directement avec l'environnement.

« Fondamentalement, cette fonctionnalité aide Gemini à « voir » le monde en temps réel », a déclaré un expert en technologie.

Bien que Google n'ait pas publié de liste précise des appareils compatibles, l'entreprise a indiqué dans un communiqué en janvier que la gamme Pixel et le Galaxy S25 seraient les premiers appareils à recevoir les mises à jour du Projet Astra. Cependant, aucune limitation technique ne limite actuellement Astra à certains appareils.

Google pourrait étendre Gemini Live aux appareils iOS à l'avenir, mais pour l'instant, cette fonctionnalité reste exclusive à Android. Les experts estiment que le projet Astra pourrait révolutionner la façon dont les utilisateurs interagissent avec l'IA, ouvrant la voie à une nouvelle ère d'IA en temps réel plus puissante.

Cao Phong (selon TheVerge, Google, 9to5Google)