Das Gemini-KI-Modell implementiert Kamerarotation und Live-Response-Funktionen

(CLO) Google hat mit der Einführung neuer KI-Funktionen für Gemini Live begonnen, die es der Technologie ermöglichen, den Bildschirm oder die Umgebung über die Kamera des Telefons zu „sehen“ und in Echtzeit Antworten zu geben.

Alex Joseph, ein Google-Sprecher, bestätigte die Nachricht. Diese Funktionen kommen fast ein Jahr, nachdem Google Project Astra, die KI-Technologieplattform hinter Gemini Live, erstmals vorgestellt hat.

Geminis Echtzeit-KI- Videofunktion . Foto: chromeunboxed

Ein Reddit-Nutzer berichtete, dass die neue Funktion auf seinem Xiaomi-Handy verfügbar ist. In einem heute veröffentlichten Video demonstrierte der Nutzer die neuen Bildschirmlesefunktionen von Gemini, eine von zwei wichtigen Funktionen, die Google Ende März im Rahmen seines Google One AI Premium-Plans für Gemini Advanced-Abonnenten angekündigt hatte.

Die andere wichtige Funktion ist Live-Video. Damit kann Gemini einen Bildstrom von der Handykamera analysieren und Nutzerfragen in Echtzeit beantworten. In einem Demo-Video, das Google Anfang März veröffentlichte, testete ein Nutzer die Funktion, indem er Gemini um Rat zur richtigen Farbe für sein frisch glasiertes Keramikprodukt bat.

Die Einführung dieser KI-Funktionen zeigt, dass Google im Rennen um die Entwicklung intelligenter virtueller Assistenten führend ist.

Amazon bereitet die Einführung von Alexa Plus vor, befindet sich aber noch in der frühen Betaphase. Apple hat sein Siri-Upgrade verschoben, sodass es nicht mit Gemini konkurrieren kann. Samsung behält Bixby bei, Gemini ist jedoch nun der Standardassistent auf den neuesten Samsung-Handys.

Auf dem MWC 2025 hat sich Google dazu verpflichtet, Project Astra in Gemini Live zu integrieren und führt es derzeit schrittweise ein. 9to5Google berichtet, dass auf einigen einzelnen Android-Geräten Bildschirmfreigabe- und Kamerafunktionen auftauchen.

Darüber hinaus wird auch die Möglichkeit zur Analyse von Live-Videos erweitert. Benutzer können die Gemini Live-Oberfläche öffnen, den Live-Videostream starten und anschließend auf die Kameraschaltfläche in der rechten Ecke tippen, damit Gemini direkt mit der Umgebung interagieren kann.

„Im Grunde hilft diese Funktion Gemini, die Welt in Echtzeit zu ‚sehen‘“, sagte ein Technologieexperte.

Obwohl Google keine konkrete Liste unterstützter Geräte veröffentlicht hat, erklärte das Unternehmen im Januar in einer Erklärung, dass die Pixel-Reihe und das Galaxy S25 die ersten Geräte sein würden, die Project Astra-Updates erhalten würden. Derzeit gibt es jedoch keine technischen Einschränkungen, die Astra auf bestimmte Geräte beschränken würden.

Google könnte Gemini Live künftig auch auf iOS-Geräte ausweiten, vorerst ist diese Funktion jedoch Android vorbehalten. Experten glauben, dass Project Astra die Art und Weise, wie Menschen mit KI interagieren, grundlegend verändern und eine neue Ära leistungsfähigerer Echtzeit-KI einläuten könnte.

Cao Phong (laut TheVerge, Google, 9to5Google)