A l’occasion de sa conférence annuelle Connect, mercredi 25 septembre en Californie, Meta annonce des évolutions de son IA et de son casque Quest qualifié de « réalité mixte » et présente ses lunettes intelligentes Orion pour la « réalité augmentée ».
Les lunettes Orion arrivent dans la foulée des lunettes Ray-Ban Meta qui permettent notamment de prendre des photos et des vidéos ainsi que d’écouter de la musique. Ces Ray-Ban sont conçues dans le cadre d’un partenariat renouvelé entre Meta et EssilorLuxotica qui pour sa part veut devenir une société de tech en s’appuyant sur Meta.
Premières véritables lunettes de réalité augmentée
Lors de l’événement Connect, Mark Zuckerberg présente les lunettes Orion, comme étant les premières véritables lunettes de réalité augmentée de Meta. Ces lunettes sont destinées aux expériences numériques qui ne sont plus limitées à l’écran d’un smartphone. Meta prépare l’ère de l’après smartphone, comme le mobile a détrôné le PC.
Les lunettes Orion intègrent une IA contextuelle qui détecte et comprend le monde qui nous entoure. Ces lunettes ont l’apparence et la sensation d’une paire de lunettes ordinaire avec les capacités immersives de la réalité augmentée. Les lunettes sont au stade de test auprès d’un public restreint. Meta insiste sur le fait qu’il ne s’agit pas d’un prototype de recherche mais d’un prototype de produit et qu’il est vraiment représentatif de ce qui pourrait être livré aux consommateurs.
Orion fait le lien entre les mondes physique et virtuel. On utilise le monde physique comme une toile sur laquelle on place du contenu et des expériences 2D et 3D. Autre atout de ces lunettes, elles permettent de voir le visage, les yeux et les expressions de l’autre. Meta insiste sur la miniaturisation des composants à une fraction de millimètre sur Orion. Le design adopte une forme contemporaine afin que les lunettes puissent être portées tous les jours.
Dans son champ de vision, on peut avoir des fenêtres multitâches, du divertissement sur grand écran et des hologrammes grandeur nature de personnes avec lesquelles on discute à distance. Ces contenus numériques peuvent se fondre de manière transparente dans la vision du monde physique.
L’assistant intelligent comprend ce que le porteur de lunettes regarde
L’assistant intelligent de Meta, Meta AI, fonctionne sur les lunettes Orion. Il comprend ce que le porteur de lunettes regarde dans le monde physique et peut l’aider avec des visualisations utiles si on ouvre son réfrigérateur et que l’on demande une recette en fonction de ce qu’il y a à l’intérieur. Ou il peut appeler un ami par vidéo tout en ajustant votre agenda pendant que l’on fait la vaisselle.
On peut passer un appel vidéo mains libres pour prendre et on peut rester connecté sur WhatsApp et Messenger pour consulter et envoyer des messages. Il n’est pas nécessaire de sortir son smartphone, de le déverrouiller, de trouver la bonne application, on peut le faire avec les lunettes.
Meta reconnaît qu’il doit encore travailler sur la qualité de l’affichage en Réalité Augmentée pour rendre les visuels plus nets. Il doit optimiser partout où cela est possible pour rendre le facteur de forme plus petit et parvenir à fabriquer à grande échelle pour rendre ces lunettes plus abordables.
De nombreuses évolutions pour les Ray-Ban Meta
D’autre part, toujours à l’occasion de l’événement Connect, Meta annonce de multiples évolutions pour les Ray-Ban Meta. Ces lunettes sont destinées à partager son point de vue et à capturer des moments (par photo ou vidéo), les mains libres. Meta y a ajoute de nouvelles fonctionnalités d’IA et élargit les partenariats.
La conversation avec l’assistant Meta AI est facilitée. On commence une conversation par « Hey Meta » pour poser une question initiale, puis on pourra poser des questions de suivi sans dire à nouveau « Hey Meta ». Et il n’y aura plus besoin de dire « regardez et » pour poser des questions à Meta AI sur ce que l’on est en train de regarder.
Une nouvelle fonction donne la possibilité pour les lunettes d’aider à se souvenir de certaines choses, comme où on s’est garé et on peut utiliser la voix pour définir un rappel pour envoyer un SMS dans trois heures. On peut demander à Meta AI d’enregistrer et d’envoyer des messages vocaux sur WhatsApp et Messenger. C’est pratique lorsqu’on a les mains occupées ou lorsqu’on ne peut pas accéder facilement à son téléphone pour écrire un texte.
Visite guidée par les Ray-Ban
La vidéo est ajoutée à Meta AI, afin d’obtenir une aide continue en temps réel. Si on visite une ville, on peut demander à l’IA de Meta quels sont les points de repère que l’on voit ou donner des idées sur ce qu’il faut voir ensuite, les mains libres. Ou, si l’on est à l’épicerie, on peut demander à Meta AI d’aider à déterminer ce qu’il faut faire en fonction de ce que l’on voit et si telle sauce ira bien avec la recette que Meta AI vient de suggérer.
Meta annonce que bientôt ces lunettes seront capables de traduire la parole en temps réel. En parlant à quelqu’un qui parle espagnol, français ou italien, il sera possible d’entendre ce qu’il dit en anglais à travers les haut-parleurs à oreille ouverte des lunettes. Meta fait progresser ses intégrations avec Spotify et Amazon Music, et ajoute de nouveaux partenariats avec Audible et iHeart. On peut utiliser la voix pour rechercher, découvrir et lire du contenu en déplacement. On peut demander à jouer par chanson, artiste, album ou livre audio. Et on peut obtenir plus d’informations sur le contenu diffusé par les lunettes diffusent avec la commande « Hey Meta, de quel album s’agit-il ? »
