Le chat vidéo holographique de Google ressemble à l’opposé de la réalité virtuelle

Bizarrement apaisant. Curieusement immersif. Invisible? Ce n’étaient pas les mots que je m’attendais à venir sur mes lèvres après être resté assis dans une pièce pendant 30 minutes en démonstration Projet StarlineLe prototype de plate-forme de chat vidéo 3D grand écran de Google qui est maintenant en train d’être testé dans quelques bureaux d’entreprise en dehors de Google. Mis à part un coup de poing qui s’est dissous en pixels, c’était plus réel que ce à quoi je m’attendais.

Google a présenté Project Starline il y a plus d’un an, lors de sa E/S Google 2021 conférence virtuelle des développeurs, comme une vision future de la façon dont les réunions virtuelles pourraient évoluer. L’idée semble parfaitement conçue en période de pandémie : un rêve de comment donner aux gens l’impression d’être assis les uns à côté des autres même s’ils sont à des milliers de kilomètres.

Les entreprises investies dans la VR et la RA, comme Meta, ont imaginé Réunions VR avec des avatars comme moyen de combler les distances. Le compromis de VR est un casque où vous cachez votre vrai visage ; les chats vidéo comme Zoom vous permettent de voir quelqu’un dans les yeux, en quelque sorte, mais vous pouvez vous sentir collé à l’écran de votre ordinateur portable. Méta futurs avatars sont conçus pour avoir l’air presque réels, tout en étant manipulés par des caméras à balayage facial. Project Starline obtient l’effet d’une manière différente, en projetant simplement un flux 3D en temps réel de votre visage.

Project Starline est un chat vidéo bidirectionnel, mais ce qui m’a étonné, c’est à quel point il se sentait aussi, dans une certaine mesure, comme quelque chose d’AR ou d’holographique. Et, finalement, un peu comme rien du tout.

Souvenirs d’une expérience virtuelle

J’ai attendu un jour avant d’écrire sur ma conversation d’une demi-heure avec Starline, car je voulais voir comment je m’en souvenais. Selon l’un des deux membres de l’équipe avec qui j’ai parlé dans ma petite cabine holographique, je pourrais me souvenir de mon expérience comme d’une véritable conversation en personne.

En fait, j’ai rencontré l’équipe Starline de Google – Andrew Nartker, directeur de la gestion des produits de Starline, et le chercheur scientifique Jason Lawrence – en personne au début, puis ils sont partis pour une deuxième pièce au bout du couloir avec un deuxième stand Starline pendant que j’étais assis Dans mon propre. À une courte distance, entre deux pièces séparées, nous avons discuté holographiquement. Ou, via des écrans de champ lumineux 3D.

Cela m’a donné le genre de présence étrangement réelle à laquelle je suis plus habitué en VR avec des avatars, mais avec les avantages réels d’un chat vidéo.

Au moment où je suis entré dans le stand Starline, c’était intimidant. Google n’a pas autorisé les photos ou les vidéos de mon expérience, mais il s’agit d’un banc à dossier haut faisant face à un grand écran, avec un bar/bureau en bois en forme de comptoir formant un peu un muret entre les deux. Un large éventail de caméras et ce qui ressemblait à des capteurs de profondeur entouraient l’écran et le bas du bureau / bar devant moi. J’ai compté au moins 12 capteurs/caméras, je pense. (Lawrence a expliqué plus tard que les différentes caméras de détection de profondeur fonctionnent ensemble, “une technologie de caméra de profondeur en temps réel que nous avons développée dans le cadre de cela.”)

Puis, alors que je fixais l’écran, Nartker est entré et s’est assis. L’image est apparue en 3D, comme s’il était assis en face de moi. j’ai vu écrans de champ lumineux avant d’obtenir des résultats similaires sans lunettes technologie 3Dmais c’était particulièrement intéressant pour deux raisons : c’était un chat vidéo en temps réel, et il est apparu grandeur nature devant moi.

La partie grandeur nature était choquante puis étrangement réconfortante. Alors que nous étions assis, notre contact visuel était parfait. Je me suis retrouvé tellement à regarder dans les yeux que c’était bizarre, et j’ai détourné le regard. J’ai parlé tout en gigotant un peu, et j’ai constaté que ma posture s’effondrait. J’ai commencé à me détendre. C’était… eh bien, c’était comme si nous parlions à la table d’un café.

“Nous pourrions être n’importe où dans le monde, regarder à travers ces fenêtres magiques et nous expérimenter vraiment de cette manière riche”, me dit Nartker. “Tu me regardes, en établissant un contact visuel. Nous ne pouvons pas vraiment faire ça aujourd’hui en vidéoconférence.”

Une interface qui fond

L’échelle et le positionnement de l’écran de Starline et de ses caméras sont ce qui m’a désarmé, car je n’avais pas à me soucier de regarder une seule caméra pour aligner ma vue. Je ne savais même pas à quoi je ressemblais.

“C’est presque comme si l’espace se connectait en quelque sorte. Et ces pièces fusionnent. Et vous, je suis juste assis ici à traîner”, dit Nartker.

La résolution d’affichage de Starline n’est pas aussi nette que la vraie vie, mais c’était assez bon. L’apparence 3D de Nartker semblait solide, à l’exception de moments de légère pixellisation ou de rupture sur les bords parfois, ou lorsque nos mains se tendent trop loin vers l’avant. Starline scanne un cube d’environ 1 mètre d’espace dans lequel nous pouvons voir les actions de chacun. Le muret en bois forme une sorte de limite physique vers laquelle je veux me pencher.

J’avais envie de placer quelque chose sur le comptoir, comme s’il tendait la main et le prenait comme un tour de magie. Ce n’est pas possible, bien sûr. Ni mettre un objet holographique sur le bureau.

“Nous avons mis ce petit mur là parce qu’il y a un espace où ces deux pièces se rejoignent, et c’est exactement là où ces choses se connectent. Mais vous et moi pouvons presque sentir que vous dépasseriez ce point du mur et que vous vous donneriez mutuellement high fives », explique Nartker.

Nous avons fait des coups de poing plus tard, montrant les limites du balayage spatial. Sa main a commencé à se pixeliser et à se dissoudre alors que ma main s’approchait. J’ai pensé à lui me voyant faire la même chose de l’autre côté. Nous formant un espace volumétrique entre nous.

Je n’ai réalisé que plus tard que le mur derrière mon partenaire de chat holographique n’était pas réel : c’est une toile de fond virtuelle qui semblait impossible à distinguer du mur derrière moi, avec des ombres virtuelles ajoutées. C’est là parce qu’une partie de cette zone est techniquement au-delà des limites de la caméra de détection de profondeur.

Starline est conçu pour fonctionner sur une bande passante réseau normale et s’affiche à 60 Hz. L’exploit 3D semble venir comme une petite baisse de résolution par rapport à ce à quoi ressemblerait un grand téléviseur 4K, mais avec ce niveau supplémentaire de réalisme actuel.

Je me demande à quel point je l’utiliserais pour regarder des choses autres que des gens. Les choses qu’il tient peuvent être vues, bien que sous une forme vidéo légèrement moins nette que la normale. Une pomme, par exemple. Je brandis mon portefeuille et mes clés de voiture.

Je me sentais vraiment plus détendu et – oserais-je dire – normal après quelques minutes d’utilisation de Starline, bien qu’entrer dans une pièce spéciale avec une cabine et un écran mural avec caméra était une rampe d’accès étrange pour se sentir décontracté. L’installation à grande échelle de Starline le rend loin d’être aussi instantané ou quotidien que n’importe quel appel vidéo normal que vous feriez sur n’importe quel appareil que vous avez déjà sur vous.

Mais alors que je sentais la technologie fondre et que notre conversation, remplissant la majeure partie du champ de vision, occupant le devant de la scène, j’ai ressenti beaucoup de concentration et de calme. Cela ressemblait totalement à un tour de magie sauvage, mais cela a également commencé à ressembler à une expérience en face à face par rapport à une sorte de Zoom.

Que ce passe t-il après?

Le chat vidéo en temps réel sur un écran 3D à champ lumineux est déjà un exploit que je n’avais jamais vu auparavant, mais les questions de Starline sur la signification de la présence à distance m’ont fait penser au monde VR et AR dans son ensemble. Aucun casque VR ou AR n’a réussi à faire en sorte qu’une vraie conversation quotidienne entre deux personnes se sente normale, simplement parce que vous avez un équipement sur votre visage qui vous gêne. Le premier écran intelligent portable de Google, lunettes Googlevisait à travailler tout en étant socialement discret, mais cela n’a pas réussi.

“Il s’agit d’un prototype, une première preuve de concept pour savoir où cette technologie peut aller”, déclare Nartker. “C’était le premier prototype qui, selon nous, créait un sentiment de co-présence où nous nous sentions tous les deux ensemble. Lorsque nous avons étudié cela avec des Googleurs, nous avons découvert que les gens agissaient réellement. Ils pensaient que c’était réel et l’ont décrit comme réel. “

Clay Bavor, responsable de la RA et de la RV chez Google, qui a également lancé Google Rêverie VR plate-forme, dirige l’effort de Google Labs à la tête du projet Starline. Lunettes intelligentes d’assistanceannoncés lors de la conférence I/O de cette année, sont également en cours de développement. Google est dans une période de travail sur la réalité augmentée et la réalité virtuelle qui semble profonde dans la recherche, explorant des solutions qui pourraient finir par apparaître dans d’autres produits au fil du temps.

Le projet Starline est désormais installé dans un nombre limité de bureaux de test non Google, deux à la fois. La technologie est grande, mais l’espoir est que le design trouve son chemin dans d’autres formes plus petites. Pourtant, l’aspect grandeur nature de Starline semble être une caractéristique clé de son succès, qui nécessite un écran plus grand pour mouler un corps de taille normale.

J’ai tout de suite pensé à des applications : peut-être un stand de service client que quelqu’un pourrait gérer 24 heures sur 24, même si personne n’est physiquement là. Un kiosque de rencontre avec une célébrité, peut-être ? Cela fonctionnerait-il comme un module de brainstorming/collaboration ? Je ne sais pas si tout cela, au fil du temps, serait mieux qu’un Zoom/Meet/FaceTime régulier, ou une session en VR. Mais je suis extrêmement curieux de voir comment Google distille tout ce qu’il apprend avec Project Starline dans ce qui vient ensuite, casque ou autre.