Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
Un NeRF (de l’anglais Neural Radiance Fields) est une méthode de vision par ordinateur qui reconstitue une scène en trois dimensions à partir de photographies, afin d’en produire des vues inédites sous des angles non photographiés.
La méthode a été présentée en 2020 par Ben Mildenhall et ses coauteurs, à la conférence européenne de vision par ordinateur (ECCV). Un réseau de neurones entièrement connecté apprend une fonction continue de la scène. Pour chaque point de l’espace et chaque direction d’observation, il prédit une densité et une couleur qui varie selon l’angle de vue. Une image est calculée en interrogeant le réseau le long des rayons issus d’une caméra virtuelle, puis en cumulant ces valeurs par rendu volumique. Ce calcul étant différentiable, l’apprentissage ne demande que des images dont la position de prise de vue est connue.
Un projet réunit quatre composantes. La capture fournit des photographies ou une vidéo sous des angles variés. Le calage estime la position de la caméra pour chaque image. L’entraînement produit un modèle propre à cette scène, qui ne vaut que pour elle dans la forme d’origine. Le rendu calcule les nouvelles vues.
Le NeRF se distingue de la photogrammétrie, qui calcule une géométrie explicite, sous forme de nuage de points ou de maillage, à partir des points communs entre les images. Le NeRF décrit la scène de façon implicite, dans les paramètres du réseau. Il se distingue aussi de l’IA générative : dans sa forme d’origine, il reconstitue une scène photographiée et ne crée pas de contenu à partir d’une consigne. Des méthodes de génération en trois dimensions à partir d’un texte s’appuient sur cette représentation. Le 3D Gaussian Splatting, présenté en 2023, vise le même but avec des gaussiennes en trois dimensions, pour un rendu en temps réel. En marketing, ces méthodes servent à présenter des produits, à proposer des visites virtuelles et à nourrir des dispositifs de marketing immersif.
Le NeRF offre un compromis nouveau : obtenir des vues libres d’un produit, d’un lieu ou d’un décor à partir de simples prises de vue, sans modélisation manuelle en trois dimensions. Le rendu restitue les reflets et les variations de lumière selon l’angle, que des photographies isolées ne montrent pas. À notre sens, la bonne question n’est pas « faut-il du NeRF ? », mais « quel support exige que l’utilisateur choisisse lui-même son point de vue ? ». Une vidéo bien tournée suffit souvent pour une campagne. La reconstruction se justifie pour une visite de lieu, l’examen détaillé d’un produit ou un décor réutilisé sur plusieurs productions.
L’article d’origine (Mildenhall et al., « NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis », ECCV 2020) a reçu une mention honorable du prix du meilleur article de la conférence. Trois ans plus tard, Bernhard Kerbl et ses coauteurs ont présenté le 3D Gaussian Splatting (« 3D Gaussian Splatting for Real-Time Radiance Field Rendering », 2023). Selon cette publication, aucune méthode antérieure n’affichait en temps réel une scène complète en 1080p. La nouvelle approche vise au moins 30 images par seconde à cette résolution. Nous recommandons donc de ne pas lier un projet au nom d’une méthode. Le format de diffusion et la qualité de la capture pèsent plus que la technique du prestataire.
La qualité technique se vérifie en comparant des vues calculées à des photographies tenues à l’écart de l’entraînement, prises sous les mêmes angles. L’effet sur le public se mesure par l’usage réel de la vue en trois dimensions : part des visiteurs qui la manipulent, durée d’interaction, retours au service client. Pour juger l’effet sur les ventes, nous recommandons un A/B testing entre une page avec la vue reconstruite et une page avec photographies seules.
Lors de séances de prise de recul, Advalians vous aide à arbitrer vos projets de contenus 3D, en toute indépendance vis-à-vis des outils et prestataires.
La photogrammétrie calcule une géométrie explicite, sous forme de nuage de points ou de maillage, que l’on peut mesurer, modifier ou imprimer. Le NeRF stocke la scène dans les paramètres d’un réseau de neurones et produit directement des images. Il restitue mieux les reflets et les variations de lumière selon l’angle, mais il fournit moins facilement un objet exploitable dans un logiciel de modélisation.
Critère de choix : si vous avez besoin d’un modèle à retoucher ou à intégrer dans un configurateur, privilégiez la photogrammétrie. Si vous cherchez avant tout un rendu visuel fidèle, testez une méthode de type NeRF.
Tournez autour d’un sujet immobile, sous un éclairage constant, en multipliant les angles avec un fort recouvrement entre les images. Couvrez aussi les parties hautes et basses si l’utilisateur pourra les regarder.
Avant la séance, listez les angles que la diffusion exigera et vérifiez qu’ils seront photographiés : un point de vue absent de la capture sera mal reconstitué. Écartez les passants, les écrans allumés et tout élément mobile. Prévoyez enfin quelques photographies supplémentaires, non utilisées pour l’entraînement, qui serviront à contrôler la qualité.
Comparez des vues calculées à des photographies réelles prises sous les mêmes angles et non utilisées pour l’entraînement. Les écarts visibles sur les textes, les arêtes et les couleurs signalent les limites du modèle.
Faites ensuite valider le rendu par un responsable produit, sur l’écran réel de diffusion, en particulier sur téléphone. Une fois le dispositif en ligne, suivez la part des visiteurs qui manipulent la vue et la durée d’interaction. Fixez avant le lancement le seuil d’usage qui justifie de poursuivre.
Les plus fréquentes viennent de la capture : sujet ou décor en mouvement, éclairage qui change, angles manquants, images floues. Le modèle reproduit ces défauts sous forme de flous et de formes parasites.
Viennent ensuite les erreurs de diffusion : rendu trop lourd pour un téléphone, absence de contrôle des détails avant publication, vue reconstruite présentée comme une photographie alors qu’une couleur ou une inscription est fausse. Prévoyez une étape de validation par une personne qui connaît le produit, avec une liste de points à contrôler.
Choisissez la vidéo lorsque vous voulez guider le regard et raconter une histoire : elle se produit et se diffuse plus simplement. Choisissez une reconstruction lorsque l’utilisateur doit examiner le produit ou le lieu à sa guise, par exemple avant un achat engageant ou une réservation.
Renoncez au NeRF si le produit change souvent, si votre audience consulte surtout sur des téléphones peu puissants ou si vous ne pouvez pas mesurer l’usage de la vue. Dans le doute, testez sur quelques références avant de généraliser.
Par Thomas Bizot – Président du cabinet Advalians
