Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
La multimodalité désigne la capacité d’un système d’intelligence artificielle à traiter et à générer des informations provenant de plusieurs modes de données, comme le texte, l’image, le son ou la vidéo.
Un modèle multimodal convertit chaque type de donnée en représentations numériques, les embeddings, puis les met en relation, souvent en les rapprochant dans un espace commun. Il peut ainsi générer une description textuelle à partir d’une image, répondre à une question posée sur une vidéo ou produire une image à partir d’un texte. Les modalités d’entrée et de sortie ne sont pas toujours les mêmes : un modèle peut lire des images et ne produire que du texte.
Un système multimodal comprend en général des encodeurs propres à chaque modalité, un mécanisme de fusion qui croise les informations, et un ou plusieurs décodeurs qui produisent la réponse. Son entraînement repose sur de grands volumes de données appariées, par exemple des images associées à leur légende. Les difficultés techniques tiennent à l’alignement des données, à la synchronisation temporelle pour le son et la vidéo, au volume de calcul et à la cohérence sémantique entre les modalités.
La multimodalité se distingue de la vision par ordinateur ou de la reconnaissance d’image, qui traitent une seule modalité. Elle se distingue aussi d’un enchaînement d’outils spécialisés, par exemple une transcription de la parole suivie d’un modèle de langage, où chaque outil traite un seul type de donnée. En marketing, elle ne doit pas être confondue avec le marketing multicanal, qui désigne la diversité des points de contact avec le client. Le terme s’emploie pour l’analyse de contenus visuels, la production de déclinaisons, l’accessibilité et la recherche par l’image.
Une marque produit beaucoup d’images, de vidéos et de sons. La multimodalité rend ce patrimoine accessible à l’analyse automatique : photothèque, vidéos de campagne, visuels publiés par les clients, enregistrements d’appels. Nous pensons que son principal apport n’est pas la création d’images par l’IA générative. Il tient à la capacité de décrire, de classer et d’interroger des contenus qui échappaient jusqu’ici à toute recherche.
L’article de Radford et de ses coauteurs, « Learning Transferable Visual Models From Natural Language Supervision » (2021), présente un modèle entraîné sur 400 millions de paires d’images et de textes. Ces paires ont été collectées sur Internet. Le modèle apprend à associer chaque image à la légende qui lui correspond. Il peut ensuite reconnaître de nouvelles catégories d’images, décrites en langage naturel, sans entraînement spécifique. Ce principe d’un espace commun entre texte et image est au cœur de la multimodalité.
Les règles d’accessibilité du W3C (WCAG 2.2, critère 1.1.1) demandent que tout contenu non textuel présenté à l’utilisateur dispose d’une alternative textuelle remplissant la même fonction, sauf exceptions prévues par le critère. Un modèle multimodal décrit bien ce que montre une image. Il ne sait pas toujours pourquoi elle figure sur la page. Nous recommandons de l’utiliser pour un premier jet, puis de faire réécrire chaque texte selon la fonction de l’image : informer, illustrer ou servir de lien.
Nous recommandons trois repères. Le premier est le taux de descriptions acceptées sans correction. Le deuxième, le taux d’erreurs graves : objet, texte ou personne mal identifiés. Le troisième, le temps de validation par contenu. Comparez-les avec la situation actuelle, même entièrement manuelle.
Advalians sensibilise vos équipes à l’IA, repère avec elles les cas d’usage à forte valeur pour vos contenus et accompagne un déploiement progressif des outils.
Un modèle multimodal traite plusieurs types de données dans un même modèle et les met directement en relation. Un enchaînement d’outils confie chaque modalité à un outil distinct : une transcription convertit l’audio en texte, puis un modèle de langage analyse ce texte. L’intonation, l’image ou la mise en page sont alors perdues lors de la conversion.
Critère pratique : si l’information utile tient au lien entre les modalités, par exemple un graphique commenté ou un ton de voix, privilégiez un modèle multimodal. Si une seule modalité porte l’essentiel, l’enchaînement suffit et coûte souvent moins cher.
Procédez en trois temps. Faites d’abord générer un premier jet pour chaque image, en fournissant au modèle le contexte de la page. Faites ensuite relire chaque texte par un rédacteur, qui l’adapte à la fonction de l’image : information, illustration ou lien. Pour les images purement décoratives, appliquez l’exception prévue par les règles d’accessibilité, qui permet aux technologies d’assistance de les ignorer.
Intégrez enfin les textes validés dans l’attribut alt et contrôlez un échantillon après mise en ligne, avec un lecteur d’écran.
Constituez un échantillon de contenus réels, une centaine à titre indicatif, en incluant des cas difficiles : visuels de produits proches, textes incrustés, vidéos mal éclairées, enregistrements bruités. Définissez à l’avance ce qu’est une bonne réponse pour chaque tâche.
Mesurez le taux de réponses justes sans correction, le taux d’erreurs graves, comme un chiffre mal lu ou une personne mal identifiée, et le temps de validation humaine. Comparez avec la solution actuelle, même manuelle. Rejouez le test à chaque changement de version du modèle.
Le premier risque est l’erreur de lecture : un modèle peut mal lire un chiffre dans un graphique, confondre deux produits ou décrire un élément absent de l’image. Le deuxième est juridique : une image ou une voix qui permet d’identifier une personne peut constituer une donnée personnelle. Le troisième tient aux droits sur les contenus transmis à un outil externe.
Avant tout projet, recensez les contenus concernés, vérifiez la base légale et les droits d’utilisation, et choisissez un outil dont les conditions d’usage des données sont claires. Prévoyez une relecture humaine avant toute publication.
Non. Un modèle multimodal se justifie lorsque la tâche exige de croiser plusieurs types de données : analyser des visuels publiés, décrire une photothèque, interroger un document qui mêle textes, tableaux et graphiques. Pour une tâche purement textuelle, comme la rédaction ou la classification d’avis écrits, un modèle de langage classique suffit et coûte souvent moins cher.
Critère de choix : identifiez où se trouve l’information utile. Si elle est dans l’image, dans le son ou dans leur combinaison, la multimodalité apporte un gain réel. Sinon, renoncez-y.
Par Thomas Bizot – Président du cabinet Advalians
