Jusqu’ici, les mots-clé saisis sur Facebook dans la recherche d’une photo affichaient seulement les résultats identifiables grâce à leur tag ou le texte les accompagnant. Ainsi, taper « chat » faisait uniquement apparaître les images mentionnant ce mot.
Depuis l’intégration de l’intelligence artificielle (IA) Lumos à Facebook — déployée aux États-Unis mais que nous n’avons pour l’instant pas encore retrouvée sur l’application française –, la recherche peut désormais identifier un concept ou une forme sur une photo. Taper « chat » fera ainsi apparaître des photos contenant des chats, l’IA parvenant à les reconnaître comme tels.
La recherche est aussi capable d’identifier les actions visibles sur une photo
Celle-ci est dote d’une capacité de détection importante, qu’il s’agisse de lieux, d’objets, d’animaux, de monuments et de vêtements. Lumos est aussi capable d’identifier les actions qui se déroulent dans l’image, comme par exemple « une personne qui court ».
Pour réaliser ce projet, l’entreprise de Mark Zuckerberg a entamé un long processus d’apprentissage qui a traité des milliards d’images pour identifier leurs contenus « sémantiques ». Les développeurs se sont appuyés sur la plateforme FBLearner Flow, un système qui permet d’engendrer le développement de différents types d’IA.
1,2 million d’expérimentations en cours
Facebook précise dans son communiqué : « Les développeurs de l’IA ont recueilli un échantillon de 130 000 photos publiques, partagées sur Facebook, qui comprenaient des personnes. Les employés ont rédigé des descriptions d’une ligne pour chaque photo, comme s’ils étaient en train de décrire l’image à un ami malvoyant. Ensuite, nous les avons utilisées pour réaliser une intelligence artificielle qui peut déduire les actions des personnes prises en photos. »
Cette dernière opération s’est basée sur le système du Automatic Alternative Text (AAT), une IA de Facebook qui permet aux malvoyants de mieux comprendre les contenus des photographies. L’équipe des développeurs a aussi intégré un ensemble de requêtes de recherche avec le riche classement des images pour améliorer la performance de Lumos.
Facebook espère ensuite intégrer cette même intelligence artificielle à ses contenus vidéo, en consolidant sa stratégie de marché : « Lumos aidera à découvrir de nouvelles possibilités de manière fiable, rapide et adaptable et ouvrira la voie pour des expériences plus riches à l’avenir. » L’entreprise mene actuellement 1,2 million expérimentations en cours sur les IA.
Nouveauté : Découvrez
La meilleure expérience de Numerama, sans publicité,
+ riche,
+ zen,
+ exclusive.
Abonnez-vous à Numerama sur Google News pour ne manquer aucune info !
