Facebook : cette nouvelle IA capte et enregistre tout ce que vous voyez

Ce jeudi, Facebook a annoncé un projet de recherche dans le cadre duquel elle a collecté 2 200 heures de séquences filmées à la première personne à travers le monde entier, et ce afin d'entraîner des modèles d'intelligence artificielle (IA) de nouvelle génération.

une nouvelle forme d'ia

Ce projet, baptisé Ego4D, pourrait s'avérer crucial pour la division Reality Labs de Facebook, qui travaille sur de nombreux projets susceptibles de bénéficier de modèles d'IA formés directement à partir de séquences vidéo filmées du point de vue d'un humain (à la première personne donc). Cela inclut alors les lunettes intelligentes, comme les Ray Ban Stories ayant été produites par Facebook le mois dernier, et également la réalité virtuelle, dans laquelle Facebook a beaucoup investi depuis l'acquisition d'Oculus en 2014, pour 2 milliards de dollars.

Les images alors enregistrées pourraient permettre à l'IA d'apprendre à comprendre ou à identifier quelque chose dans le monde réel ou virtuel, que vous pourriez voir en étant à la première personne, et ce à travers une paire de lunettes ou un casque Oculus. Facebook a déclaré qu'il mettrait l'ensemble des données d'Ego4D à la disposition des chercheurs dès novembre.

Kristen Grauman, chercheur scientifique en chef chez Facebook, déclarait à nos confrères de CNBC :

Cette publication, qui est un ensemble de données ouvert et un défi de recherche, va catalyser le progrès pour nous en interne, mais aussi largement à l'extérieur dans la communauté universitaire et [permettre] à d'autres chercheurs de se pencher sur ces nouveaux problèmes, mais en étant maintenant en mesure de le faire d'une manière plus significative et à une plus grande échelle.

L'ensemble de données pourrait être déployé dans des modèles d'IA utilisés pour entraîner des technologies comme des robots, et ce afin que ces derniers puissent comprendre plus rapidement notre monde, comme l'expliquait Grauman. Elle continuait :

Traditionnellement, un robot apprend en faisant des choses dans le monde ou en étant littéralement "pris par la main" pour qu'on lui montre comment faire. [Mais] il existe des possibilités pour leur permettre d'apprendre à partir de vidéos, simplement à partir de notre propre expérience.

Facebook et un consortium de 13 universités partenaires se sont appuyés sur plus de 700 participants dans neuf pays dans le but de capturer des images en vue subjective. Selon Facebook, Ego4D contient alors plus de 20 fois plus d'heures de vidéo que tout autre ensemble de données de ce type.

Les universités partenaires de Facebook comprenaient entre autres Carnegie Mellon aux États-Unis, l'Université de Bristol au Royaume-Uni, l'Université Nationale de Singapour, l'Université de Tokyo au Japon, ainsi que l'Institut international des technologies de l'information en Inde.

Les images ont été capturées aux États-Unis, au Royaume-Uni, en Italie, en Inde, au Japon, à Singapour et en Arabie saoudite. Facebook a déclaré qu'il espérait étendre le projet à d'autres pays, notamment la Colombie et le Rwanda. Grauman rajoutait alors :

Une décision importante dans la conception de ce projet est que nous voulions des partenaires qui soient tout d'abord des experts de premier plan dans le domaine, intéressés par ces problèmes et motivés pour les poursuivre, mais qui présentent également une diversité géographique.

Un timing intéressant pour Facebook

La société n'a cessé d'intensifier ses efforts en matière de hardware, Le mois dernier, elle a lancé les Ray Ban Stories. En juillet, Facebook a aussi annoncé la création d'une équipe chargée de travailler spécifiquement sur le "metaverse", un concept qui implique que la rencontre entre le réel et le virtuel, jusqu'à ce qu'ils soient presque confondus.

Cependant, au cours du mois dernier, Facebook a été frappé par un barrage de nouvelles découlant d'un ensemble de recherches internes à l'entreprise, divulguées par Frances Haugen, ancienne chef de produit chez Facebook. Parmi ces recherches, une notamment relevait les effets néfastes d'Instagram sur la santé mentale des adolescents.

Nous aggravons les problèmes de perception du corps d'une adolescente sur trois

Au nom du respect de la vie privée, Facebook a déclaré que les participants aux tests d'Ego4D avaient alors reçu pour instruction d'éviter de capturer des caractéristiques d'identification personnelle lorsqu'ils recueillaient des séquences. Cela inclut donc notamment les visages, les conversations, les tatouages et les bijoux des personnes.

Facebook a déclaré qu'elle avait supprimé les informations permettant d'identifier les personnes dans les vidéos, et avait flouté les visages des passants ainsi que les plaques d'immatriculation des véhicules. Elle précisa également que l'audio avait été supprimé de nombreuses vidéos. Grauman rajoutait alors : "Les partenaires universitaires qui ont collecté ces vidéos ont tous suivi un processus intensif et important pour créer une politique de collecte appropriée".