Comment Google utilise l’intelligence artificielle pour améliorer les photos sur le Pixel 2

Il n’y a qu’un seul capteur photo sur le dernier smartphone de Google, le Pixel 2. Pourtant ses capacités sont étonnantes. Explications.

Google Pixel 2 bokeh

Rappelez-vous : il y a quelques semaines je vous décrivais comment faire des vidéos à fond flou avec « effet bokeh » sur son iPhone. Le processus, simple mais pourtant peu utilisé car peu connu, nécessite d’utiliser un filtre Facebook Live qui met en œuvre la reconnaissance des visages et arrive ainsi à faire la distinction entre premier plan et arrière-plan. Pour cela, Facebook utilise un algorithme d’intelligence artificielle qui semble fortement s’améliorer au fil des mises à jour et peut-être de l’apprentissage machine. Regardez par exemple la différence de qualité et de précision des contours entre cette vidéo et celle-ci, plus récente.

Dans un long post sur son blog, Google détaille comment le machine learning est utilisé pour donner le même effet aux photos prises avec son nouveau smartphone le Pixel 2. Car même si le capteur du Pixel 2 est déjà réputé pour être l’un des meilleurs au monde, Google n’a pas sacrifié à la mode du double-objectif qui équipe aujourd’hui nombre de smartphones comme l’iPhone 7 Plus et 8 Plus ou encore le OnePlus 5. Le double objectif permet de réaliser des photos en mode portrait avec fond flouté sans avoir recours à un algorithme très sophistiqué puisque la distinction est « mécanique » (je parle sous le contrôle des grands experts de la photo qui vont forcément venir me contredire, j’ai l’habitude) 🙂

Dans son billet de blog, Isaac Reynolds, Product Manager chez Google, explique : « Nous avons conçu l’appareil photo de Pixel 2 en nous demandant comment nous pouvions faire en sorte que l’appareil photo de l’appareil fonctionne comme des reflex et d’autres gros appareils photo, et nous avons déjà parlé de la technologie que nous utilisons pour faire cela (comme le HDR+). Aujourd’hui, nous mettons en évidence une nouvelle fonctionnalité de l’appareil photo Pixel 2: le mode portrait. (…) Normalement, pour déterminer ce qui est loin de la caméra d’un smartphone, vous devez utiliser deux caméras proches l’une de l’autre, puis trianguler la profondeur des différentes parties de la scène – tout comme vos yeux fonctionnent. Mais sur le Pixel 2, nous sommes capables de combiner la photographie numérique et l’apprentissage machine pour faire de même avec un seul appareil photo. »

Comment fonctionne l’effet de fond flouté du Pixel 2

Le mode Portrait commence par une image HDR+ où tout est net et de haute qualité. Ensuite, la technologie appliquée par Google doit décider quels pixels appartiennent au premier plan de l’image et quels pixels appartiennent au second plan. C’est ce qu’on appelle un « masque de segmentation » et c’est là que l’apprentissage automatique entre en jeu. Isaac Reynolds explique que son équipe a formé un réseau de neurones pour regarder une image et comprendre quels pixels sont des personnes et lesquels ne le sont pas. Parce que les photos de personnes peuvent aussi inclure des choses comme des chapeaux, des lunettes de soleil et des cornets de crème glacée, ils ont formé le réseau sur près d’un million de photos.

Cependant, il ne suffit pas de créer deux couches – l’avant-plan et l’arrière-plan, avec un bord dur entre les deux – pour obtenir des photos crédibles. Les reflex produisent un flou qui devient plus fort à chaque fraction de pouce de distance de la mise au point nette. Pour recréer ce look avec la caméra arrière de Pixel 2, Google utilise le nouveau capteur Dual Pixel pour regarder à travers les côtés gauche et droit du minuscule objectif de la caméra en même temps, ce qui donne « deux caméras pour le prix d’une ». En utilisant ces deux vues, une carte de profondeur est calculée : la distance entre la caméra et chaque point de la scène. Ensuite, il devient facile de flouter l’image en combinant la carte de profondeur et le masque de segmentation. Et Google fait même mieux qu’Apple et son iPhone à double objectif car contrairement à ce dernier, le mode Portrait fonctionne aussi avec le capteur frontal, ce qui permet donc d’appliquer un fond flou aux selfies (certes un peu moins précis du fait de la moindre résolution du capteur en façade).

Je suis depuis longtemps convaincu que les appareils-photo des smartphones finiront par remplacer tout autre équipement, car ils parviendront à émuler à la perfection les reflex les plus sophistiqués. C’est un point de vue que je défends depuis longtemps, et qui m’a valu assez fréquemment quelques sarcasmes des experts en photographie. Je persiste et signe : ce qu’il ne sera pas possible de faire avec des objectifs et des lentilles, c’est l’intelligence artificielle qui le fera. C’est juste une question de temps (quelques années ?). Dans ce domaine aussi, l’intelligence artificielle et l’apprentissage machine n’ont pas fini de nous étonner. Et pour des applications concrètes et quotidiennes.


Nos dernières vidéos