Etalonnage de caméra plénoptique et estimation de profondeur à partir des données brutes

Alors qu’une camera standard enregistre deux dimensions d’un champ lumineux, une camera plenoptique est concue pour capturer localement quatre de ses dimensions. La richesse des donnees issues de ce capteur ouvre alors la porte a de nombreuses applications : il est possible, par post-traitement, de synthetiser des images prises de differents points de vue virtuels, de faire une mise au point dans differents plans de la scene, ou encore de calculer des cartes de profondeur d’une scene a partir d’une seule acquisition et ainsi obtenir des reconstructions 3D de l’environnement. La capture passive d’une information de profondeur via un systeme optique compact rend egalement ce capteur attractif pour des applications en robotique. Cependant, l’estimation de profondeur a partir d’un tel capteur necessite son etalonnage precis. Cette camera est composee d’un nombre consequent d’elements, dont une matrice de micro-lentilles placee devant le capteur, et les donnees brutes sont complexes. Ainsi la plupart des travaux de l’etat de l’art consistent a etalonner des modeles de projection simplifies en exploitant des donnees interpretees, telles que des images synthetisees et les cartes de profondeur associees. Au cours de nos premiers travaux realises en collaboration avec le laboratoire TUM, nous alors avons propose une methode d’etalonnage a partir d’une mire 3D en exploitant des donnees interpretees. Nous avons par la suite propose une nouvelle approche d’etalonnage basee sur les donnees brutes du capteur. Nous avons formalise un modele proche des caracteristiques physiques de la camera et propose une minimisation exprimee directement dans l’espace des donnees du capteur. Enfin, nous avons propose une nouvelle methode d’estimation de profondeur a echelle metrique utilisant le modele de projection de la camera. Cette approche directe utilise une minimisation de l’erreur entre le contenu de chaque micro-image et la reprojection de la texture des micro-images qui l’entourent. Les performances de nos algorithmes ont ete evaluees a la fois sur un simulateur developpe dans le cadre de cette these et sur des scenes reelles. Nous avons montre que l’etalonnage est robuste aux mauvaises initialisations du modele et la precision des estimations de profondeur concurrence celle de l’etat de l’art.