Foveon: The Clever Image Sensor That Has Failed to Catch On

Au début des années 2000, Sigma, une société communément connue dans la communauté de la photographie en tant que fabricant d’objectifs, a introduit un nouveau type de capteur d’appareil photo appelé le Foveon. Breveté en 1999, ce nouveau type de capteur intègre une technologie innovante de détection des couleurs : un empilement de diodes photosensibles à 3 couches.

Sur le papier, cette technologie promettait de surpasser les capteurs CMOS en termes de précision des couleurs, de bruit de faible luminosité et de clarté d’image. Cet article explique pourquoi la technologie Foveon, bien qu’une idée intelligente, n’a pas vraiment réussi dans l’industrie de la photographie.

Un capteur CMOS APS-C Foveon X3 Quattro.

Retour aux fondamentaux : comment votre appareil photo capture-t-il les couleurs ?

Le silicium est communément appelé matériau semi-conducteur et est utilisé en tant que tel dans de nombreux circuits électroniques. Cependant, le principal intérêt du silicium pour les photographes est qu’il s’agit d’un matériau sensible à la lumière.

Pour être plus précis, le silicium absorbe la lumière pour toute longueur d’onde comprise entre 400 nm et 1100 nm. La bonne nouvelle est que cette gamme couvre le spectre de la lumière visible (environ 400 nm à 750 nm) et même une partie du spectre proche infrarouge. La mauvaise nouvelle est que le silicium seul ne fait pas la distinction entre la couleur de la lumière et n’accumule que les photons dans la gamme 400-1100 nm.

La première étape pour améliorer la qualité de l’image consiste à ajouter un filtre pour éliminer la lumière infrarouge (entre 750 nm et 1100 nm) avant qu’elle n’atteigne le capteur. Le système résultant crée un capteur de caméra monochrome (qui fournit des images en noir et blanc).

Après cela, le moyen le plus courant de collecter des informations sur les couleurs consiste à utiliser un réseau de filtres de couleur (CFA). Habituellement, ce filtre est organisé selon un modèle Bayer (du nom de l’ingénieur Kodak) qui comprend des filtres rouge, vert, vert et bleu.

Vue de profil d’un filtre Bayer sur un capteur d’image. Illustration par Cburnett et sous licence CC BY-SA 3.0.

Grâce à ces trois filtres, les informations de couleur de l’image peuvent être récupérées. Cependant, le processus se fait au détriment d’une certaine résolution d’image. Pour un pixel “rouge” donné, une interpolation est nécessaire pour trouver l’information verte et bleue manquante. De nombreux algorithmes d’interpolation existent, mais le processus aboutit toujours à une certaine forme d’artefact de couleur et de lissage de l’image.

Les matrices de filtres de couleur, en plus d’être imprécises, absorbent de nombreux photons lors du processus de collecte de certaines informations de couleur. L’absorption varie en fonction du choix du filtre et du contenu de l’image, mais on suppose généralement que le flux lumineux est divisé par 3 avant d’atteindre le capteur. C’est 1,5 arrêts de lumière.

L’idée intelligente derrière la technologie Foveon

Un photon particulier parcourt une certaine distance dans le silicium avant d’être absorbé, en fonction de sa couleur. Cette “distance de déplacement” est liée à l’énergie du photon, qui dépend de la longueur d’onde. Les photons de courte longueur d’onde (lumière bleue, lumière UV, etc.) sont plus énergétiques que les photons de plus grande longueur d’onde (lumière rouge, lumière infrarouge, etc.) et sont donc absorbés après un trajet plus court dans le silicium.

« La profondeur d’absorption est l’inverse du coefficient d’absorption. Par exemple, une profondeur d’absorption de 1 µm signifie que l’intensité lumineuse est tombée à 36 % (1/e) de sa valeur d’origine.” Graphique réalisé par Christiana Honsberg et Stuart Bowden de l’ASU.

Étant donné que la profondeur d’absorption dans le silicium fournit une estimation de la longueur d’onde du photon, la mesure de la profondeur d’absorption fournit théoriquement l’information de couleur. L’idée astucieuse des capteurs foveon est d’utiliser des “filtres de profondeur” au lieu de filtres de couleur côte à côte.

Absorption dépendante de la longueur d’onde dans le silicium et le capteur Foveon X3. Illustration par Anoneditor et sous licence CC BY-SA 3.0.

Sur le papier, au moins, la suppression des filtres de couleur devrait augmenter le flux lumineux tombant sur le capteur et éliminer les inconvénients liés aux filtres de couleur.

Lorsque les capteurs Foveon sont arrivés sur le marché en 2002 avec le reflex numérique Sigma SD9, la plupart des appareils photo numériques étaient loin d’avoir une résolution de 10 MPx. Le Canon EOS-1D avait 4,2 MPx et le Nikon D100 avait 6 MPx. Étant donné que les matrices de filtres de couleur nécessitent une interpolation numérique pour un nombre donné de pixels, la matrice de filtres de couleur offrait une énorme amélioration de la netteté.

Sigma a en fait essayé de commercialiser cette différence de qualité d’image en affirmant que la caméra SD9 a une image de sortie de 3,43 MP, mais a « 10,3 millions de pixels effectifs », ce qui signifie que ses pixels fonctionnent 3 fois mieux. Certains articles universitaires ont en effet constaté que les capteurs Foveon offrent une résolution perçue plus élevée, grâce à l’absence d’interpolation et d’artefact de couleur autour des arêtes vives. À cet égard, les capteurs Foveon offrent un avantage clair et mesurable à l’utilisateur.

Les chercheurs ont découvert que les capteurs Foveon avaient une résolution perçue plus élevée que les capteurs Bayer. Tableau « Réponse en fréquence spatiale des capteurs d’image couleur : filtres de couleur Bayer et Foveon X3 » par Paul M. Hubel, John Liu, Rudolph J. Guttosch.

Un dernier point revendiqué par Sigma est que les capteurs Foveon surpassent les capteurs de filtre de couleur en ce qui concerne la précision des couleurs. La revendication s’explique par le manque d’interpolation des informations de couleur. En effet, pour un pixel Foveon donné, les données rouges, vertes et bleues sont enregistrées au même endroit, contrairement à un réseau de filtres de couleur.

Le capteur Foveon a tout pour plaire, du moins sur le papier : un meilleur flux lumineux signifie de meilleures performances en basse lumière, une meilleure précision des couleurs et une meilleure clarté d’image. Mais les spécifications papier ne racontent jamais toute l’histoire…

Qu’est-ce qui n’allait pas avec l’idée du Shiny Foveon ?

Dès lors, la vraie question se résume à ceci : Puisque l’idée derrière les capteurs Foveon est assez astucieuse, pourquoi n’utilisons-nous pas tous les capteurs Foveon ?

Résolution

Une partie de l’intérêt pour la technologie foveon a disparu avec l’évolution des capteurs CMOS. L’augmentation spectaculaire de la densité de pixels a réduit l’un des principaux arguments de vente des capteurs Foveon. Bien sûr, ce n’est pas vraiment une comparaison de pommes à pommes, car le nombre de pixels ne contribue qu’à une fraction de la qualité d’image finale (avec l’objectif, la quantité de lumière disponible, etc.). Foveon est moins attractif qu’au début des années 2000, car même les smartphones peuvent délivrer des images d’au moins 20 MPx.

Couleur

L’avantage couleur du capteur foveon est indéniable en théorie, mais peu utile en pratique. En dehors des moniteurs calibrés en couleur et des environnements de laboratoire, la différence de précision des couleurs est trop faible pour que la plupart des photographes occasionnels la remarquent. C’est certainement plus subtil que l’effet des erreurs de balance des blancs ou des filtres Instagram créatifs.

Courbes de réponse des capteurs Bayer (à gauche) et Foveon (à droite). Graphiques avec Boris van Schooten.

Bruit

Voici le point potentiellement le plus controversé. Sur le papier, les capteurs Foveon doivent recueillir environ 3 fois plus de lumière, ce qui signifie une amélioration de 1,7 fois du rapport signal/bruit. Autrement dit, en supposant que le bruit de tir est dominant. Cependant, dans des comparaisons pratiques, les performances en basse lumière des capteurs Foveon se sont avérées insuffisantes. Même le directeur général de Foveon, Shri Ramaswami, l’a admis dans une interview en 2014 :

“L’une des limites de l’approche de Foveon est que le bruit de l’image est plus élevé qu’avec les capteurs conventionnels”, a-t-il déclaré. “Cela est probablement dû en partie à des inefficacités dans l’architecture du capteur lui-même – peut-être qu’une partie de la lumière est perdue dans les structures internes séparant les couches – et en partie à cause du traitement qui doit être effectué pour produire des couleurs pures à partir de signaux hautement mélangés que le la puce capture réellement.

Les capteurs CMOS et les capteurs Foveon partagent un problème de conception similaire : une partie de la lumière fuit d’un pixel à l’autre. Dans les capteurs CMOS, ce problème de diaphonie est résolu en utilisant des structures d’isolation verticales entre les photodiodes.

Cependant, il n’est pas possible d’appliquer la même astuce avec les capteurs Foveon (sinon vous n’obtiendrez que les informations de couleur bleue). Par conséquent, les capteurs Foveon ont tendance à souffrir de fuites de photons d’une couche de photodiode à la suivante.

Vues schématiques en coupe d’un pixel. (a) est un pixel de contrôle et (b) est un pixel amélioré de diaphonie. Illustrations de “45 nm Stacked CMOS Image Sensor Process Technology for Submicron Pixels”.

Traitement d’image : le problème caché derrière des capteurs inhabituels

Un inconvénient commun à tous les systèmes de couleurs “inhabituels” (qu’il s’agisse de Fuji X-Trans, de filtres RGBW ou de Foveon) est que le traitement de l’image est également affecté par la sélection. Bien que les filtres Bayer ne soient pas le meilleur moyen de capturer les couleurs, ils existent depuis des décennies et dominent définitivement le marché des capteurs. En conséquence, l’incitation pour les chercheurs et les entreprises de traitement d’images à affiner tous les algorithmes de ces capteurs est forte.

Par exemple, la suppression du bruit se fait généralement avec certaines hypothèses sur les statistiques sur les photons collectés qui ne peuvent pas être directement appliquées aux capteurs Foveon. Malheureusement, compte tenu de la part de capteurs Foveon utilisés, la plupart des sociétés de traitement d’images ne sont pas incitées à prendre en charge les fichiers Foveon, sans parler du développement de pipelines de traitement d’images dédiés à ces capteurs.

La tendance s’aggrave avec les algorithmes basés sur l’apprentissage automatique. Pour le dire franchement, les algorithmes d’apprentissage automatique ne sont aussi bons (à la fois quantitatifs que qualitatifs) que les données utilisées pour les former. Parce que les matrices de filtres Bayer ont mille fois plus d’images disponibles que Foveon, les premiers capteurs bénéficieront de meilleurs algorithmes que les seconds.

Autres considérations de marketing

Enfin, nous devons mentionner l’éléphant dans la pièce. Le matériel photographique ne se vend pas toujours pour des raisons techniques. Tarification, marketing, écosystèmes de lentilles, image de marque – de nombreux facteurs contribuent au succès d’une technologie.

Sigma a essayé de fournir un capteur différent de tout autre chose, mais la société a dû mener deux batailles à la fois. Le premier consistait à prouver la qualité d’image des capteurs Foveon. La seconde était de prouver en tant que fabricant d’appareils photo que leurs appareils photo surpassaient les appareils photo Canon ou Nikon.

Foveon pourrait être l’arme secrète de Sigma dans l’industrie concurrentielle de la caméra. Cependant, la différence de performances entre les capteurs conventionnels et Foveon n’est pas claire. Du moins pas assez clair pour attirer de nouveaux photographes vers la marque Sigma.

Le capteur Foveon reviendra-t-il ?

Sigma a commencé à développer un capteur Foveon plein format. Selon la dernière déclaration de Sigma, le projet en est au stade de prototype précoce. Il semble probable que le projet resterait bloqué au stade du prototype et n’atteindrait jamais le marché. Au mieux, il semble irréaliste d’attendre un capteur produit en série à partir de ce calendrier avant 2024.

En tant qu’entreprise, Sigma a une réputation bien méritée dans la fabrication d’objectifs et cherche à étendre ses activités aux caméras et aux capteurs. Cependant, un appareil photo est bien plus qu’un simple capteur. Le véritable défi pour Sigma peut être le manque de traitement d’image de haute qualité. Sigma a même dû créer un plug-in pour Adobe Photoshop pour ouvrir les fichiers Foveon.

S’il n’est pas impossible pour Sigma de lancer un nouvel appareil photo avec un capteur Foveon plein format, il reste encore un long chemin à parcourir avant de vendre la technologie en dehors de la communauté Foveon existante, ce qui en fait un standard de l’industrie.


A propos de l’auteur: Timothée Cognard est un opticien et photographe basé à Paris, France.

Leave a Comment