La vidéo 3D est largement perçue comme la prochaine innovation majeure dans le domaine de la vidéo numérique, avec la perspective d'une amélioration notable de la qualité et de l'expérience perçue pour l'utilisateur. Néanmoins, cette nouvelle technologie soulève de nombreux sujets de recherche, concernant l'acquisition du contenu, sa représentation, sa compression et son affichage.

Cette thèse se concentrera principalement sur les problématiques liées aux applications grand public telles que le 3D sur mobile, il s’agit de réaliser un codec vidéo 3D.

image1

Vidéo 3D et caractéristiques des solutions mobiles

En général, les principes techniques de base de la 3D sont les mêmes sur le mobile que sur les autres appareils stéréoscopiques. Mais le mobile présente des spécificités résident dans:

  • La compacité et le tout-en-un: caméra et écran dans la main.
  • La mobilité: écrans autostéréoscopiques.
  • Le partage: codecs et connectivité.
  • Le graphique: interfaces, jeux.
  • Les contenus mixtes: réalité augmentée.

Sans oublié les contraintes de surface qui résident dans la puissance de calcul disponible et la consommation d’énergie en temps réel.

Il existe deux classes principales de formats de vidéo 3D :

image4 image5
Vidéo pure (Stéréo ou Multivue) Vidéo + Profondeur (Stéréo + Profondeur ou Multivue + Profondeur)

 

Ce format présente des avantages par rapport à la vidéo pure dû de la synthèse d'un nombre important de vues à partir de quelques unes en entrée et du découplage de l'étape de codage avec celle de la visualisation. Cependant le traitement de ce format présente une complexité importante du DIBR et un besoin de nouvelles approches pour le codage et la compression.

Solutions informatiques : Codage de vidéos 3D

Parmi les techniques de codage de vidéos 3D on peut citer :

  • Simulcast : Codage de chaque vidéo de texture et de profondeur.

image6

  • MVC (Multiview Video Coding) : Exploitation des redondances inter-vues plus redondances temporelles

image2

  • MVD (Multiview Video + Depth) :

Exploitation des redondances entre vidéos de texture et vidéos de profondeur.

image3

  • MFC (Multiview Frame Compatible) : Codage stéréo en side-by-side ou en over-unde.

 

Codec 3D

Le terme Codec est construit d'après les mots COmpression et DÉCompression. Il s'agit d'une solution logicielle permettant de compresser et de décompresser un signal audio ou vidéo, le plus souvent en temps réel. Le procédé peut être réalisé sous forme d'un logiciel embarqué ou encore de matériel (hardware). Par extension, c'est le logiciel ou le circuit qui contient cet algorithme.

Aujourd'hui le seul codec avancé et standardisé autorisant les applications de multimédia est MPEG-4 AVC (Advanced Video Coding) ou H.264.

Historiquement les premiers standards de compression vidéo sont apparus vers 1992 avec MPEG-1 (CD-ROM) et H.261 (visiophonie). En 1995, ce fut MPEG-2 (télévision numérique) et H.263 (visiophonie), puis en 1999 MPEG-4 partie 2 (multimédia). C'est en 2003 que le standard MPEG-4 AVC (partie 10), aussi appelé H.264, a été défini conjointement par ISO et ITU dans le groupe JVT (Joint Video Team).

Les standards de compression vidéo ont de particulier qu'ils définissent la syntaxe du flux binaire comprimé et la façon de le décoder. Par contre, ils ne définissent pas les algorithmes de compression que l'on trouve seulement au codeur et qui font la différence sur la qualité de compression. Ainsi il est admis que les premiers codeurs  MPEG-2 en 1996 comprimaient à 6 Mb/s, alors qu'en 2002 la même qualité était obtenue à 2 Mb/s. Un gain de 3 en taux de compression a été acquis en améliorant seulement les codeurs tout en restant compatible avec le parc de décodeurs déployé. La même histoire va se rejouer pour MPEG-4 AVC / H.264 : Les premiers produits n'atteindront pas les performances théoriques du standard qui sont un gain d'au moins 2 en taux de compression par rapport à MPEG-2.

Solutions mobiles : Caractéristiques

Un codec vidéo pour les mobiles demande les caractéristiques suivantes :

  • Efficacité de compression : comprimer au débit le plus faible sans perte de qualité,
  • Complexité : réalisable sur plateforme mobile (cf consommation),
  • Robustesse : éviter la rupture de service en cas de pertes réseau,
  • Scalabilité :adaptabilité aux conditions variables d'un réseau mobile.

Les deux premières caractéristiques sont évidentes, car on recherche des solutions de mobilité réalisables avec un taux de compression élevé pour des réseaux mobiles à haut débit, mais qui restent très inférieurs aux débits des réseaux de télévision numérique (satellite, cable, terrestre, ...).

L'objectif de la compression vidéo 3D est d'accélérer la transmission d'images 3D sur le réseau.

La compression se fait soit avec des algorithmes purement mathématiques de compression de données sans perte d'information (comme un fichier gzip) ou par des algorithmes prenant en compte les caractéristiques des données à compresser et qui peuvent perdre des informations dites « non pertinentes ».