Texture Transfer Based on Texture Descriptor Variations

Benoit Arbelot (1) , Romain Vergne (1) , Thomas Hurtut (2) , Joëlle Thollot (1)

1 MAVERICK - Models and Algorithms for Visualization and Rendering
2 EPM - École Polytechnique de Montréal

In this report, we tackle the problem of image-space texture transfer which aims to modify an object or surface material by replacing its input texture by another reference texture. The main challenge of texture transfer is to successfully reproduce the reference texture patterns while preserving the input texture variations due to its environment such as illumination or shape variations. We propose to use a texture descriptor composed of local luminance and local gradients orientation and magnitude to characterize the input texture variations. We then introduce a guided texture synthesis algorithm to synthesize a texture resembling the reference texture with the input texture variations. The main contribution of our algorithm is its ability to locally deform the reference texture according to local texture descriptors in order to better reproduce the input texture variations. We show that our approach is able to produce results comparable with current state-of-the-art approaches but with fewer user inputs.

Dans ce rapport, nous nous intéressons au transfert de texture en espace image qui consiste à modifier le matériau d’un objet ou d’une surface en remplaçant sa texture d’entrée par une texture de référence. La principale difficulté du transfert de texture est d’arriver à reproduire les motifs de la texture de référence, tout en préservant les variations de la texture d’entrée introduites par son environnement comme des variations de forme ou d’illumination. Nous proposons d’utiliser un descripteur de texture composé de la luminance locale ainsi que de l’orientation et l’amplitude locale des gradients afin de caractériser les variations de la texture d’entrée. Nous introduisons ensuite un algorithme de synthèse de texture guidé afin de synthétiser une texture ressemblant à la référence mais préservant les variations de la texture d’entrée. La principale contribution de cet algorithme est sa capacité à déformer la texture de référence localement en fonction du descripteur de texture. Cette approche permet d’obtenir des résultats comparables à l’état de l’art, mais nécessitant moins d’informations de la part de l’utilisateur.

Mots clés: texture analysisis; texture transfert

Mots clés: analyse de texture; transfert de texture

Domaines: Synthèse d'image et réalité virtuelle [cs.GR]

Benoit Arbelot, Romain Vergne, Thomas Hurtut, Joëlle Thollot. Texture Transfer Based on Texture Descriptor Variations. [Research Report] RR-9067, Inria. 2017. ⟨hal-01520226⟩