¿Cómo funciona el relleno consciente del contenido?

Supongo que para los agujeros más pequeños están agarrando parches de textura similar que rodean el área para llenarlo. Esto se describe en un artículo titulado "PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing" por Connelly Barnes y otros en SIGGRAPH 2009. Para agujeros más grandes pueden explotar una gran base de datos de imágenes con estadísticas o texturas globales similares, como se describe en "Finalización de escenas Usando Millones de fotografías". Si de alguna manera podría fusionar los dos juntos creo que debería funcionar como en el video.

Existe un algoritmo muy similar para GIMP durante mucho tiempo. Se llama resynthesizer y probablemente deberías ser capaz de encontrar una fuente para ello (tal vez en el sitio del proyecto )

EDITAR
También hay una fuente disponible en el repositorio de ubuntu
Y aquí puedes ver procesando las mismas imágenes con GIMP: http://www.youtube.com/watch?v=0AoobQQBeVc&feature=related

Bueno, no lo van a decir por las razones obvias. El nombre general de la técnica es "inpainting", puede buscar esto.

Específicamente, si nos fijamos en lo que Criminisi hizo mientras estaba en Microsoft http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.67.9407 y lo que Todor Georgiev hace ahora en Adobe http://www.tgeorgiev.net/Inpainting.html , usted será capaz de hacer una muy buena suposición. Una conjetura del 90%, diría yo, que debería ser suficiente.

Trabajo en un problema similar. Por lo que leí, usan "PatchMatch" o "muestreo de parches no paramétricos" en general.

PatchMatch: Un Algoritmo de Correspondencia Aleatorio para La Edición Estructural de Imágenes

El enfoque general se llama costura-tallado. El grupo de Ariel Shamir es responsable del trabajo seminal aquí, que fue presentado en SIGGRAPH 2007. Ver: http://www.faculty.idc.ac.il/arik/site/subject-seam-carve.asp

Como conjetura (y eso es todo lo que sería) esperaría que haga algún análisis de frecuencia (algunos como una transformada de Fourier) de la imagen. Al mirar solo la imagen en el borde de la selección e ignorar el medio, podría extrapolarse nuevamente al medio. Si los diseñadores eligen las llanuras de color correctas y lo que no, deben ser capaces de generar una textura que se mezcla perfectamente con la imagen en los bordes.

Editar: mirando el último ejemplo en el video; si nos fijamos en la parte superior de la imagen original en cualquiera de los bordes se ve que la línea de selección se ejecuta a la derecha por un "espacio" en las nubes y que justo en el medio hay un "bache". Estos son el tipo de artefactos que esperaría ver si mi conjetura es correcta. (OTOH, también esperaría verlos es que estaba usando algún tipo de sudo-reflejo a través del límite de selección.)