Update

Después de leer su actualización y mirar la primera referencia (escaneo de pizarra y mejora de imagen), veo dónde está el punto que falta.

Los datos de entrada del problema son un cuádruple (A,B,C,D), Y el centro O de la imagen proyectada. En el artículo, corresponde a la suposición u0 = v0 = 0. Añadiendo este punto, el problema se vuelve lo suficientemente restringido como para obtener la relación de aspecto del rectángulo.

El problema se vuelve a plantear como sigue: Dado un cuádruple (A,B,C, D) en el plano Z=0,encuentre la posición del ojo E(0,0, h), h>0 y un plano 3D P tal que la proyección de (A,B,C, D) en P sea un rectángulo.

Tenga en cuenta que P está determinada por E: para obtener un paralelogramo, P debe contener paralelos a (EU) y (EV), donde U=(AB)x(CD) y V=(AD)x(BC).

Experimentalmente, parece que este problema tiene en general una solución única, correspondiente a un valor único de la relación p/h de la rectángulo.

Mensaje anterior

No, no se puede determinar la relación del rectángulo a partir de la proyección.

En el caso general, una cuádruple (A,B,C,D) de cuatro puntos no colineales del plano Z=0 es la proyección de infinitos rectángulos, con infinitos ratios de anchura/altura.

Considere los dos puntos de fuga U, intersección de (AB) y (CD) y V, intersección de (AD) y (BC), y el punto I, intersección de los dos diagonales (AC) y (BD). Para proyectar como ABCD, un paralelogramo de centro I debe estar en un plano que contiene la línea paralela a (UV) a través del punto I. En uno de estos planos, se pueden encontrar muchos rectángulos que se proyectan a ABCD, todos con una relación w/h diferente.

Vea estas dos imágenes hechas con Cabri 3D. En los dos casos ABCD no cambia (en el plano gris Z=0), y el plano azul que contiene el rectángulo tampoco cambia. La línea verde parcialmente oculta es la línea (UV) y el verde visible la línea es paralela a ella y contiene I.

El tamaño no es realmente necesario, y tampoco lo son las proporciones. Y saber de qué lado está es irrelevante considerando que está usando fotos/escaneos de documentos. Dudo que vaya a escanear la parte trasera de ellos.

"Intersección de esquina" es el método para corregir la perspectiva. Esto podría ser de ayuda:

Cómo dibujar una Cuadrícula de Perspectiva correcta en 2D

Sobre la cuestión de por qué los resultados dan h / w en lugar de w / h: Me pregunto si la expresión de la ecuación 20 anterior es correcta. Publicado es:

       whRatio = sqrt (
            (n2*A.transpose()^(-1) * A^(-1)*n2.transpose()) / 
            (n3*A.transpose()^(-1) * A^(-1)*n3.transpose())
           ) 

Cuando intento ejecutar eso con OpenCV, obtengo una excepción. Pero todo funciona correctamente cuando uso la siguiente ecuación que para mí se parece más a la Ecuación 20: Pero basado en la Ecuación 20, parece que debería ser:

        whRatio = sqrt (
            (n2.transpose()*A.transpose()^(-1) * A^(-1)*n2) /
            (n3.transpose()*A.transpose()^(-1) * A^(-1)*n3)
           )

Puede determinar el ancho / alto con esta respuesta Calculando la coordenada 3D del rectángulo con la coordenada de su sombra?. Suponga que su rectángulo gire en el punto diagonal de intersección calcule su ancho y alto. Pero cuando cambia la distancia entre el plano de sombra de asunción al plano de sombra real proporcional del rectángulo es el mismo con el ancho / alto calculado!

Es imposible conocer el ancho de este rectángulo sin conocer la distancia de la 'cámara'.

Un pequeño rectángulo visto desde 5 centímetros de distancia se ve igual que un rectángulo enorme visto desde metros de distancia

Dibuja un triángulo isósceles derecho con esos dos puntos de fuga y un tercer punto debajo del horizonte (es decir, en el mismo lado del horizonte que está el rectángulo). Ese tercer punto será nuestro origen y las dos líneas a los puntos de fuga serán nuestros ejes. Llame a la distancia desde el origen a un punto de fuga pi/2. Ahora extienda los lados del rectángulo desde los puntos de fuga hasta los ejes, y marque dónde se cruzan los ejes. Elija un eje, medir las distancias de los dos las marcas al origen, transforman esas distancias: x- > tan (x), y la diferencia será la longitud "verdadera" de ese lado. Haga lo mismo para el otro eje. Toma la proporción de esas dos longitudes y listo.

Necesita más información, esa figura transformada podría provenir de cualquier paralelogramo dada una perspectiva arbitraria.

Así que supongo que primero necesitas hacer algún tipo de calibración.

Edit: para aquellos que dijeron que estaba equivocado, aquí va la prueba matemática de que hay infinitas combinaciones de rectángulos / cámaras que ceden a la misma proyección:

Para simplificar el problema (ya que solo necesitamos la relación de los lados) asumamos que nuestro rectángulo está definido por los siguientes puntos: R=[(0,0),(1,0),(1,r),(0,r)] (esta simplificación es la misma que transformar cualquier problema en uno equivalente en un espacio afín).

El polígono transformado se define como: T=[(tx0,ty0),(tx1,ty1),(tx2,ty2),(tx3,ty3)]

Existe una matriz de transformación M = [[m00,m01,m02],[m10,m11,m12],[m20,m21,m22]] que satisface (Rxi,Ryi,1)*M=wi(txi,tyi,1)'

Si expandimos la ecuación anterior para los puntos,

Para R_0 obtenemos: m02-tx0*w0 = m12-ty0*w0 = m22-w0 = 0

Para R_1 obtenemos: m00-tx1*w1 = m10-ty1*w1 = m20+m22-w1 = 0

Para R_2 obtenemos: m00+r*m01-tx2*w2 = m10+r*m11-ty2*w2 = m20+r*m21+m22-w2 = 0

Y para R_3 nosotros obtener: m00+r*m01-tx3*w3 = m10+r*m11-ty3*w3 = m20 + r*m21 + m22 -w3 = 0

Hasta el momento tenemos 12 ecuaciones, 14 variables desconocidas (9 de la matriz, 4 de la wi, y 1 para la relación r) y el resto son valores conocidos (txi y tyi se dan).

Incluso si el sistema no estuviera subespecificado, algunas de las incógnitas se multiplican entre sí (r y mi0 productos) haciendo que el sistema no sea lineal (podría transformarlo en un sistema lineal asignando un nuevo nombre a cada producto, pero terminará aún con 13 incógnitas, y 3 de se expanden a soluciones infinitas).

Si usted puede encontrar cualquier defecto en el razonamiento o las matemáticas, por favor hágamelo saber.

Dropbox tiene un extenso artículo en su blog de tecnología donde describen cómo resolvieron el problema de su aplicación de escáner.

Https://blogs.dropbox.com/tech/2016/08/fast-document-rectification-and-enhancement/

Rectificar un documento

Asumimos que el documento de entrada es rectangular en el mundo físico, pero si no está exactamente frente a la cámara, las esquinas resultantes en la imagen serán un cuadrilátero convexo general. Para satisfacer nuestro primer objetivo, debemos deshacer la transformación geométrica aplicada por el proceso de captura. Esta transformación depende del punto de vista de la cámara en relación con el documento (estos son los llamados parámetros extrínsecos), además de cosas como la distancia focal de la cámara (los parámetros intrínsecos). Aquí hay un diagrama del escenario de captura:

Para deshacer la transformación geométrica, primero debemos determinar dichos parámetros. Si asumimos una cámara bien simétrica (no astigmatismo, sin sesgo, etcétera), las incógnitas en este modelo son:

• la ubicación 3D de la cámara en relación con el documento (3 grados de libertad),
• la orientación 3D de la cámara en relación con el documento (3 grados de libertad),
• las dimensiones del documento (2 grados de libertad), y
• la distancia focal de la cámara (1 grado de libertad).

Por otro lado, las coordenadas x e y de los cuatro documentos detectados esquinas nos da efectivamente ocho restricciones. Aunque aparentemente hay más incógnitas (9) que restricciones (8), las incógnitas no son variables totalmente libres-uno podría imaginar escalar el documento físicamente y colocarlo más lejos de la cámara, para obtener una foto idéntica. Esta relación pone una restricción adicional, por lo que tenemos un sistema totalmente restringido que resolver. (El sistema real de ecuaciones que resolvemos implica algunas otras consideraciones; el artículo relevante de Wikipedia da una buen resumen: https://en.wikipedia.org/wiki/Camera_resectioning)

Una vez recuperados los parámetros, podemos deshacer la transformación geométrica aplicada por el proceso de captura para obtener una bonita imagen rectangular. Sin embargo, este es potencialmente un proceso que consume mucho tiempo: uno buscaría, para cada píxel de salida, el valor del píxel de entrada correspondiente en la imagen de origen. Por supuesto, las GPU están diseñadas específicamente para tareas como esta: renderizar una textura en un espacio virtual. Existe una transformación de vista, que resulta ser la inversa de la transformación de cámara que acabamos de resolver.- con el que se puede renderizar la imagen de entrada completa y obtener el documento rectificado. (Una manera fácil de ver esto es tener en cuenta que una vez que tenga la imagen de entrada completa en la pantalla de su teléfono, puede inclinar y traducir el teléfono de manera que la proyección de la región del documento en la pantalla le parezca rectilínea.)

Por último, recordemos que había una ambigüedad con respecto a escala: no podemos decir si el documento era un papel tamaño carta (8.5" x 11") o una cartulina (17" x 22"), por ejemplo. ¿Cuáles deben ser las dimensiones de la imagen de salida? Para resolver esta ambigüedad, contamos el número de píxeles dentro del cuadrilátero en la imagen de entrada y establecemos la resolución de salida para que coincida con este número de píxeles. La idea es que no queremos aumentar o disminuir la imagen demasiado.

Parece que todavía hay cierta confusión sobre este interesante problema. Quiero dar una explicación fácil de seguir para cuando el problema puede y no puede ser resuelto.

Restricciones y Grados de Libertad

Normalmente, cuando nos enfrentamos a un problema como este, lo primero que debemos hacer es evaluar el número de Grados de Libertad desconocidos (DoFs) N, y el número de ecuaciones independientes M que tenemos para restringir los DoFs desconocidos. Es imposible resolver el problema si N si excede M (lo que significa que hay menos restricciones que incógnitas). Podemos descartar todos los problemas donde este es el caso como irresolubles. Si N no excede M entonces puede ser posible resolver el problema con una solución única, pero esto no está garantizado (ver el penúltimo párrafo para un ejemplo).

Usemos p1, p2, p 3 and p 4 to denote the positions of the 4 corners of the planar surface in world coordinates. Usemos R y t para ser la rotación y traducción 3D que las transforma en coordenadas de cámara. Usemos K para denotar la matriz intrínseca de la cámara 3x3. Ignoraremos la distorsión de la lente por ahora. La posición 2D de la ith esquina en la imagen de la cámara está dada por pi=f(K(Rpi+t)), donde f es la proyección de la función f(x,y,z)=(x/z,y/z). Usando esta ecuación sabemos que cada esquina en la imagen nos da dos ecuaciones (es decir, dos restricciones) en nuestras incógnitas: una del componente x de qi y una del componente y. Así que tenemos un total de 8 restricciones para trabajar. El nombre oficial de estas restricciones son las restricciones de reproyección .

Entonces, ¿cuáles son nuestros DoFs desconocidos? Ciertamente R y t son desconocidos, porque no sabemos la cámara pose de coordenadas del mundo. Por lo tanto, ya tenemos 6 DoFs desconocidos: 3 para R (por ejemplo, guiñada, cabeceo y balanceo) y 3 para t .  Por lo tanto, no puede haber un máximo de dos incógnitas en el resto de los términos (K, p1, p2, p3, p4). 

Diferentes problemas

Podemos construir diferentes problemas de la función en la que los dos términos en (K, p1, p2, p3, p4) vamos a considerar como desconocido. En este punto vamos a escribir K en la forma habitual: K=(fx, 0, cx; 0, fy, cy; 0,0,1) donde fx y fy son los términos de distancia focal (fx / fy normalmente se llama la relación de aspecto de la imagen) y (cx,cy) es el punto principal (el centro de proyección en la imagen).

Podríamos obtener un problema por tener fx y fy como nuestros dos incógnitas, y asumir (cx, cy, p1, p2, p3, p4) son conocidos. De hecho, este mismo problema se utiliza y resuelve dentro del método de calibración de la cámara de OpenCV, utilizando imágenes de un objetivo plano de tablero de ajedrez. Esto se utiliza para obtener una inicial estimación para fx y fy, asumiendo que el punto principal está en el centro de la imagen (que es una suposición muy razonable para la mayoría de las cámaras).

Alternativamente podemos crear un problema diferente asumiendo fx=fy, que de nuevo es bastante razonable para muchas cámaras, y asumir que esta distancia focal (denotada como f) es la solo desconocida en K. Por lo tanto, todavía nos queda una incógnita para jugar (recordemos que podemos tener un máximo de dos incógnitas). Así que vamos a utilizar esto suponiendo que conocido la forma del plano: como un rectángulo (que era la suposición original en la pregunta). Por lo tanto, podemos definir las esquinas de la siguiente manera: p1=(0,0,0), p2=(0,w,0), p3=(h,0,0) y p4=(h,w,0), donde h y w denota la altura y el ancho del rectángulo. Ahora, debido a que solo nos queda 1 desconocido, vamos a establecer esto como la relación de aspecto del plano: x = w / h. Ahora la pregunta es podemos recuperar simultáneamente x, f, R y t desde el 8 ¿restricciones de reproyección? ¡La respuesta es sí! Y la solución se da en el documento de Zhang citado en la pregunta.

La ambigüedad de la escala

Uno podría preguntarse si se puede resolver otro problema: si asumimos que K es conocido y las 2 incógnitas son h y w. ¿Se pueden resolver a partir de las ecuaciones de reproyección? La respuesta es no, y es porque hay una ambigüedad entre el tamaño del plano y la profundidad del plano a la cámara. Específicamente si escalamos el esquinas pi por s y escala t por s, luego s cancela en las ecuaciones de reproyección. Por lo tanto, la escala absoluta del plano no es recuperable.

Puede haber otros problemas con diferentes combinaciones para los DOF desconocidos, por ejemplo tener R, t , uno de los componentes principales del punto y el ancho del plano"s como incógnitas. Sin embargo, hay que pensar en qué casos son de utilidad práctica. Sin embargo, todavía no he visto un conjunto sistemático de soluciones para todas las combinaciones útiles!

Más puntos

Podríamos pensar que si añadiéramos correspondencias de puntos extra entre el plano y la imagen, o explotáramos los bordes del plano, podríamos recuperar más de 8 DOF desconocidos. Lamentablemente la respuesta es no. Esto se debe a que no agregan ninguna restricción independiente adicional. La razón es porque las 4 esquinas describen completamente la transformación del plano a la imagen. Esto se puede ver ajustando una matriz de homografía usando las cuatro esquinas, que luego pueden determinar las posiciones de todos los demás puntos en el plano en la imagen.