APAP: utilice la transformación lineal directa en movimiento para proyectar la unión de imágenes tanto como sea posible

Los autores estudian la estimación de proyección bajo las deficiencias del modelo, es decir, cuando los datos no satisfacen completamente los supuestos subyacentes del modelo de proyección. Nos centramos en la tarea de unir imágenes, que generalmente se resuelve estimando la proyección. distorsiones. Este modelo es razonable cuando la escena es plana o cuando la vista es completamente diferente debido a la rotación. Es fácil violar estas condiciones en la práctica, lo que produce resultados de unión con artefactos fantasma, lo que requiere el uso de algoritmos de eliminación fantasma. Con este fin, proponemos deformaciones que proyectan tanto como sea posible, es decir, deformaciones que apuntan a proyectarse globalmente pero permiten que los sesgos locales de no proyección tengan en cuenta las violaciones de las condiciones de imagen supuestas. Basado en una nueva técnica de estimación llamada Transformación lineal directa en movimiento (Moving DLT), nuestro método une sin problemas regiones de la imagen que son inconsistentes con el modelo de proyección. El resultado es una unión de imágenes de alta precisión que reduce significativamente los efectos fantasma, lo que reduce la dependencia del anti-fantasma post hoc.

En las tareas de unión de imágenes se suele estimar la distorsión de la proyección 2D para alinear las imágenes, es decir, se estima una matriz de homografía. Pero cuando la escena no es plana o las vistas son completamente diferentes, el modelo de proyección no puede representar adecuadamente la distorsión requerida, lo que resulta en desalineación o imágenes fantasma.

El software comercial, como AutoStitch, Photosynth, etc., utiliza la distorsión de proyección para alinear las imágenes. Cuando no se cumplen las condiciones, dependen de algoritmos de deduplicación para lograr el efecto final.

El método Lo más proyectivo posible propuesto por el autor utiliza la proyección global, pero permite que las desviaciones locales tengan en cuenta las deficiencias del modelo. El autor mencionó que el modelo de distorsión de proyección no puede explicar completamente la unión de la imagen real bajo el movimiento de la cámara, no porque haya ruido en la imagen, sino porque el modelo real en sí no es completamente lineal. Como se muestra a continuación.

El autor proyectó la correspondencia de la imagen bidimensional a una dimensión y descubrió que la correspondencia entre las dos vistas no era completamente lineal y no se debía a errores causados ​​por el ruido. El modelo ajustado por el método que sea lo más afín posible sólo puede ajustar la desviación local para intentar ajustarse al modelo tanto como sea posible, pero no puede imponer una proyección global. Sin embargo, el modelo se puede adaptar mejor al método de proyección tanto como sea posible.

Distorsión de proyección

Sume los pares de puntos coincidentes entre imágenes con partes superpuestas, luego la transformación de proyección u matriz de homografía es

donde están las coordenadas secundarias.

donde representa el elemento de la fila de . (El superíndice en la parte denominador parece ser un símbolo transpuesto)

A partir de él, podemos obtener

Sean las dos primeras filas de la matriz anterior, relacionadas con la ésima par de datos, el valor estimado por DLT es

donde está el apilamiento vertical de y la restricción.

Mover DLT

Para evitar artefactos, la idea del autor es utilizar una transformación de homografía dependiente de la posición según cada:

donde un peso debe ser añadido.

La restricción es y la fórmula de cálculo del peso es:

donde está el factor de escala, y cuanto más lejos de , menor será el peso.

Por lo tanto, la estimación de la transformación de distorsión local se puede expresar mediante la siguiente fórmula:

donde la matriz de peso, es decir,

Cuando está en una mala posición, el peso no será importante, use un valor pequeño para compensar el peso.

Mobile DLT puede considerarse como la versión proyectada de MLS, MLS usa una matriz para estimar la transformación afín de cada uno.

El autor utiliza el algoritmo RANSAC como solución de homografía global.

Dividir celdas

Obviamente es una pérdida de tiempo estimar la homografía local de todo lo que aparece en la imagen. El autor divide la imagen en cuadrículas y solo estima las coordenadas del centro de la imagen. La transformación de homografía local de la cuadrícula puede reducir efectivamente el número de WSVD (SVD ponderado) a uno.

Actualizar SVD ponderado

Cuando está configurado, se puede ver en las estadísticas del histograma en la figura anterior que en la escena de empalme real, la mayoría de las cuadrículas tienen menos de 20 pesos. Los autores aprovechan esta observación para actualizar WSVD a partir de esquemas anteriores en lugar de calcularlo desde cero.

Vamos, vamos, luego

Vamos, excepto por el ésimo elemento diagonal, la descomposición se puede cambiar a una actualización de rango único.

Donde, representa la fila de y, la complejidad algorítmica de la actualización de rango único es

Hemos propuesto un método de estimación proyectiva posible para funciones de deformación 2D. Los resultados de la unión de imágenes muestran resultados alentadores, ya que nuestro método es capaz de alinear con precisión imágenes que difieren más allá de la pura rotación. Los experimentos también muestran que la deformación propuesta se puede reducir elegantemente a una homografía global cuando la traducción de la cámara se acerca a cero, pero puede adaptarse de manera flexible a las deficiencias del modelo a medida que aumenta la traducción. Esto da como resultado una tecnología de unión de imágenes de alta precisión.