Notas de papel EPnP

Primero hablemos de la definición del problema. Conocemos el punto de referencia de las coordenadas 3D en el sistema de coordenadas mundial y las coordenadas 2D del punto de proyección de la imagen correspondiente.

En el esquema EPnP, las coordenadas de la cámara del punto de referencia se expresan como la suma ponderada de los puntos de control, y luego el problema se transforma en la solución de las coordenadas de la cámara de estos cuatro puntos de control. Para el caso no plano, se requieren cuatro puntos de control no planos, mientras que para el caso plano, sólo se requieren tres.

El punto marcado está en el sistema de coordenadas mundial.

El punto marcado está en el sistema de coordenadas de la cámara.

Todas , , y no son coordenadas homogéneas.

Más adelante se explicará cómo seleccionar los puntos de control. Supongamos que hemos seleccionado cuatro puntos de control.

EPnP también utiliza este método de representación similar, utilizando la suma ponderada de cuatro puntos de control para representar el punto de referencia. En el sistema de coordenadas mundial, podemos obtener:

Entonces el punto de referencia en el sistema de coordenadas de la cámara se puede escribir como:

¿Por qué necesitamos 4 puntos de control?

Suponiendo que los tres puntos de control cumplen los requisitos, entonces

A * * * tiene tres incógnitas y cuatro ecuaciones. Cuando el número de ecuaciones es mayor que el número de incógnitas, se dice que es una ecuación sobredeterminada. Sólo existe una solución de mínimos cuadrados. Es decir, en general, no existe una solución que satisfaga completamente las cuatro ecuaciones.

¿Cómo solucionarlo?

Teóricamente, la selección de los puntos de control no importa mucho, siempre que sea reversible. Sin embargo, el autor descubrió en experimentos que la estabilidad del algoritmo aumentará después de establecer uno de los puntos de referencia como centro de masa. Esto tiene sentido hasta cierto punto porque el uso de centroides normaliza los datos en un sistema de coordenadas.

Primero calcule el primer punto de control:

Utilice PCA para calcular los otros tres puntos, primero calcule la matriz de covarianza:

Luego, la matriz de covarianza es.

Recuerde que el valor propio es y el vector propio correspondiente es, entonces los tres puntos de control restantes se pueden determinar de acuerdo con la siguiente fórmula:

Suponga los parámetros internos conocidos de la cámara La matriz es una proyección 2D en el sistema de coordenadas de la imagen, entonces

Se pueden obtener dos ecuaciones lineales de lo anterior:

La matriz obtenida al tomar los coeficientes de la fórmula juntos es la punto de control en las coordenadas de la cámara coordenadas en el sistema.

Puedes conseguirlo después de solucionarlo.

Obviamente cae en el espacio cero derecho, o se puede expresar como:

La descomposición en valor singular de m puede obtener el vector singular correcto, pero la descomposición en valor singular toma un mucho tiempo. El esquema SVD con menor complejidad temporal es actualmente.

Cambiemos nuestra forma de pensar. Podemos resolverlo más rápido resolviendo el vector propio correspondiente al valor propio de 0. Calcular la matriz es el paso que lleva más tiempo en EPnP, con una complejidad temporal de .

En el sistema de coordenadas de la cámara, para el I-ésimo punto de control

El siguiente paso es encontrar la solución.

Dependiendo de la cantidad, existen diferentes formas de solucionar el problema. es la dimensión del espacio nulo de la matriz. Mediante experimentos de simulación, el autor descubrió que está relacionado con la distancia focal de la cámara.

Rellenando los huecos

Se puede observar que todos los valores singulares tienden a cero a partir del quinto orden. Debido a que hay algo de ruido durante el experimento, estrictamente hablando no es cero.

El eje vertical de las dos figuras representa la proporción basada en 300 conjuntos de experimentos.

Imagen de la izquierda: se agrega ruido gaussiano a la misma imagen y el eje horizontal representa diferentes números de pares de puntos.

Derecha: Seis pares de puntos coincidentes fijados en la misma imagen. El eje horizontal representa diferentes niveles de ruido gaussiano.

Básicamente, la tasa de evaluación es relativamente alta.

Aún no entiendo el texto original. Vuelve y vuelve a rellenar el agujero.

Los autores del EPnP recomiendan considerar sólo la situación. Después de la confirmación, podemos resolverlo mediante las siguientes restricciones:

La fórmula anterior significa que los parámetros externos de la cámara solo describen la transformación del sistema de coordenadas y no cambiarán la distancia entre puntos. Expresado por, podemos obtener:

Para cuatro puntos de control, podemos obtener una ecuación como esta. A continuación, resuélvelo en función de diferentes valores de .

A * * * tiene 1 número desconocido y se puede calcular directamente.

Un * * * tiene tres incógnitas

Escribe la fórmula anterior. Dado que las incógnitas son menores que el número de ecuaciones, usa pseudoinverso para resolver: