Recuperación integral de información en bibliotecas.
Sistema de búsqueda y base de datos: búsqueda de color QBIC, búsqueda de diseño QBIC.
-
1. Análisis del contenido del tema
En los últimos años, con la popularización generalizada de las redes informáticas, la recuperación de información multimedia se ha desarrollado rápidamente. La recuperación de imágenes basada en contenido consiste en buscar basándose en las relaciones semánticas y contextuales de las imágenes y su contenido, utilizando las características semánticas de la imagen como pistas para detectar otras imágenes con características similares en la base de datos de imágenes. Dado que el tamaño de las imágenes es generalmente mayor que el de la información de texto sin formato, la recuperación de imágenes basada en contenido requiere una mayor velocidad y eficiencia de recuperación. Actualmente, existen muchos sistemas de recuperación de imágenes basados en contenido que se utilizan en entornos prácticos, como el primer sistema QBIC comercial desarrollado por IBM, el sistema WebSeek desarrollado por la Universidad de Columbia y el sistema Photobook desarrollado por el MIT. La recuperación de imágenes web a través de tecnología basada en contenido requiere extraer las imágenes de la web para formar un conjunto de imágenes y realizar un análisis de características basado en contenido y una comparación de similitudes en cada objeto del conjunto de imágenes. A través del análisis y evaluación del sistema de recuperación de información multimedia basado en contenido representado por el sistema QBIC desarrollado por IBM, este sujeto aprenderá y dominará las imágenes y las herramientas de recuperación de imágenes más avanzadas en Internet, y luego obtendrá una comprensión profunda de Tecnología de procesamiento y recuperación de información multimedia. Contenido técnico.
2. Investigación y análisis del sistema
La solución de biblioteca digital de IBM convierte información física en formatos multimedia digitales y la envía de forma segura a usuarios de todo el mundo a través de Internet. IBM Almaden Research Center lanza el sistema QBIC. Este sistema crea un nuevo campo de consulta de información de imágenes. Las imágenes se pueden consultar según el color, la escala de grises, la textura y la ubicación. Los requisitos de la consulta se expresarán gráficamente, como seleccionar un color de una tabla de colores o seleccionar la textura de una imagen de una ilustración. Los resultados de la consulta pueden guiar consultas posteriores según el orden relevante. Este enfoque hace que sea más rápido y fácil para los usuarios filtrar e identificar información visual. Los sistemas de recuperación de imágenes basados en contenido generalmente incluyen módulos de procesamiento de imágenes, módulos de consulta, bibliotecas de objetos, bibliotecas de funciones y bases de conocimiento.
2.1 Módulo de procesamiento de imágenes: El módulo de procesamiento de imágenes incluye el proceso de extracción de imágenes de entrada y características de la imagen.
El proceso de ingreso de imágenes ingresa imágenes en el sistema, que es similar al proceso de ingreso de contenido de texto en los sistemas de recuperación de texto. Los sistemas CBIR generalmente permiten a los usuarios segmentar imágenes de manera completamente automática o semiautomática (lo que requiere la intervención del usuario) e identificar los puntos clave de los objetos o contenidos requeridos, extrayendo así características del objetivo de manera específica. Por ejemplo, las interfaces de usuario suelen proporcionar un conjunto de ejemplos para que los usuarios elijan, o los usuarios dibujan sus propios bocetos y los ingresan en el sistema.
La extracción de características realiza la extracción de características en objetos de imagen marcados por usuarios o sistemas. La extracción de características puede ser realizada por humanos, como proporcionar manualmente algunas palabras clave que describen características o utilizar los programas de procesamiento de imágenes correspondientes para extraer automáticamente algunas características de la imagen que pueden ser de interés para los usuarios de recuperación. Las características extraídas pueden ser globales, como la distribución de color de toda la imagen, o específicas de objetos locales internos, como subregiones de la imagen. Existen muchos métodos de representación de características, como histograma de color, momento de color, conjunto de colores, etc. Entre los métodos de representación de color, el método de representación de textura utiliza características de textura de Tramura y métodos de representación de características de textura basados en la transformada wavelet. Sin embargo, cuando se trata de características abstractas de alto nivel de imágenes, estarán limitadas por el campo de conocimiento y las tareas de recuperación y, a menudo, requerirán conocimiento externo para brindar asistencia.
2.2 Módulo de consulta: el módulo de consulta implementa principalmente el proceso de recuperación y comparación, implementa la comparación y filtrado de preguntas y registros según el método de cálculo de correlación y, finalmente, obtiene resultados que cumplen con los requisitos y los retroalimenta. el usuario. CBIR proporciona a los usuarios una interfaz de recuperación en forma de consultas de muestra, convirtiendo las solicitudes de recuperación de los usuarios en preguntas que pueden operar la base de datos. Permite la recuperación de objetos globales, como imágenes completas, pero también de subobjetos y cualquier combinación de los mismos. Los resultados devueltos por la búsqueda se ordenan y se generan según la similitud. Si es necesario, se pueden realizar más consultas en función de los resultados de la búsqueda obtenidos. Al igual que la recuperación basada en contenido, CBIR implementa la recuperación de similitudes e imita los procesos cognitivos humanos. Por lo tanto, a menudo es necesario refinar los resultados de la búsqueda en interacciones continuas con los usuarios de la búsqueda.
2.3 Biblioteca de objetos y biblioteca de características: la biblioteca de objetos de CBIR almacena recursos de imágenes de entrada y la biblioteca de características contiene características de imágenes ingresadas por los usuarios y características extraídas automáticamente durante el preprocesamiento.
La base de datos de objetos y la base de datos de características pueden lograr una búsqueda rápida organizando índices que coincidan con imágenes y, por lo tanto, pueden aplicarse en procesos de recuperación de bases de datos de imágenes a gran escala.
2.4 Base de conocimiento: En el sistema CBIR, el propósito de la base de conocimiento es limitar la recuperación a un cierto rango en cualquier campo, para evitar la posible confusión de la semántica del contenido multimedia causada por diferentes necesidades de recuperación y diferentes antecedentes de campo. Por lo tanto, la recuperación requiere cierto conocimiento del dominio para mejorar la precisión de la recuperación.
3. Búsqueda y uso
QBIC (Query By Image Content) es un sistema de recuperación dinámica de imágenes desarrollado por IBM en la década de 1990. Significa "consulta basada en contenido de imagen". en Inglés. ".
Los usuarios de QBIC no necesitan proporcionar términos de búsqueda de texto durante el proceso de búsqueda (por supuesto, también proporciona búsquedas de palabras clave), pero al ingresar los requisitos de búsqueda expresados en forma de imágenes, se puede encontrar una serie de imágenes similares. recuperado.
El sistema QBIC proporciona una variedad de métodos de consulta, que incluyen: usar paradigmas estándar para la recuperación, dibujar bocetos o imágenes escaneadas, seleccionar colores o estructuras para la recuperación, ingresar fragmentos de imágenes dinámicas y objetos de primer plano para la recuperación, etc.
3.1 Búsqueda de color QBIC (recuperación de color de imagen)
La búsqueda de color QBIC encuentra ilustraciones 2D en una colección digital que coincide con el color que usted especifica. Seleccionas un color del espectro, defines la escala y realizas una búsqueda. Es realmente así de simple. Visite la demostración de búsqueda de color de QBIC para ver una demostración paso a paso de esta búsqueda.
3.1.1 Pasos de uso
① Utilice el ratón para seleccionar un color de la paleta.
②Haga clic en el botón de flecha para agregar color.
(3) Ajuste el porcentaje y el color del procesamiento de triángulos en el cilindro deslizante.
Puedes repetir este proceso hasta que el cubo esté lleno. Cuando esté listo, haga clic en Buscar.
3.1.2 Interfaz de búsqueda (omitida)
3.1.3 Ejemplo de recuperación
Contenido de búsqueda: RGB = {128, 255, 252}, complete el cubo el color.
Resultados de la búsqueda: (imagen omitida)
1) Plano de tres cuevas funerarias en la montaña Bingama, Malta
Jean-Pierre-Laurent Hou Finales de la década de 1770
2) Plano de las salinas de la isla de Gozo (Las Salinas del Relojero)
Jean-Pierre-Laurent Houer finales de 1770
3) Retrato de Yakov Knyazhinin
Stepan Filipovich Galaktinov, hacia 1825
Diseño de la Sala Coucert en el Parque Catalina, Tsárskoye Seló. Sección longitudinal
Giacomo Qualenghi, Código Postal 1780
5) Retrato de Vasily Pravelshchikov
Constantin Yakovlevich Afanasyev Primer tercio del siglo XIX
6) Fragmentos arquitectónicos de mármol encontrados en Citta Vecchia y Rabbato, Malta
Jean-Pie El-Laurent Juel finales de la década de 1770
Vivid Pictures: Memories
Julius Shope , 1829
8) Diseño de taza
Desconocido 1900
9) Portada del poema "Blancheflour" de K. F. Schellenberg
Greb, Carl Georg Anton y Schutz, Ernst Friedrich Gotthold, II 1854
10) Retrato del conde Ludwig Kobenz, embajador de Austria en Rusia
Desconocido finales del siglo XVIII
11) Patrón en forma de cubo que representa a los antiguos guerreros rusos
Desconocido años 1910
12) Diseño de tintero de cristal con base plateada
p>Desconocido años 1910
3.2 Búsqueda de diseño QBIC (búsqueda de diseño de imagen)
Con la búsqueda de diseño QBIC, te conviertes en un artista. Usando formas geométricas, puedes organizar áreas de color en un lienzo virtual para aproximarte a la organización visual de la obra de arte que estás buscando. Visite la demostración de búsqueda de diseño Q BIC para ver una demostración paso a paso de esta búsqueda.
3.2.1 Pasos a utilizar
① Utiliza el ratón para seleccionar un color de la paleta.
②Selecciona la herramienta círculo o herramienta cuadrado.
③Mantén presionado el botón del mouse y arrastra el lienzo de la cruz para crear una forma de color.
④ Repita este proceso hasta completar su diseño personalizado. Cuando esté listo, haga clic en Buscar.
3.2.2 Interfaz de búsqueda (boceto)
3.2.3 Ejemplo de recuperación
Buscar contenido: RGB = {128, 255, 252}, dibujar un círculo .
Resultados de la búsqueda: (imagen omitida)
1) Vista interior del cráter
Jean-Pierre-Laurent Huel a finales de la década de 1770
2) Presentación de boda
Heinrich Urmson 1931
3) Vista desde la isla Vasilyevsky (Parte 3) English Embankment y Galerny (Galería) Dvor
Benjamin Patterson 1799
4) Plano de cimentación del edificio Gulkinti, Malta
Jean-Pierre -Laurent Huel finales de 1770
5) Página 8 del poema "Blancheflour" de K. F. Scheren Berg
Greb, Carl George Anton y Schutz, Ernst Friedrich Gotthold, II 1854
6) Vista desde el Teatro de Taormina
Huel, Jean-Pierre Laurent, entre 1776 y 1779
7) Cima del Etna Oriental. Vista desde San Leonardo
Jouel, Jean-Pierre Laurent, entre 1776 y 1779
8) Desde la isla Vasilyevsky (Parte 2) Un terraplén inglés visto
Benjamin Patterson 1799
9) Terraza con fuente en una avenida arbolada. Alzado y planta
Giacomo Quarence principios de 1800
10) Terraplén del Neva junto al jardín de verano
Desconocido 1827
11) Paisaje de pinos en una noche de luna
Jean-Francis Obrzin 1890
12) Residencia de verano de la emperatriz Isabel Petrovsky
A Lexey Angelevich Grekov
3.3 Descripción del formato
Paisaje de pinos en una noche de luna - nombre de la imagen.
Auburtin, Jean-Francis 1890-autor, tiempo de la creación.
4. Análisis y evaluación
El sistema de recuperación de imágenes QBIC (Query By Image Content) es un sistema de recuperación de imágenes y escenas dinámicas desarrollado por IBM en la década de 1990. Sistema de recuperación de imágenes comerciales para contenidos. El sistema QBIC proporciona una variedad de métodos de consulta, que incluyen: recuperación utilizando paradigmas estándar (integrados con el sistema), recuperación de bocetos dibujados por el usuario o imágenes de entrada escaneadas, selección de métodos de consulta de color o estructura, entrada de imágenes dinámicas por parte del usuario. Recuperar fragmentos y objetos en movimiento en primer plano. Cuando el usuario ingresa una imagen, boceto o videoclip, QBIC analiza y extrae características como el color, la textura y la forma de la imagen de consulta de entrada y luego realiza un procesamiento diferente según el método de consulta seleccionado por el usuario. Las características de color utilizadas por QBIC incluyen porcentaje de color, distribución de posición de color, etc. La característica de textura utilizada es una mejora de la representación de textura propuesta por Tamura, que combina características como rugosidad, contraste y direccionalidad. Las características de forma utilizadas son área, redondez, excentricidad, desviación del eje principal y un conjunto de invariantes algebraicas de momento. QBIC es también uno de los pocos sistemas que considera la indexación de características de alta dimensión.
QBIC no solo realiza búsquedas basadas en las características de contenido anteriores, sino que también las complementa con métodos de consulta de texto. Por ejemplo, cada obra del Museo de Arte Moderno de San Francisco tiene información descriptiva estándar: autor, título, fecha y, para muchas obras, una descripción natural del contenido.