Modelo de computación en la nube y su aplicación en clustering de datos geológicos y servicios industriales

(Instituto de Geología Marina de Qingdao)

La computación en la nube hereda e integra tecnología de virtualización, almacenamiento masivo de datos, marco de computación paralela distribuida, gestión inteligente y automatizada, etc. Muchas tecnologías clave han formado un nuevo modelo informático de alto rendimiento, escalable, de bajo costo y orientado a servicios. En la actualidad, la investigación y el debate sobre la computación en la nube en el mundo académico y la industria muestran una tendencia de rápido crecimiento. Se han publicado una gran cantidad de artículos en revistas de informática, bibliotecas e información, y el contenido de la investigación se centra en la teoría básica de la computación en la nube, las tecnologías clave de la computación en la nube, los campos de aplicación de servicios en la nube, la computación en la nube y la gestión de recursos de información. Basado en la literatura de investigación sobre computación en la nube publicada en las principales revistas nacionales de 2000 a 2012, este artículo analiza los puntos críticos de investigación y la dirección de evolución de la computación en la nube, y analiza las estrategias de aplicación de la computación en la nube basadas en el desarrollo de servicios industriales de agrupación de datos geológicos en mi país.

Modelo de computación en la nube, intercambio de información de datos geológicos y servicios

1 Prólogo

El término "computación en la nube" apareció en 2006, por el presidente de Google, Eric ·Eric Schmidt. lo propuso formalmente por primera vez en SES San José 2006. No sólo reveló el misterio de la tecnología clave detrás de la búsqueda de Google, sino que también superó rápidamente la "computación grid" y se convirtió en una nueva tendencia en tan solo unos años (Figura 1).

Figura 1 Gráfico de tendencias del volumen de búsquedas de computación grid y computación en la nube

Después de 2006, impulsada por Google, Amazon, IBM y otras empresas, la "computación en la nube" se convirtió en un nuevo modelo de computación. ampliamente utilizado. Como modelo de entrega y uso de infraestructura y servicios, la computación en la nube está afectando profundamente el desarrollo de Internet. En los últimos años, ha habido un auge de la investigación en computación en la nube en el país y en el extranjero, y han surgido una gran cantidad de documentos de investigación y casos de aplicación. La computación en la nube se ha convertido en un tema candente en el mundo académico y la industria. Este artículo presenta primero los conceptos básicos y las tecnologías clave de la computación en la nube. A través de un análisis integral de la literatura de investigación sobre computación en la nube existente y el desarrollo de servicios industriales de agrupación de datos geológicos en mi país, se proponen algunos problemas que requieren atención en las aplicaciones de computación en la nube.

2 La computación en la nube y sus tecnologías clave

2.1 Conceptos básicos de la computación en la nube

El concepto de computación en la nube aún tiene diferentes definiciones. En general, se cree que la computación en la nube es un método informático basado en Internet a través del cual la información y los recursos de software y hardware de los que disfruta *** se pueden proporcionar a computadoras y otros dispositivos a pedido [1]. El Instituto Nacional de Estándares y Tecnología (NIST) también define la computación en la nube como una forma de obtener recursos informáticos de manera conveniente y bajo demanda a través de la red y mejorar significativamente la disponibilidad. Estos recursos informáticos provienen de un conjunto de recursos compartidos y configurables que pueden adquirirse y liberarse automáticamente [2].

El Comité de Expertos en Computación en la Nube de la Sociedad Electrónica de China cree que la computación en la nube es un modelo informático basado en Internet y la participación pública, y sus recursos informáticos (poder de computación, poder de almacenamiento, poder de interacción) son dinámicos y escalable, virtualizado y proporcionado como servicio. Este nuevo modelo de organización, asignación y uso de recursos informáticos favorece la asignación racional de recursos informáticos y mejora su utilización, promoviendo así la conservación de energía y la reducción de emisiones, y logrando la informática ecológica [3].

Aunque existen diferentes definiciones de computación en la nube, ha habido muchas discusiones profundas sobre sus características. Se pueden utilizar las siguientes cinco características básicas para determinar si un servicio informático es computación en la nube.

(1) Prestar servicios bajo demanda. La computación en la nube es una forma de proporcionar tecnología de la información como servicio. Dado que este servicio se construye desde la perspectiva del usuario, el autoservicio bajo demanda es una de sus características más importantes. Los usuarios pueden adquirir potencia informática por sí mismos, incluido el uso de servidores y almacenamiento en red, y todo el proceso suele estar automatizado.

(2) Cómodo acceso a la red. La computación en la nube admite un acceso a la red amplio y conveniente, y los usuarios pueden utilizar una variedad de dispositivos, como teléfonos móviles, computadoras móviles o estaciones de trabajo, para obtener servicios en la nube.

(3) Recurso * * * grupo compartido. Uno de los beneficios de la computación en la nube es que puede mejorar la utilización de los recursos. Al agrupar recursos en un grupo público de recursos compartidos, se pueden proporcionar servicios compartidos a grandes grupos de usuarios.

Debido a que el grupo de recursos puede asignar dinámicamente todos los recursos físicos y virtuales, puede lograr el propósito de mejorar la utilización de los recursos mediante el disfrute * * *.

(4) Alta escalabilidad y servicios flexibles. La computación en la nube tiene la capacidad de brindar servicios de manera rápida y flexible. La computación en la nube proporciona servicios que pueden expandirse o contraerse automática y rápidamente en función de los cambios en la demanda.

(5) El servicio se puede medir. Al monitorear automáticamente el uso de recursos, los sistemas en la nube pueden proporcionar informes operativos cuantitativos para garantizar que los servicios en la nube estén en los niveles adecuados.

2.2 Arquitectura de Computación en la Nube

El desarrollo de la tecnología informática ha experimentado una transformación del modelo de computación mainframe tradicional al modelo de computación ubicua personal y al modelo de computación en red distribuida [4]. Como nuevo modelo informático, la computación en la nube no es sólo el resultado del rápido desarrollo de la computación distribuida, la computación paralela y la computación grid, sino también una elección inevitable para las necesidades de información de la sociedad de la información. Los servicios de información socializados, intensivos y profesionales se materializan a través de diversas computación en la nube, incluidas diversas aplicaciones de Internet, software o servicios de recursos informáticos proporcionados a los usuarios a través de la red, así como plataformas de software y hardware que respaldan el funcionamiento confiable y eficiente de estos servicios.

El informe técnico del Instituto Nacional de Estándares y Tecnología ofrece un modelo completo de arquitectura de computación en la nube (Figura 2). El modelo de nivel superior define los roles, actividades y funciones en el modelo de computación en la nube [5]. ]. Las funciones principales de la computación en la nube incluyen consumidores de la nube, proveedores de la nube, auditores de la nube, intermediarios de la nube y operadores de la nube (Tabla 1). En este modelo, los usuarios de la nube pueden obtener inteligencia empresarial que incluye ERP, CRM, recursos humanos, información, comunicación, colaboración, almacenamiento, respaldo, alojamiento de software y hardware y otros servicios que los proveedores de servicios en la nube construyen y operan centros de computación en la nube y los brindan en línea. Los operadores de servicios de software (SaaS), servicios de plataforma (PaaS) y servicios de infraestructura (IaaS) garantizan la provisión y suministro de computación en la nube proporcionando acceso a la red y sistemas de comunicación.

Figura 2 Modelo de referencia de la arquitectura de computación en la nube (citado del NIST)

Tabla 1 Principales roles y definiciones en el modelo de computación en la nube

2.3 Puntos clave de la computación en la nube Tecnología

La computación en la nube es el producto del desarrollo de la tecnología informática, entre las cuales la tecnología de virtualización, el almacenamiento masivo de datos, el marco de computación paralela distribuida y la gestión inteligente y automatizada se consideran las tecnologías clave para realizar la computación en la nube [ 6].

2.3.1 Tecnología de virtualización

La tecnología de virtualización es la clave para integrar completamente y utilizar de manera eficiente diversos recursos informáticos y de almacenamiento. La tecnología de virtualización incluye dos aspectos: grupo de recursos físicos y gestión del grupo de recursos. El grupo de recursos físicos consiste en cambiar un dispositivo físico de grande a pequeño y virtualizar un dispositivo físico en múltiples unidades de recursos mínimas con un rendimiento configurable. La administración del grupo de recursos consiste en administrar las unidades mínimas de recursos virtualizados en el clúster, según el uso de recursos. asignar y programar recursos para lograr la asignación de recursos bajo demanda. La tecnología de virtualización se utiliza principalmente en virtualización de servidores, virtualización de almacenamiento y virtualización de redes.

Almacenamiento masivo de datos

El almacenamiento masivo de datos es la principal tarea de la computación en la nube. Para garantizar la disponibilidad, la confiabilidad y la economía, la computación en la nube utiliza almacenamiento distribuido para almacenar datos. Debido al uso de almacenamiento redundante distribuido, la confiabilidad de los datos es alta y puede brindar servicios a usuarios a gran escala en paralelo. Las tecnologías de almacenamiento de datos de computación en la nube incluyen principalmente GFS (Google File System) de Google y HDFS (Hadoop Distributed File System) de Hadoop.

2.3.3 Marco de computación paralela distribuida

La computación paralela es el núcleo de la computación en la nube. La computación en la nube utiliza el modelo de programación Map-Reduce para implementar la computación paralela distribuida. Map-Reduce simplifica la computación paralela a través de dos procesos, a saber, "Map" y "Reduce". Todas las aplicaciones solo necesitan proporcionar funciones de mapa y funciones de reducción para realizar procesamiento de datos distribuidos a gran escala en el clúster. Map-Reduce no es solo un modelo de programación, sino también un modelo eficiente de programación de tareas. El uso de este modelo hace realidad tareas informáticas altamente paralelas y distribuidas.

2.3.4 Tecnología de gestión inteligente y automatizada

La computación en la nube tiene un alto grado de autonomía, y la gestión inteligente y automatizada son soportes técnicos importantes para el modelo de computación en la nube. A través de un monitoreo integral, retroalimentación automática y despliegue inteligente de todos los nodos del sistema de cluster, se logra una gestión dinámica y migración automática de equipos, recursos virtuales, comunicaciones y servicios. La computación en la nube basada en la cuarta generación de centros de datos a gran escala no solo puede expandir de manera flexible la implementación, sino que también puede cumplir con los requisitos de la computación de servicios y la computación de granularidad múltiple.

3 Análisis de los puntos críticos de investigación de computación en la nube de China

3.1 Comparación de las tendencias de cambio del volumen de búsqueda de computación en la nube nacional y extranjera

El tamaño del volumen de búsqueda generalmente refleja la Nivel de atención. Utilice la herramienta Google Trends para analizar algunas tendencias y cambios a largo plazo. Aquí, "computación en la nube" y "computación en la nube" se seleccionan como palabras clave de índice en los campos de la computación en la nube en el mundo y en China, respectivamente. Las siguientes características se pueden ver en los resultados del análisis (Figura 3): ① El mundo comenzó a prestar atención a la computación en la nube en 2007, mientras que China solo comenzó a prestar atención a este campo en 2008. Por lo tanto, China todavía pertenece al modelo de investigación de aprendizaje y seguimiento. ②Desde 2007, las búsquedas globales de “computación en la nube” han mostrado una tendencia de rápido crecimiento. En la actualidad, ha superado la "computación grid" para convertirse en un nuevo foco de tecnología de la información, pero la atención que China le presta es relativamente leve y está rezagada. ③Si la atención representada por el volumen de búsqueda se considera un "iceberg en el mar", entonces en esas "partes submarinas", incluidas teorías básicas, tecnologías clave, prácticas de aplicación, etc., la brecha entre países nacionales y extranjeros es aún mayor. .

Figura 3 Comparación de las tendencias en el volumen de búsquedas de computación en la nube en el país y en el extranjero

3.2 Análisis cuantitativo de la literatura de investigación nacional sobre computación en la nube

Este artículo utiliza el Índice Nacional de China Base de datos de revistas académicas Knowledge Infrastructure (CNKI), recuperó 852 artículos de revistas principales sobre investigación de computación en la nube publicados entre enero de 2000 y marzo de 2012 (Tabla 2). La investigación de mi país sobre la computación en la nube comenzó en 2007 y antes había pocos estudios relacionados. De 2008 a 2011, la investigación sobre computación en la nube comenzó a atraer una atención generalizada y el número de artículos comenzó a aumentar considerablemente. Al mismo tiempo, el número de revistas que publican artículos sobre computación en la nube también ha aumentado rápidamente, lo que demuestra la ubicuidad de la investigación sobre computación en la nube. Dado que solo se contó una parte de los datos de abril de 2012, no se recuperaron muchos resultados para 2012 en la superficie. De hecho, no cambió la tendencia de rápido crecimiento en el número de artículos.

Tabla 2 Distribución del tiempo de publicación de artículos sobre computación en la nube

Se realizó un análisis cuantitativo de palabras clave en los 852 artículos recuperados, incluidas 1376 palabras clave y una frecuencia acumulada de 3020 veces. En orden descendente de frecuencia, las diez palabras clave principales son: computación en la nube (645), virtualización (115), biblioteca y ciencias de la información (115), servicios en la nube (94), seguridad (65), almacenamiento (42) e Internet de Cosas. Del análisis de palabras clave, podemos ver que la investigación sobre computación en la nube involucra muchos aspectos, como teoría básica, tecnologías clave, campos de aplicación, gestión de recursos de información, etc. También hay muchas discusiones sobre tecnologías clave como la virtualización, el almacenamiento y MapReduce. . Pero en términos generales, la mayoría de ellos son artículos completos y con visión de futuro. En términos de campos de aplicación, existe una tendencia obvia en la investigación bibliotecaria y de ciencias de la información y en la referencia a la computación en la nube [7], pero la computación en la nube ha recibido menos atención e investigación de aplicaciones en el campo de los datos geológicos.

4 Servicios de computación en la nube y datos geológicos

4.1 Estado actual de los datos y servicios geológicos

Los datos geológicos son datos básicos importantes para el país. Desde la fundación de la Nueva China, se ha acumulado una gran cantidad de datos geológicos mediante la implementación de un sistema unificado de recopilación e intercambio de datos geológicos. Hay más de 50 tipos de recursos de datos nacionales de geología básica y geología mineral estratégica12, con un volumen de datos de más de 10 TB, que incluyen geología regional, geología mineral, hidrología-ingeniería-geología ambiental, geología agrícola, geología marina, geología básica y geoquímica. , investigación en geofísica y geociencias, datos geológicos y teledetección [8].

Actualmente, mi país implementa un marco de gestión de datos geológicos con dos niveles de supervisión y tres niveles de preservación. Debido a la fragmentación y otras razones, todavía existe una gran brecha en el disfrute y servicio de los datos geológicos, que se manifiesta en el bajo grado de digitalización, el grave fenómeno de la isla de información y los datos geológicos no pueden satisfacer las necesidades sociales y de construcción nacional de manera oportuna. y eficaz.

En 2002, el Consejo de Estado promulgó el "Reglamento de Gestión de Datos Geológicos" y en 2003, el Ministerio de Tierras y Recursos emitió las "Medidas de Implementación del Reglamento de Gestión de Datos Geológicos". La gestión y el servicio de datos geológicos han recibido una atención sin precedentes. El Ministerio de Tierras y Recursos ha promovido sucesivamente la recopilación y la encomienda de datos geológicos, la encomienda de datos geológicos, la agrupación de datos geológicos y los servicios industrializados. , comenzó a surgir una nueva situación en la gestión y servicio de datos geológicos. Dado que la transformación de los métodos de gestión y servicio es un proceso a largo plazo, la importancia del trabajo con datos geológicos aún no se ha manifestado plenamente. La atención de la sociedad a la geología y los minerales todavía está ligeramente por detrás de "tierra", "océano" y "meteorología". mayor que "mapeo" (Figura 4).

4.2 La computación en la nube es una oportunidad para cambiar el modelo de servicio de datos geológicos.

Desde la perspectiva del surgimiento y desarrollo de la computación en la nube, la computación en la nube se basa en la herencia e integración de muchas tecnologías clave, como la tecnología de virtualización, el almacenamiento masivo de datos, el marco de computación paralela distribuida, la inteligencia y la automatización. Constituye un nuevo modelo informático de alto rendimiento, escalable, de bajo coste y orientado a servicios. La computación en la nube está impulsando a la industria de la información a lograr cambios importantes en la socialización, intensificación y especialización.

Socialización: la informática de Internet se está convirtiendo en una infraestructura social, y la tendencia de desarrollo actual es establecer centros de computación en la nube centralizados y diversos para lograr servicios sociales a gran escala.

Figura 4 Comparación de las tendencias de cambio en el volumen de búsqueda geológica equivalente

Intensificación: integrar desarrollos y aplicaciones de software extensos y dispersos, modularizar módulos de software y mejorar la utilización de la plataforma Organizar y configurar virtualmente la informática. recursos, expandirse y contraerse de manera flexible, y optimizar y reconstruir procesos de servicio a través de la reutilización del software y la reorganización flexible.

Especialización: para multiinquilinos, los servicios son más refinados y estandarizados, el uso del servicio es transparente y los servicios se alquilan bajo demanda [9].

Los servicios de datos geológicos y el intercambio de información son servicios informáticos típicos con uso intensivo de datos, lo que coincide con las características básicas del modelo de computación en la nube. Por lo tanto, la introducción de la computación en la nube es una oportunidad natural para promover la industrialización de los servicios de información de datos geológicos. Desde una perspectiva técnica, la construcción del Centro Nacional de Datos Geológicos es muy importante. Se recomienda planificar una nube profesional de datos geológicos para proporcionar servicios completos de SPI (Software as a Service SaaS, Platform as a Service PaaS, Infrastructure as a Service IaaS), que abarquen supervisión secundaria, preservación de tercer nivel y servicios sociales. Este modelo de implementación centralizada no solo reduce la dificultad técnica, sino que también ayuda a mejorar la inversión y la eficiencia del uso. En segundo lugar, el Centro Nacional de Datos Geológicos también puede planificarse como un sistema de centro de datos de tres niveles con "unidad lógica y distribución física". Este modelo de implementación de nube comunitaria está en línea con la situación actual de la industria de datos geológicos de mi país y su organización e implementación son relativamente simples. Cabe señalar que, independientemente del método que se utilice, la arquitectura unificada, la adopción de tecnologías maduras, los estándares consistentes y la seguridad son cuestiones importantes que deben considerarse.

5 Conclusión

A diferencia de la computación grid, la computación en la nube ha experimentado un proceso de la práctica a la teoría. Desde que los investigadores prestaron atención a la computación en la nube, ha habido numerosos ejemplos de computación en la nube. La investigación básica de nuestro país en el campo de la computación en la nube aún está rezagada, pero el seguimiento y la aplicación de la computación en la nube en la industria bibliotecaria y de la información son muy destacados, y algunos servicios basados ​​​​en el conocimiento han alcanzado el nivel de especialización e industrialización. Se cree que la introducción del modelo de computación en la nube promoverá en gran medida la transformación de los servicios de datos geológicos en una industrialización de clústeres, logrando así un mejor intercambio de datos y resultados geológicos con toda la sociedad.

Haz el examen y contribuye

[1] Wikipedia. computación en la nube. http://en.wikipedia.org/wiki//Cloud Computing, 2012.

[2]Peter Meyer, Timothy Grant. Definición del NIST de computación en la nube. Número especial del NIST 800 ~ 145, 2011.

[3] Li Deyi, Lin Runhua, Zheng Weimin, etc. Informe sobre el desarrollo de la tecnología de computación en la nube [M] Beijing: Science Press, 2011.

Yang Chunxia, ​​Wang Shengjie, Wang Chunmin. Sobre la evolución de los modelos informáticos y su impacto en el procesamiento de datos geológicos marinos [J Marine Geodynamics, 2004, 20 (2): 32 ~ 36.

[5] Fang Liu, Jin Tong, Jian Mao, etc. Arquitectura de referencia de computación en la nube del NIST Número especial 500 ~ 292, 2011.

[6] Michael Armbruster, Armando Fox, Ryan Griffith y otros, "Por encima de la nube: la visión de Berkeley sobre la computación en la nube", http://www.eecs.edu/Pubs/tech rpts/. 2009/EECS-2009-28.pdf, 2009.

[7] Zhang·. Una revisión de la investigación nacional sobre computación en la nube en bibliotecas y ciencias de la información [J]. Journal of National Library Science, 2010, (3): 73 ~ 76.

Departamento de Recursos y Reservas Minerales, Ministerio de Tierras y Recursos. Promoción de la industrialización grupal de los servicios de información geológica [M] Beijing: Geological Press, 2011.

[9]Li Deyi. La computación en la nube apoya la socialización, intensificación y especialización de los servicios de información [J]. Revista de la Universidad de Correos y Telecomunicaciones de Chongqing, 2010, 22 (6): 698 ~ 702.