¿El almacén de la biblioteca equivale a una fábrica?
Actualmente no existe una definición unificada del término almacén de datos. El famoso experto en almacenes de datos W.H. Inmon dio la siguiente descripción en su libro "Building Data Warehouses": Un almacén de datos es un conjunto de datos orientado a un tema, integrado, no volátil y que varía en el tiempo, que se utiliza para respaldar las decisiones de gestión. Podemos entender el concepto de almacén de datos desde dos niveles. En primer lugar, el almacén de datos se utiliza para respaldar la toma de decisiones y el procesamiento de datos orientado al análisis, que es diferente de la base de datos operativa existente de la empresa. En segundo lugar, el almacén de datos es una integración eficaz de múltiples fuentes de datos heterogéneas. Después de la integración, se reorganiza según temas e incluye datos históricos. Los datos almacenados en el almacén de datos generalmente no se modifican.
La base de datos es donde se cargan los datos (la materia prima de la información).
El almacén de datos es un sistema que también utiliza una base de datos para cargar cosas.
La diferencia entre un sistema de almacén de datos (que utiliza una base de datos para cargar cosas) y otros sistemas comerciales básicos (como sistemas financieros, sistemas de ventas, sistemas de recursos humanos, etc.). , también usa la base de datos para cargar cosas) de la siguiente manera:
El sistema empresarial básico se caracteriza por la autogestión. Por ejemplo, si el sistema financiero produce repollo, cargará una base de datos, y si el sistema de recursos humanos produce carne de cerdo, cargará una base de datos. Si quiero hacer un plato necesito ir a varias bases de datos para conseguirlo, lo cual es bastante problemático (la realidad es que la mayoría de las veces me lo envía el tío que cultiva verduras, pero lo que envío no es necesariamente lo que quiero y lo que quiero en diferentes momentos. A menudo, diferentes cosas hacen que ambas partes se sientan infelices). Por otra parte, en toda base de datos hay algo de primitivo. Tengo que llevarlos a cocinar y pasar por un proceso de limpieza muy problemático. Si no tengo cuidado, podría haber una gran oruga escondida ahí.
Luego, el sistema de almacenamiento de datos consiste en construir un gran supermercado, recolectar los productos producidos por los agricultores de todo el país, limpiarlos y clasificarlos en categorías. De esa manera, cuando quieras algo, podrás comprarlo en el supermercado.
Al principio, no entendía qué era un almacén de datos.
Desde una perspectiva macro, el data warehouse es donde se acumulan todos los datos de la empresa. La razón por la que se acumulan todos los datos es para encontrar algo valioso en el medio.
El almacén de datos es más un concepto. No piense en un almacén de datos como un producto de software llamado almacén de datos.
Un almacén de datos es en realidad una base de datos. La base de datos del sistema empresarial relevante se denomina base de datos OLTP (para procesamiento empresarial) y esta base de datos se denomina base de datos OLAP (para análisis empresarial).
El concepto de almacén de datos se basa en los siguientes requisitos básicos:
La empresa tiene muchos sistemas comerciales y los datos históricos de los sistemas comerciales son incómodos de consultar. Los diferentes sistemas empresariales suelen tener diferentes departamentos de gestión y diferentes áreas. ¿Puedes recopilar todos estos datos y determinar si existen reglas comerciales significativas?
Las bases de datos de los almacenes de datos tienden a ser muy grandes porque cuantos más datos haya en todo el conjunto de datos de una empresa, más descubrimientos valiosos se pueden hacer. Por ejemplo, casualmente supera los 100 g.
La composición del almacén de datos es muy compleja e incluye datos históricos de sistemas comerciales, datos de personal y financieros, así como algunos datos básicos, como datos de vacaciones, información geográfica, información nacional, etc.
El concepto de almacén de datos incluye procedimientos para recopilar datos de los sistemas de producción empresarial, que no pueden afectar el funcionamiento de los sistemas empresariales. (Pertenece al llamado proceso "ETL")
El almacén de datos incluye datos históricos a largo plazo de los sistemas empresariales, como cinco años, para su análisis. (Los llamados datos "ODS")
El almacén de datos consta de datos de flujo de negocios reetiquetados para un determinado valor comercial (como las ventas). (Las llamadas "tablas de hechos" y "tablas de dimensiones").
El concepto de almacén de datos también puede incluir herramientas de generación de informes (las llamadas herramientas "BI"). Estas herramientas pueden lograr lo que hace unos años se denominaba efectos DSS (análisis de decisiones).
El análisis de los datos históricos de los clientes en el almacén de datos puede estar relacionado con el sistema CRM.
En resumen, una empresa quiere aprovechar al máximo los datos comerciales históricos existentes, por lo que se embarca en un proyecto de almacenamiento de datos. En cuanto a las mayúsculas alarmistas, eso es sólo tecnología.
Tenga en cuenta las necesidades básicas de un almacén de datos y no se deje intimidar por los proveedores.
Se puede decir que el almacén de datos es un sistema de apoyo a las decisiones que puede ayudar al jefe a comprender el panorama completo de la empresa.
Una vez que el jefe ve los datos proporcionados por el almacén de datos, puede utilizar su propia experiencia de gestión para descubrir los problemas, dificultades o factores de éxito de la empresa, y luego puede continuar rastreando los datos hasta que se determinen los detalles más específicos. mejorando así continuamente la capacidad del jefe o de la gerencia el nivel de gestión y el nivel de gestión empresarial. El mejor ejemplo que conocemos es la historia de la cerveza y los pañales en un gran supermercado estadounidense.
El gerente de una tienda Wal-Mart en Estados Unidos descubrió una vez que las ventas de cerveza y pañales aumentaban año tras año cada semana, pero no sabía por qué. Posteriormente, Walmart utilizó tecnología de inteligencia empresarial (BI) para descubrir que los clientes que compraban estos dos productos eran casi todos hombres de entre 25 y 35 años con bebés en casa, y cada compra se realizaba los fines de semana. Luego de analizar datos relevantes, Walmart conoció que estas personas están acostumbradas a cuidar a sus hijos mientras miran partidos de fútbol y beben cerveza por las noches, por lo que utilizan pañales desechables para evitar problemas. Después de obtener este resultado, Walmart decidió juntar los dos productos y, como resultado, las ventas de ambos productos aumentaron significativamente.
La base de datos es la base del almacén de datos. En realidad, un almacén de datos se compone de muchas tablas en una base de datos. La base de datos que almacena una gran cantidad de datos comerciales operativos debe examinarse, extraerse, resumirse, contarse y convertirse en una nueva base de datos. Luego se presentarán los datos. Lo que le importa al jefe son los resultados que muestran los datos.
Otro concepto importante del almacén de datos/mercado de datos es que los datos se transfieren desde diferentes bases de datos y se limpian a través de herramientas ETL (como POWERCENTRE, Decision Stream, SQL Server 2000 DTS y SQL Server 2005 SSIS). integrar y diseñar en un marco dimensional. Es muy importante asegurarse de que los datos sean correctos, exactos y completos.
Nuestro proyecto actual ha estado funcionando de manera estable durante más de 6 años y ha sido desarrollado por nosotros mismos. Recientemente, poco a poco hemos comenzado a utilizar datastage. La razón por la que muchos proyectos a gran escala utilizan herramientas es que las herramientas se caracterizan por una velocidad de desarrollo rápida y una eficiencia relativamente aceptable, lo que le permite gastar más energía en negocios, optimización de bases de datos y pruebas de datos, y no tiene nada que ver con los datos. calidad misma.
La calidad de los datos está estrechamente relacionada con una serie de procesos de ingeniería de proyectos, como el diseño (arquitectura, modelos, etc.), la comprensión de las relaciones comerciales y la gestión de proyectos (incluida la comunicación con los clientes, el cumplimiento del desarrollo y procesos de prueba). Esta es también la razón principal por la que muchos proyectos utilizan herramientas ETL, pero la calidad de los datos no ha mejorado mucho.
La función del almacén de datos es la gestión centralizada de los datos. El objetivo final de la gestión centralizada es el análisis y la predicción.
El llamado ETL. Sin embargo, este es un proceso necesario al construir un almacén de datos. La extracción, transformación y carga de datos son el trabajo básico de la gestión centralizada. La descripción de estos datos y acciones se describirá a través de metadatos de respuesta.
En el proceso de modelado del almacén de datos, solemos utilizar modelos multidimensionales, como estrellas, copos de nieve, etc. Las características más importantes de esto son la alta eficiencia y la baja redundancia de datos. Por lo tanto, creo que es una explicación unilateral confundir OLAP y almacén de datos.
También podemos elegir el modelo de lógica de negocio para construir el almacén de datos, lo cual se hizo hace mucho tiempo. Se caracteriza por una baja eficiencia y una alta redundancia de datos, pero puede realizar un diseño de lógica empresarial que es muy difícil de expresar.
Basado en data warehouse, lo más importante es el análisis y la predicción. En mi opinión, la historia es la esencia de los almacenes de datos ahora y en el futuro. .
La minería de datos y OLAP basado en data warehouse sirven tanto para análisis como para predicción. Para permitir a los usuarios comprender mejor el presente y predecir el futuro, creo que su declaración más efectiva es la base para el análisis y la predicción de los tomadores de decisiones y los gerentes en la gestión de la toma de decisiones.
Además, el almacén de datos también servirá para clasificar y archivar datos históricos (como una biblioteca), y luego la información histórica se podrá consultar fácilmente a través de condiciones de búsqueda similares que se han actualizado en; Información OLTP.
En cuanto a su función analítica, al igual que la investigación arqueológica meteorológica, la información meteorológica de esa época se conserva en glaciares a diferentes profundidades, de lo contrario, ¿cómo predecir las tendencias del cambio climático?
Sin embargo, debe haber considerables reservas técnicas y de gestión y un fuerte apoyo de la dirección. Una vez que tenga las necesidades y las condiciones necesarias, puede comenzar; de lo contrario, su almacén de datos no será un supermercado sino un vertedero de basura, ¡"basura entra, basura sale"!
Así que creo que es la mejora de la construcción de información empresarial y la gestión científica lo que ha dado lugar a la inevitable aparición de los almacenes de datos.
No sigas el concepto exagerado. ¡La clave es analizar con calma si la situación real de su empresa ha llegado a la etapa de implementar un almacén de datos!
En cuanto a cómo convencer a los directivos, requiere de tu esfuerzo. No explique el problema desde el punto de vista de su técnico. Al director general no le interesan las cuestiones técnicas. Póngase en su lugar y responda preguntas como: "Hemos invertido mucho dinero y mano de obra y, al mismo tiempo, enfrentamos enormes riesgos en las actualizaciones del sistema. Recuerde, ¿cuál es el propósito que prefieren los directores ejecutivos y directores financieros (incluso los CIO)? para usar números, digamos. Puede proporcionarles valiosos informes de apoyo a las decisiones analizando el proceso de toma de decisiones de gestión de la empresa, y los gerentes de departamento (o personal similar) no tienen que elaborar informes de análisis relevantes cada trimestre. La energía ahorrada se puede utilizar para cosas más valiosas. Esta es una gran mejora en la tasa de utilización de los recursos humanos en las empresas y en la cantidad de dinero que se puede ahorrar. ¡Me temo que el director ejecutivo no te utilizará como recordatorio!