Cómo cognos maneja big data
Hablemos brevemente sobre las ideas de Cognos para procesar big data. Esto es solo para versiones inferiores a 10.2.1. No se introducirán almacenes de datos distribuidos como hadloop introducido en 10.2.1. Utilizamos principalmente qué tipo de ideas para optimizar nuestras consultas de un proyecto general de tamaño mediano.
Pensamos principalmente en el procesamiento de big data a partir de tres ideas
1. Nivel de base de datos
El principal modelo de desarrollo de los proyectos actuales de Cognos todavía se basa en Rolap DMR. modelado de informes. Por tanto, la optimización de la base de datos es extremadamente importante. Optimizamos principalmente nuestra base de datos a través de los siguientes aspectos:
(1) Creación de índices y mantenimiento de campos de reducción clave, como la identificación de dimensión y la identificación de nivel de dimensión.
(2) Realice la optimización de la partición según el tamaño de los datos, el tiempo, etc.
(3) Uso de la tabla de caché MQT
(4) Espacio de tabla, configuración del grupo de búfer, etc.
(5) Optimización del rendimiento de la base de datos
2. Optimización del servidor Cognos
La optimización de Cognos incluye la optimización de archivos de configuración, el establecimiento de clústeres, la apertura de servicios y registros, etc. Se basa principalmente en la instalación del software Cognos y la optimización de la configuración. Incluye los siguientes aspectos:
2.1 Optimización de la configuración de Apache
Configuración de optimización de Timeout (tiempo de espera)/MaxKeepAliveRequests (número máximo de solicitudes)/KeepAliveTimeout (tiempo de espera de solicitud)
2.2 Cognos viene con ajuste de configuración de Tomcat
(1) Puede modificar el archivo de configuración de TOMCAT CRN_ROOT\tomcat.\conf\server.xml. Sus parámetros se concentran en la línea:
MaxProcessors (número máximo de procesos)/AcceptCount (número máximo de conexiones) ConnectionTimeout (tiempo de espera de conexión) se puede modificar
(2) Ruta del archivo : CRN_ROOT\ tomcat.\conf\web.xml
El tiempo de espera de la sesión se puede modificar.
2.3 Optimización del archivo de configuración del servidor Cognos
2.3.1 servicio de informes. optimización xml
Ruta del archivo: CRN_ROOT\ webapps\p2pd\WEB-INF\services\ reportservice.xml
Nota: Después de modificar el archivo, la configuración entrará en vigor después de reiniciar el servicio .
Incluye los siguientes parámetros max_process (número de procesos de procesamiento de informes interactivos, relacionados con la CPU) inger_process (número de procesos de inicialización de informes interactivos, relacionados con la CPU)
max_non_affine_connections_per_process (número de subprocesos ocupados mediante informes interactivos) ) idle_process_check_interval_ms (tiempo de detección de inactividad)
queue_time_limit_ms (límite de tiempo de cola de servicio de informes) async_wait_timeout_ms (tiempo de sincronización de espera de solicitud del despachador)
2.3.2 batchreportservice.xml
Ruta del archivo: CRN_ROOT\ webapps\p2pd\WEB-INF\services\batchreportservice.xml
Nota: Después de modificar el archivo, la configuración entrará en vigor después de reiniciar el servicio.
Incluye los siguientes parámetros max_process (número de procesos ocupados por el procesamiento de informes por lotes del servicio) linger_process (número de procesos de inicialización ocupados por el procesamiento de informes por lotes del servicio)
max_non_affine_connections_per_process (número de subprocesos ocupados por procesamiento de informes por lotes de servicio) idle_process_check_interval_ms (intervalo de tiempo de detección de procesos inactivos)
idle_process_max_idle_ticks (marca de detección de procesos inactivos) queue_time_limit_ms (límite de tiempo de cola de procesamiento de informes por lotes) async_wait_timeout_ms (tiempo de sincronización de espera de solicitudes de despachador)
2.3.3 CQEConfig.xml
Principalmente relacionado con la configuración de los parámetros de la base de datos, ruta del archivo: CRN_ROOT\configuration\ CQEConfig.xml.sample
Nota: después de cambiar CQEConfig.xml.sample nombre del archivo a CQEConfig.xml, la configuración entrará en vigor después de reiniciar el servicio.
Se pueden modificar los siguientes parámetros: Timeout (configuración del tiempo de espera de conexión de la base de datos de la aplicación) PoolSize (configuración del número máximo de conexión del grupo de conexiones de la base de datos de la aplicación) queryReuse (configuración del búfer de consulta)
2013-07- 08 0
Compartir
Las respuestas son útiles y tienen valor de referencia1
Zeng Li - Profesor de Cognos, consultor independiente de Cognos, arquitecto de almacén de datos 2013-07- 08 Respuestas
2.3.4 ppds_cfg.xml
Principalmente configurar parámetros de caché y registro, ruta de archivo: \cognos\c8\configuration\ ppds_cfg.xml
Nota: La configuración entrará en vigor después de reiniciar el servicio.
Se pueden modificar los siguientes parámetros: ReadCacheSize (puede reducir el IO del disco del servidor cuando los usuarios acceden a él. Mejora la velocidad de acceso). pcQueryLogFile (se recomienda desactivar el seguimiento de este registro en el entorno de producción, y generalmente está desactivado de forma predeterminada)
2.4 Optimización del almacén de contenidos de Cognos
2.4.1 Optimización del servicio de conexión de la biblioteca de contenidos
Es mejor utilice una base de datos externa como db2 oracle para la biblioteca de contenido. No utilice el derby integrado porque habrá mucha información de registro en el proyecto, lo que afectará gravemente la eficiencia de la biblioteca de contenido.
Administración de Cognos, seleccione el servicio correspondiente en el sistema, seleccione las propiedades de ContentManagerService y configure la información del parámetro de conexión correspondiente.
2.4.2 Optimización del registro
Habilite el nivel de registro de cada servicio cognos de forma adecuada. Cuanto mayor sea el nivel, más detallado y claro será el registro, pero también afectará al. eficiencia de todo el sistema.
Se trata de un arma de doble filo que hay que ajustar adecuadamente. Cuanto más alto sea el nivel de registro, más se degradará el rendimiento del sistema. Normalmente, establece el nivel en
Mínimo o Básico para recopilar errores, o en Solicitud para recopilar errores y advertencias.
2.5 Mejora la velocidad de acceso a la base de datos
Los parámetros entre Cognos y la base de datos están en el archivo cer\bin\cogdm.ini (dependiendo de la versión, es el número del directorio de instalación, y depende de la base de datos conectada), es la palabra clave correspondiente al nombre de la base de datos)
Tome la base de datos Oracle como ejemplo. Los parámetros están en el archivo cogdmor.ini. archivo para encontrar la cadena Fetch Number of Rows=Elimine el punto y coma delante de esta línea y cambie Change 10 a 2000;
De esta manera, esta línea se convierte en Fetch Number of Rows=2000, lo que significa que 2000 Cada vez se obtienen fragmentos de datos de la base de datos. Otras bases de datos tienen básicamente configuraciones similares. Se utiliza para aumentar la velocidad de extracción de datos de la base de datos.
Aumentar el caché en 2.6
cer\bin\Cer.ini (*el número del directorio de instalación depende de la versión):
SortMemory=5120
(La unidad de SortMemory aquí es 2kbytes, 5120 representa 2k x 5120 = 10M) (Consejo: generalmente, SortMemory ocupa entre un décimo y un octavo del tamaño de memoria libre)
2.7 Modificar la configuración de cognos Optimizar los parámetros en la configuración de cognos
Hay muchos parámetros en la configuración de cognos que se pueden optimizar para mejorar la eficiencia operativa del software en general, como aumentar la memoria y aumentar el caché de consultas
2.8 Implementación distribuida
La implementación distribuida puede mejorar en gran medida la capacidad de carga del servidor Cognos. Al mismo tiempo, la función de protección de tolerancia a fallas puede hacer que el servidor se ejecute de manera más estable y admita bien la concurrencia. utilización de un gran número de usuarios.
2013-07-08 0
La respuesta es útil y tiene valor de referencia 1
Zeng Li - Profesor de Cognos, consultor independiente de Cognos, profesor de arquitectura de almacén de datos 2013-07-08 Respuesta
3. Optimización del diseño de informes
El informe Cognos es una herramienta en modo no cubo, cuando finalmente ejecutamos la consulta del informe, nuestro informe se envía. La esencia de consultar la base de datos sigue siendo SQL. Por lo tanto, cuando hacemos un informe, debemos usar las funciones de fm y rs tanto como sea posible para optimizar el SQL generado por la ejecución final del informe para optimizar todo el informe. En el modo CUBO, debemos considerar más el impacto de la configuración, el almacenamiento y el tamaño de la base de datos, que explicaré en detalle a continuación.
2013-07-08 0
La respuesta es útil y tiene valor de referencia 1
Zeng Li - Profesor de Cognos, consultor independiente de Cognos, profesor de arquitectura de almacén de datos 2013-07-08 Respuesta
3.1 Optimización del modelado FM
3.1.1 Tema de consulta personalizada de SQL escrito a mano
Haga clic con el botón derecho en el elemento del menú Editar definición de la consulta tema ... puede ingresar al cuadro de escritura de declaraciones SQL y ajustar la declaración SQL del asunto de la consulta. De forma predeterminada, las sentencias SQL aquí son del tipo Cognos SQL. Si necesita escribir SQL local que pueda ejecutarse directamente mediante la base de datos de la aplicación, debe configurar el tipo de SQL aquí. Haga clic en el botón Opciones en la esquina superior derecha, seleccione la pestaña Configuración de SQL y seleccione Tipo de SQL como Nativo. En este momento, cuando escribimos SQL a mano, prestamos gran atención a la optimización de este SQL. Intentamos evitar SELECT *, usar EXISTS en lugar de IN, usar DECODE para juzgar y prestar atención a las declaraciones condicionales y otras optimizaciones comunes de SQL. estrategias y escriba el SQL correspondiente.
3.1.2 Intente utilizar funciones de base de datos para datos específicos
Seleccione Especificar lista de funciones de paquete... en el elemento de menú Acciones para especificar una lista de funciones de base de datos que se pueden utilizar en la personalización de informes. Seleccione otros tipos de bases de datos, excepto la base de datos de la aplicación, desde Conjuntos de funciones seleccionados hasta Conjuntos de funciones disponibles. Intente utilizar las funciones integradas de bases de datos específicas para mejorar la eficiencia de las consultas.
3.1.3 Configuración de asociación de tablas
Al establecer asociaciones de tablas, intente evitar el uso de asociaciones externas (incluidas la asociación externa izquierda, la asociación externa derecha y la asociación externa completa). El uso de correlaciones externas aumentará la presión de las consultas sobre la base de datos, lo que afectará la generación de informes frontales. En los modelos de almacén de datos con estructura de estrella y estructura de copo de nieve, intente establecer la relación entre las tablas de dimensiones y las tablas de hechos de acuerdo con relaciones uno a uno y uno a muchos. Cognos Server optimizará y enviará automáticamente declaraciones SQL para la base de datos.
Si hay una relación de conexión de anillo en la asociación, puede resolver el problema de conexión de anillo a través de la tabla de alias o las teclas de método abreviado.
3.1.4 Editar la configuración de rendimiento de consultas de los gobernadores
En el menú Seleccione Editar gobernadores en el proyecto para establecer el rendimiento de la consulta.
Límites de la tabla del informe. Esta propiedad establece el número de TABLAS involucradas en la ejecución de SQL en el informe.
Límites de recuperación de datos. Esta propiedad establece la cantidad de TABLAS involucradas en la ejecución de SQL en el informe La cantidad de resultados devueltos al ejecutar SQL
Límites de tiempo de ejecución de consultas Esta propiedad establece el tiempo de ejecución de la ejecución de SQL en el informe
Grande límite de elementos de texto Esta propiedad establece los caracteres de bloques de texto grandes devueltos al ejecutar SQL en el informe Límite de cantidad
2013-07-08 0
La respuesta es útil y tiene un valor de referencia 1
Zeng Li - Profesor de Cognos, consultor independiente de Cognos, arquitecto de almacén de datos 2013-07-08 Respuesta
3.2 Ajuste del informe RS
3.2.1 Uso del informe Funciones
En términos del uso de funciones de informes, intente Es posible utilizar funciones de bases de datos locales que pueden ser analizadas por la base de datos de la aplicación. Las funciones generales en la lista de funciones se colocarán en el servidor de informes. para el cálculo durante el procesamiento, aumentando así la sobrecarga de rendimiento del servidor de informes.
3.2.2 Observar el SQL de la consulta
Seleccionamos la página de consulta, GENERAR SQL/MDX observa el SQL generado por este informe y lo optimiza continuamente,
3.3.33.2 Ajuste del informe RS
3.2.1 Uso de funciones de informe
Al utilizar funciones de informe, intente utilizar funciones de base de datos local que puedan ser analizadas por la base de datos de la aplicación. Funciones comunes en la lista de funciones Función, durante el procesamiento, la función se colocará en el servidor de informes para su cálculo, lo que aumentará la sobrecarga de rendimiento del servidor de informes.
3.2.2 Observar el SQL de la consulta
Seleccionamos la página de consulta, GENERAR SQL/MDX observa el SQL generado por este informe y lo optimiza continuamente,
3.3. 3. Ajustar el orden de los campos de consulta y las tablas de consulta
De acuerdo con la estrategia de optimización de la base de datos, es posible que sea necesario ajustar el orden de los campos de consulta, que se puede configurar en los Elementos de datos. ventana. En la instrucción SQL de consulta, el orden de las tablas después de la palabra clave From se establece de acuerdo con el orden de los campos que aparecen después de la palabra clave select. Al configurar el orden de la tabla, el campo cuyo atributo es Identificador o Atributo tiene una prioridad más alta que el campo cuyo atributo es Hecho al ordenar la tabla. Es decir, la tabla se ordena primero en el orden en que los campos Identificador y Atributo. aparecen si no hay Los dos tipos de campos anteriores se utilizan para ordenar la tabla en el orden en que aparece el campo Hecho.
3.3.4 Establecer condiciones de filtro antes y después de la agregación
Establezca el atributo Aplicación de la condición de filtro en Después de la agregación o Antes de la agregación para ajustar la condición del filtro para que entre en vigor antes o después de la agregación. . La declaración SQL utilizada por Después de la agregación para generar condiciones de filtro usa la palabra clave have, mientras que la declaración SQL utilizada por Antes de la agregación para generar condiciones de filtro usa la palabra clave donde.
3.3.5 Cancelar la agrupación automática de informes para mejorar la velocidad de consulta de informes detallados
Si el informe quiere mostrar datos detallados y no quiere utilizar ningún resumen, podemos agrúpelo automáticamente en la consulta correspondiente a este informe Propiedad definida como No. Lugar de modificación: el atributo Auto Group & Summarize del objeto puede establecer si se agregan palabras clave como distinta, suma y agrupación por a la consulta de la declaración SQL actual. De forma predeterminada, esta propiedad está establecida en Sí. Este modificador se puede desactivar según la situación de la consulta para reducir la complejidad de la declaración SQL.
3.3.6 Configuración de clasificación automática
En el atributo Ordenación automática de Consulta, puede establecer si desea ordenar automáticamente la consulta. Si selecciona Sí, la palabra clave Ordenar por se agregará automáticamente a la declaración SQL generada y el campo de clasificación se establecerá automáticamente de acuerdo con los atributos del elemento de datos (si el atributo de uso del campo de consulta es Atributo, Identificador, se ordenará, si es Hecho, no se ordenará)); si selecciona No, no habrá clasificación; si selecciona Mínimo, la configuración de clasificación se realizará en función de los atributos de clasificación de los elementos de datos. El valor predeterminado es mínimo.
3.3.7 Configuración de procesamiento de informes
En la propiedad Procesamiento de Consulta, puede establecer la configuración de procesamiento SQL para la consulta. Cognos Report Studio primero convertirá todas las configuraciones del informe a Cognos SQL y lo enviará al servidor de informes. Después de que el servidor realice el procesamiento necesario, convertirá la declaración SQL en una declaración SQL que se ejecuta localmente en la base de datos de la aplicación para el procesamiento de la base de datos. . Para mejorar la velocidad de procesamiento del informe, es necesario colocar la operación de procesamiento del informe en la base de datos tanto como sea posible para garantizar su velocidad de ejecución. Establecer esta propiedad en Solo base de datos convertirá el SQL de Cognos generado por la página del informe en un SQL de base de datos local que la base de datos puede ejecutar sin ser procesado por el servidor de informes. Si esta propiedad se establece en Local limitado, el SQL de Cognos generado por el. La página del informe se procesará primero. Se realizan las operaciones necesarias del servidor de informes y luego las partes restantes se envían a la base de datos para el procesamiento SQL local. El valor predeterminado es la propiedad queryProcessing establecida en el Marco para el objeto Datasource.
3.3.8 Uso de la cláusula With
En la propiedad Usar SQL con cláusula de consulta, puede establecer si se utiliza la cláusula With para la consulta. Algunas bases de datos, como Oracle, admiten la palabra clave With. Cuando se anidan subconsultas en una consulta, el uso de la cláusula With puede reducir el procesamiento de Cognos SQL por parte del servidor de informes, mejorando así el rendimiento de ejecución del informe. Si esta propiedad se establece en Sí, se permite la palabra clave With y la cláusula With aparecerá en el SQL nativo generado en la consulta; si esta propiedad se establece en No, se rechaza la palabra clave With; El valor predeterminado es la cláusula Usar CON al generar la configuración de propiedad SQL en Editar gobernadores en el marco.
3.3.9 Configuración de la caché local del servidor de informes
En el atributo Usar caché local de Consulta, puede establecer si desea utilizar la caché local para la consulta. Si esta propiedad se establece en Sí, la memoria caché local del servidor está habilitada y el servidor guardará los resultados de la consulta en la sesión. Cuando el usuario abra el mismo informe nuevamente en el navegador, los resultados de la consulta se tomarán de la memoria caché. reducir la carga en la base de datos; si esta propiedad se establece en No, el caché local del servidor está deshabilitado y todos los resultados de la consulta se toman de los datos en tiempo real de la base de datos. El valor predeterminado es la configuración Permitir el uso de la propiedad de caché local en Editar gobernadores en el marco.
Yo uso finereport, que es más conveniente que este