¿Qué conocimientos se necesitan para participar en la formación sobre desarrollo de big data?
Fase 1: Núcleo básico de JavaSE
1. Comprender profundamente el pensamiento orientado a objetos de Java
2. Dominar las API básicas comúnmente utilizadas en el desarrollo.
3. Competente en el uso del marco de recopilación, flujos de IO y excepciones.
4. Puede desarrollarse en base a JDK8.
Fase 2: Arquitectura del ecosistema Hadoop
1. Instalación y operación del sistema Linux
2. Sintaxis del script Master Shell.
3. Uso de herramientas de desarrollo como Idea y Maven.
4. Análisis en profundidad de la composición, instalación, arquitectura y código fuente de Hadoop, y uso competente de API.
5. Instalación e implementación de Hive, arquitectura interna y competencia en la aplicación de sus requisitos de desarrollo y optimización a nivel empresarial.
6. Principios internos, mecanismo de elección y respuesta de Zookeeper en el ecosistema de big data.
Fase 3: Arquitectura del ecosistema Spark
1. Instalación inicial e implementación de Spark, dominio del uso de la API básica del núcleo Spark, programación RDD avanzada, dominio de acumuladores y variables de transmisión, dominio. Programación de Spark SQL y cómo personalizar funciones, explicación detallada del código fuente del kernel de Spark (incluida la implementación, inicio, división y programación de tareas, administración de memoria, etc.), así como la estrategia de ajuste a nivel empresarial de Spark.
2. Instale e implemente DophineScheduler y sea competente en la programación y ejecución del flujo de trabajo.
3. Comprender la teoría del modelado del almacén de datos, estar completamente familiarizado con el sistema de índice de análisis de datos de la industria del comercio electrónico, dominar rápidamente una variedad de marcos tecnológicos de big data y comprender una variedad de almacenes de datos. módulos tecnológicos.
4. Implementación y uso de HBase y Phoenix, explicación de la arquitectura principal y optimización a nivel empresarial.
5. Uso inteligente de las herramientas de desarrollo git y Git Hub
6. Introducción a Redis, instrucciones de configuración básicas y dominio de jedis.
7. Introducción, instalación, implementación y optimización de ElasticSearch
8. Comprender completamente la construcción y el uso de la plataforma de gestión de retratos de usuarios, las ideas de diseño del sistema de retratos de usuarios y el proceso de diseño de etiquetas y sus aplicaciones, y tener una comprensión preliminar de los algoritmos de aprendizaje automático.
9. Cree de forma independiente un proyecto de almacén de datos fuera de línea completamente funcional a nivel empresarial, mejore las capacidades de desarrollo reales, fortalezca la comprensión y el reconocimiento de cada módulo funcional del almacén de datos fuera de línea y satisfaga las necesidades reales de varias empresas. Acumular experiencia en el ajuste del desempeño de proyectos.
Fase 4: Arquitectura del ecosistema de Flink
1. Domine la arquitectura básica de Flink y las ideas de procesamiento de datos de flujo, utilice las numerosas fuentes y sumideros de Flink para procesar datos y utilice API básicas y API de Windows. , función de estado, Flink SQL y Flink CEP manejan eventos complejos.
2. Utilice Flink para crear un proyecto de inventario de almacén en tiempo real y utilice hábilmente el marco de Flink para analizar y calcular varios indicadores.
3. Instalación, uso y optimización de ClickHouse.
4. Estar cerca de los escenarios reales de procesamiento de big data y diseñar proyectos prácticos en múltiples dimensiones puede ayudarnos a comprender las soluciones a las necesidades de big data de manera más amplia, participar en todo el proceso de construcción del proyecto y mejorar el nivel práctico de los estudiantes en un corto período de tiempo. y fortalecer su comprensión de varios de uso común. Comprenda el marco y acumule rápidamente experiencia práctica.
5. Proyectos opcionales de recomendación de máster y aprendizaje automático, familiarización y uso de algoritmos de filtrado de sistemas y algoritmos de recomendación basados en contenidos, etc.
6. Utilice el conjunto completo de productos de big data de la plataforma Alibaba Cloud para reconstruir proyectos de comercio electrónico y familiarícese con las soluciones de Alibaba Cloud para inventario de almacenes fuera de línea e indicadores en tiempo real.
Quinta etapa: Orientación laboral
1. Basado en entrevistas a la empresa desde una perspectiva técnica y de proyecto.
2. un entorno de producción.
3. Reanudar la orientación
Lo anterior es lo que necesita dominar en la capacitación en big data. Por supuesto, también puede intentar aprender usted mismo.