¿Cuáles son las tecnologías centrales de big data?

El sistema de tecnología de big data es grande y complejo, y sus tecnologías básicas incluyen recopilación de datos, preprocesamiento de datos, almacenamiento distribuido, bases de datos, almacenes de datos, aprendizaje automático, computación paralela, visualización, etc.

1. Recopilación y preprocesamiento de datos: el sistema de recopilación de registros en tiempo real FlumeNG admite la personalización de varios remitentes de datos en el sistema de registro para recopilar datos, es una aplicación distribuida de código abierto que coordina servicios y proporciona servicios de sincronización de datos; .

2. Almacenamiento de datos: Hadoop, como marco de código abierto, está diseñado para análisis de datos fuera de línea y a gran escala. HDFS, como su motor de almacenamiento central, se ha utilizado ampliamente para el almacenamiento de datos. Como base de datos de código abierto distribuida y orientada a columnas, HBase puede considerarse como un contenedor para HDFS. Su esencia es el almacenamiento de datos y la base de datos NoSQL.

3. Limpieza de datos: MapReduce, como motor de consultas de Hadoop, se utiliza para la computación paralela de conjuntos de datos a gran escala.

4. Análisis de consultas de datos: el trabajo principal de Hive es traducir declaraciones SQL en programas MR, que pueden asignar datos estructurados a tablas de bases de datos y proporcionar funciones de consulta HQL (HiveSQL). Spark implementa la distribución de memoria de conjuntos de datos, que además de proporcionar consultas interactivas, también puede optimizar cargas de trabajo iterativas.

5. Visualización de datos: Conéctese con algunas plataformas de BI para visualizar los datos obtenidos del análisis para brindar servicios guiados en la toma de decisiones.