¿Tienen los big data muchas aplicaciones en la vida real?

Hoy en día, cada vez más industrias y campos tecnológicos requieren el uso de sistemas de procesamiento y análisis de big data. Hablando de procesamiento de big data, primero comprendamos bien el proceso de procesamiento de big data.

1. Recopilación de datos, construcción de un almacén de datos, recopilación de datos significa enterrar datos, llamar a datos de tráfico a través del front-end, registros de interfaz, rastreo de bases de datos, que los clientes carguen sus propios datos y conviertan los datos en la información. base de datos en varios formatos Después de guardar los datos en varias dimensiones, sentí que algunos de los datos eran inútiles (cuando comencé a hacerlo, solo estaba pensando en funciones, y algunos de los datos no se recopilaron, y lo hice más tarde). regañado por mi jefe).

2. Limpieza/preprocesamiento de datos: consiste en realizar un procesamiento simple de los datos recibidos, como convertir IP en direcciones y filtrar datos sucios.

3. Una vez procesados ​​los datos, se pueden procesar. Hay muchas formas de procesar los datos, que generalmente se dividen en procesamiento fuera de línea y procesamiento fuera de línea, lo que significa procesamiento regular todos los días. los utilizados incluyen maxComputer y hive de Alibaba, MapReduce, y el procesamiento fuera de línea incluye principalmente storm, spark y hadoop. Los datos se pueden calcular a través de algunos marcos de procesamiento de datos. A través del marco de procesamiento de datos, los datos se pueden calcular en varios KPI. Lo que hay que tener en cuenta aquí es que no solo piense en funciones. Lo más importante es establecer varias dimensiones de datos, completar los datos básicos y reutilizarlos. Más adelante se pueden mostrar varios KPI en combinaciones aleatorias.

4. Visualización de datos. Los datos son inútiles. Para ser un MVP, es necesario producir resultados rápidamente. desarrollo ágil de Scrum Para la visualización de datos, puede usar datav, Shence, etc. Si la interfaz es buena, puede ignorarla y dibujar la página usted mismo.

El procesamiento de big data está penetrando cada vez más en diversas industrias. Por ejemplo, la industria financiera necesita utilizar sistemas de big data combinados con VaR (valor en riesgo) o programas de aprendizaje automático para el control del riesgo crediticio, y el comercio minorista y. Las industrias de catering necesitan sistemas de big data para controlar los riesgos crediticios. Los sistemas de datos ayudan en las decisiones de ventas. Varios escenarios de Internet de las cosas requieren sistemas de big data para resumir y analizar continuamente datos de series temporales.