¿Cuál es la tendencia de desarrollo de big data?

1. La gestión de datos sigue siendo difícil

El análisis de big data tiene una idea bastante clara: encontrar patrones de información ocultos en grandes cantidades de datos, entrenar modelos de aprendizaje automático para descubrir estos patrones y Aplique estos modelos a la producción para automatizar operaciones. Debe limpiar los datos y repetirlo si es necesario.

Sin embargo, poner estos datos en producción es más difícil de lo que parece. Para los principiantes, recopilar datos de diferentes silos puede resultar difícil, ya que se requieren habilidades de extracción, transformación y carga (ETL) y de bases de datos. Limpiar y etiquetar datos para ejercicios de aprendizaje automático también requiere mucho tiempo y dinero, especialmente cuando se utilizan técnicas de aprendizaje profundo.

2. Las islas de datos siguen proliferando

Esto no es difícil de predecir. Durante el auge del desarrollo de Hadoop hace cinco años, se pensó que todos los datos, incluidas las cargas de trabajo analíticas y transaccionales, podrían consolidarse en una única plataforma.

Por diversas razones, la idea nunca llegó a materializarse. El mayor desafío es que los diferentes tipos de datos tienen diferentes requisitos de almacenamiento. Las bases de datos relacionales, las bases de datos de gráficos, las bases de datos de series temporales, HDF y el almacenamiento de objetos tienen sus propias ventajas y desventajas. Si los desarrolladores agrupan todos sus datos en un lago de datos que se ajuste a todos sus datos, no podrán maximizar sus ventajas.

3. El año de los avances en Streaming Media Analytics

Cuanto más rápido una organización pueda procesar nuevos datos, mejor crecerá el negocio. Esta es la fuerza impulsora detrás del análisis en tiempo real o de streaming. Pero el desafío para las organizaciones de hacerlo siempre ha sido muy difícil y costoso, pero eso cambiará a medida que el equipo de análisis de una organización madure y la tecnología mejore.

Las bases de datos NewSQL, las cuadrículas de datos en memoria y las plataformas de análisis de transmisión especializadas convergen en torno a funciones comunes que requieren un procesamiento ultrarrápido de los datos de entrada, a menudo utilizando modelos de aprendizaje automático para automatizar la toma de decisiones.

En cuanto a la tendencia de desarrollo de big data, el editor de Qingteng la compartirá con usted aquí. Si tiene un gran interés en la ingeniería de big data, espero que este artículo pueda ayudarle. Si desea saber más sobre las habilidades y materiales de los analistas de datos y los ingenieros de big data, puede hacer clic en otros artículos de este sitio para obtener más información.