Problemas de la aplicación de big data: ¿deberíamos establecer un “común” de datos?

El problema de la aplicación de big data: si se debe establecer un "común" de datos

Para examinar big data, es mejor examinar las dimensiones técnicas, comerciales y sociales detrás de big data en al mismo tiempo. Desde la perspectiva de la madurez del desarrollo, la dimensión técnica ha llegado más lejos, la dimensión comercial se ha desarrollado pero no está completamente madura y la dimensión social es la que peor se ha desarrollado. Por lo tanto, aunque se ha hablado de big data durante mucho tiempo, excepto en algunos campos como la búsqueda, que dio origen al big data en sí, otros campos no han obtenido beneficios visibles del big data. La mayoría de las veces la gente todavía se encuentra en un estado en el que piensan que debe haber oro aquí, pero necesitan más paciencia. Este artículo intenta explorar las características del big data en sí y hacer algunas predicciones sobre las tendencias de desarrollo futuras.

Profundidad y amplitud del big data

Si big data corresponde a datos masivos, entonces es un concepto muy vago, equivalente a convertirse en sinónimo de información, lo cual obviamente es difícil de entender. Responda a la pregunta de qué puede hacer exactamente la información.

En este momento, para avanzar en el pensamiento, suele ser necesario clasificar primero. Si consideramos el tiempo y el espacio como la perspectiva más básica, lo primero que hay que distinguir es la profundidad y la amplitud de los big data. Desde la perspectiva del tiempo, los big data son una historia completa, y desde la perspectiva del espacio, los big data son las huellas de las actividades globales. El primero puede verse como una especie de profundidad y el segundo como una especie de amplitud. Los diferentes escenarios tienen diferentes énfasis en la profundidad y la amplitud.

Para algunas industrias verticales, como la atención médica, la profundidad de los big data es más importante. Una vez que se puede encontrar todo el historial en los datos, las personas pueden comprender y optimizar mejor la industria correspondiente.

Para la sociedad, la amplitud suele ser más importante. Sólo tenemos la mitad de la información sobre una determinada escena, pero cuando hay suficiente información y el alcance es lo suficientemente amplio, es posible describir una situación relativamente oportuna. El panorama completo. El ejemplo citado a menudo de la predicción de enfermedades infecciosas de Google se basa en esta amplitud.

Esto determina la tendencia de desarrollo de las aplicaciones de big data. Cuando la profundidad es importante, las organizaciones como las empresas deben convertirse en el organismo principal. La dificultad es cómo cruzar los límites de la propiedad de los datos. Para los hospitales, obviamente es beneficioso digitalizar y compartir todos los casos de tratamiento, pero si solo un hospital hace esto, entonces para este hospital puede ser una desventaja causada por la reacción negativa a la privacidad.

Cuando la amplitud es importante, aunque las empresas también pueden beneficiarse en áreas como la búsqueda, las instituciones que realmente pueden beneficiarse plenamente del big data son los gobiernos. Cuanto más amplios son los datos, mayor es el tema que describen, y si describen a toda la sociedad, obviamente son las principales personas responsables de la sociedad quienes se beneficiarán de ellos. Esto es una cuestión de sentido común, al igual que no tomar el medicamento recetado por el médico cuando visita a un médico pero mejorar por su cuenta. A veces, CCTV transmite un mapa del flujo de personas durante el Festival de Primavera elaborado por Baidu. Este incidente también puede ilustrar este problema desde un lado. Este tipo de mapa de flujo de personas es mucho menos útil para las personas y empresas que pueden elaborar el mapa que para el gobierno.

Un breve resumen es: la profundidad y la amplitud tienen requisitos de datos diferentes. La primera requiere fuentes de datos más detalladas y de alta calidad; la segunda no tiene requisitos altos para esto, pero ambas se aplican en todo momento. , nos enfrentaremos al problema del rendimiento desigual del esfuerzo. Los macrodatos tienden a describir el conjunto, y quienes tienen la capacidad de recopilar o procesar grandes datos suelen ser individuos. Los resultados individuales no se reflejan fácilmente en la mejora general.

Así que el cuello de botella actual en el desarrollo de big data no es la tecnología, sino el establecimiento de las relaciones de distribución necesarias detrás de ella. Si esta relación no se suaviza, los datos permanecerán en el nivel de silos. Cada organización tiene lo suyo y lo denomina "big data". Para enderezar esta relación, tenemos que volver a una cuestión muy clásica: si se pueden establecer "bienes comunes".

La idea de los bienes comunes de datos

Big data es en realidad un poco como los bienes comunes. Un argumento muy famoso en economía es la tragedia de los bienes comunes. La "Historia económica de los Estados Unidos" ofrece un ejemplo muy fácil de entender de cuál es la tragedia de los bienes comunes:

...Estas proposiciones de razonamiento económico son útiles para explicar la propiedad colectiva y el reparto final. (reparto equitativo) de la producción o participaciones fijas) conducen al problema del “gorrón”. Para ilustrar este punto, consideremos 10 trabajadores que comparten la propiedad de la tierra y producen 100 bushels de maíz, cada uno de los cuales consume un promedio de 10 bushels de maíz. Supongamos que un trabajador comienza a aflojar y reduce a la mitad su esfuerzo laboral, lo que resulta en una disminución en la producción de 5 bushels.

Debido a la disposición del sistema de reparto de la producción, el consumo de los holgazanes es el mismo que el de los demás trabajadores, que ahora es de 9,5 bushels. Aunque sus esfuerzos se han reducido en un 50%, su consumo sólo se ha reducido en un 5%. Las personas perezosas aprovechan el trabajo de otras personas...

Hay problemas humanos muy profundos detrás de esto. Incluso si podemos crear más riqueza a través del trabajo duro y la colaboración, los individuos también pueden compartir más, pero lo obvio. La tendencia personal en el grupo es trabajar menos pero compartir más. En realidad, esto es similar al dilema del prisionero.

En el mundo basado en objetos físicos, actualmente no hay forma de resolver completamente este problema. Solo podemos confiar en un cierto orden de distribución que básicamente es reconocido por todos, como por ejemplo: el linaje anterior es ahora. selección natural, pero la riqueza digital basada en Bits ahora parece tener el potencial de resolver este problema.

La mayor diferencia entre los datos basados ​​en bits y los objetos físicos es que los datos no son algo que no tengo si me los quitas. Además, el precio del hardware está cayendo rápidamente y el código abierto aumenta. herramientas de acceso a datos básicamente gratuitas. La combinación de estos hace posible los datos comunes.

La pregunta muy interesante aquí es que si a todo el mundo le importa más si el valor absoluto de lo que obtengo aumenta, entonces la formación de datos comunes es más probable, porque si hay datos comunes, entonces Todos (las empresas) deben ganar más, pero si a todos les importa más que usted si yo tengo más, entonces habrá muchos obstáculos en la construcción de los bienes comunes de datos, porque los bienes comunes en realidad colocan a las personas relevantes en el mismo punto de partida competitivo.

El problema de big data es un problema técnico en el uso de datos, pero en realidad es un problema socioeconómico en la fuente de datos. Este último es más difícil, por lo que el desarrollo de aplicaciones de big data lo hace. No depende del desarrollo de la tecnología. Depende del ritmo del cambio en los patrones socioeconómicos. En campos limitados, como la búsqueda, el comercio electrónico y la computación en la nube, la tecnología se ha desarrollado relativamente en su totalidad. En la actualidad, la cuestión de quién paga y quién se beneficia es la cuestión más importante en el proceso de convertir pequeños datos en grandes datos.

¿Hacia dónde va el camino hacia el big data?

La fuerza impulsora intrínseca para el desarrollo de datos es que cuanto más completos son los datos, mayor es el valor. De hecho, esto también es un efecto de red. Esta fuerza impulsora interna conduce a solo dos tendencias en el. desarrollo de la propiedad de datos desde una perspectiva macro:

Uno es como el terminal móvil actual, cada uno tiene su propia fuente de datos privada y luego comienza una competencia de vida o muerte. Al final, una empresa sobrevive. , que también puede lograr el objetivo final de la unificación de datos.

La otra es comenzar a unirnos en competencia para construir los datos comunes mencionados anteriormente.

Como se mencionó anteriormente, los datos de la industria y los datos de toda la sociedad son de naturaleza muy diferente, por lo que deben discutirse por separado.

Para los datos de la industria, la cooperación franca entre competidores es poco probable a menos que haya personas extremadamente especiales. La solución más sencilla en este caso es recurrir a un tercero.

Por ejemplo, cada operador posee los datos móviles de casi todos los usuarios de Internet, pero es difícil para los operadores cooperar abierta y honestamente entre sí para integrar estos datos y crear algún tipo de valor. En este momento, si un tercero interviene y formula un plan de distribución de ganancias, será posible.

Si esto se puede lograr, el único punto clave es si el modelo de negocio correspondiente puede superar el coste del procesamiento de datos. Debe enfatizarse que la densidad de valor de Big Data es muy escasa. Muchas cosas son valiosas pero no necesariamente valen la pena hacerlas. Una de las razones clave por las que los sitios web de videos no pueden generar ingresos es que el costo del ancho de banda y el almacenamiento es relativamente alto. datos, es difícil encontrar un modelo de negocio y la situación puede ser peor que la de los sitios web de vídeos. El costo de la minería debe ser menor que los ingresos de la minería para que la minería sea valiosa.

Es posible que los problemas anteriores no sean demasiado grandes en los datos de la industria. En términos generales, la densidad de valor de los datos de la industria será mayor después de todo y, debido a que es relativamente vertical, la cantidad total será limitada después de todo. Por tanto, las aplicaciones industriales de big data son relativamente fáciles de desarrollar.

Pero en el caso de los datos sociales, esto suele ser un problema. Todos sabemos que la exhaustividad de la muestra es más valiosa que la cantidad de datos, pero si la única forma de garantizar la exhaustividad de la muestra es más, significa que debe haber datos completos para hacer algo significativo.

Hay dos direcciones de aplicación para los datos sociales. Una es que las empresas pueden manejar, como Google, y la otra es a nivel social y es difícil pertenecer solo a una determinada empresa, como las personas relacionadas. a las ciudades inteligentes. Esto último requiere el apoyo de los datos comunes mencionados anteriormente.

Desde la perspectiva de los datos, ahora existen dos formas de almacenamiento de datos: una es que empresas como Google poseen todos los datos en un determinado sector representativo de toda la sociedad. Este debería ser un caso especial, y la otra es. los datos se limitarán a información pública; un tipo se divide en varios datos relacionados con el comportamiento humano, como datos relacionados con compras en el comercio electrónico, datos relacionados con personas en redes sociales y mensajería instantánea, y datos relacionados con servicios fuera de línea en Empresas O2O y ferrocarriles Los relevantes están en 12306 y así sucesivamente. Google es dueño de todos los datos, pero no del comportamiento humano. Por lo tanto, una empresa como Google equivale a poseer una muestra representativa de datos de toda la sociedad. Todas las demás empresas solo tienen datos para una determinada vertical.

Si nos apoyamos en las empresas para intentar unificar datos, en las primeras habrá una inversión de 20.000 millones en O2O, porque así se completarán los datos, y en las segundas habrá empresas de comercio electrónico Si quieres socializar, aquellos que quieran socializar quieren hacer cosas como el comercio electrónico. En el terminal también pueden ocurrir cosas similares. El objetivo final de todas estas acciones es que una sola empresa se encargue de todas estas cosas, pero esto es imposible, y esta imposibilidad no se debe sólo a razones económicas. Si los datos no se pueden conectar, entonces solo podemos hacer big data basándonos en datos fragmentados que creemos que son big data.

Así que esto es esencialmente una cuestión de si se puede establecer un bien común de datos. Si quieres establecer un bien común de datos, al menos debes resolver el problema de quién lo hará. Hay dos aclaraciones dadas por. código abierto Es muy crítico: en primer lugar, no puede ser una organización con fines de lucro; en segundo lugar, debe poder obtener el apoyo de muchas empresas. Dado que los datos implican privacidad, deben existir reglas más claras para definir el uso de los datos en comparación con el código abierto.

Resumen

Hasta que no haya una forma práctica de resolver el problema de la propiedad de los datos y los derechos de uso, la aplicación de big data aún debería ser parcial. Debido a que su aplicación en profundidad implica la coordinación de muchos sectores de la sociedad, este proceso puede ser muy largo. Lo interesante aquí es que la aparición de big data promueve directamente el desarrollo de la inteligencia artificial, y el impacto de la inteligencia artificial puede ser mucho más rápido que el de los big data en sí.

Lo anterior es el problema de aplicación de big data compartido por el editor: si es hora de establecer un "común" de datos. Para obtener más información, puede seguir a Global Ivy para compartir más información útil.