Tiger: Big Data en mis ojos - Acciones de primer año (1)
** 1. Malentendidos cognitivos* *
En la vida diaria y en el trabajo, descubrí que muchas personas tienen los dos malentendidos siguientes sobre big data:
Muchos La gente ahora dice que el texto debe llamarse big data. Pero el término big data en sí es muy vago, no sé qué quieren decir con big data. Esto me recuerda otro concepto que fue popular en China hace muchos años: nano, con el que creo que debes estar familiarizado. En ese momento, si simplemente iba al centro comercial o miraba televisión, encontraba una abrumadora cantidad de anuncios bajo el lema nano: "nano refrigerador", "nano aire acondicionado", "nano televisor en color". . . Así como los nanómetros son una panacea que puede curar todas las enfermedades, cualquier cosa que deba etiquetarse como "nano" aumentará de valor y se volverá superior.
Muchas personas hoy en día tienen la misma actitud hacia el big data que hacia el nano, siguen la tendencia, se engañan a sí mismos y luego engañan a los demás.
Cuando preguntas a mucha gente que habla de big data: ¿Qué es big data? ¿No sabes qué es el big data y cómo se utiliza? ¿Qué beneficios e impactos trae el big data a tu vida? Las personas mayores de 80 años parecerán estúpidas y no puedo explicar por qué. Por supuesto, no quiero decir que todos sean así, pero hay mucha gente así.
Personalmente creo que una actitud realista es necesaria y debe respetarse.
Si lo sabes, infórmate. Si no lo sabes, infórmate en Zhihu.
No importa si no lo sabes, pero si hablas de big data sólo por vanidad y te preocupas por añadir nuevas palabras, esta actitud no sirve de nada.
Si realmente cree que los big data son buenos, interesantes y útiles, entonces arremanguémonos y comprendamos sus detalles, sus vidas pasadas e incluso sus tendencias de desarrollo futuras. Esta actitud tiene los pies en la tierra y puede aumentar el valor personal.
2. Análisis de datos
Antes de hablar contigo sobre el verdadero "big data", hablemos primero del análisis de datos.
El análisis de datos existe desde hace mucho tiempo y no es nada nuevo.
¡Nada nuevo, nada misterioso, nada en absoluto!
¿Sabes utilizar Excel? Excel se utiliza para el análisis de datos, así que no lo subestimes. Y el análisis de datos es mucho más antiguo que Excel.
El análisis de datos se puede dividir aproximadamente en cuatro niveles:
Primero, obtener datos;
Segundo, extraer información de los datos.
En tercer lugar, extraer conocimiento de la información;
Finalmente, descubrir la sabiduría a través del conocimiento.
Para resumir: Datos -> Información -> Conocimiento -> Sabiduría (sabiduría)
Desde otra perspectiva, el análisis de datos es una mezcla de tecnología y arte:
3. Características generales del big data
Actualmente no existe una definición unificada de big data. La comprensión personal de big data tiene las siguientes características:
4. Uso de big data
Entonces, ¿para qué sirve big data? De hecho, hay muchos ejemplos famosos, como el de Alphago que mató al jugador de ajedrez coreano Lee Sedol. Por supuesto, este es un mal ejemplo.
Personalmente les comparto un ejemplo de Amazon. Soy un usuario avanzado de Amazon y lo uso desde hace más de ocho años, por lo que tiene muchos datos sobre mi comportamiento de consumo. Conoce mis aficiones, características y patrones de compra. La siguiente es una captura de pantalla:
Cuando inicio sesión en mi cuenta de Amazon, su página de recomendaciones se ve así. Los productos que se muestran en esta página se basan en algunos productos que he comprado antes y, a través del algoritmo de recomendación, adivina qué tipo de productos me gustan y qué tipo de productos compraré. En definitiva os recomiendo en función de las características de los productos que he adquirido.
Además, el big data también se puede utilizar para encontrar amigos y amigas.
También hay una historia real aquí: hace unos años, había un estudiante de doctorado en el Departamento de Matemáticas de la Universidad de California, Los Ángeles (UCLA), una persona mayor, soltera y hogareña que estaba preocupada por encontrar novia. Pero es un geek, por lo que pensó en una forma de escribir un programa (rastreador), estableció muchas reglas que se ajustan a sus preferencias personales y luego usó este rastreador para rastrear el objeto de destino en algunos sitios web de citas. De esta manera, puede encontrar algunos objetivos que coincidan con sus preferencias y, al mismo tiempo, eliminar naturalmente muchos objetivos que no cumplan con los parámetros establecidos en el proceso. Al salir con candidatos seleccionados, finalmente encontró una novia muy adecuada y los dos estaban felices juntos.
El big data tiene muchas aplicaciones. En 2012, el New York Times publicó un informe titulado "Cómo las grandes empresas roban sus secretos". Un ejemplo del artículo trataba sobre la aplicación de big data de Target Supermarket (una cadena de supermercados muy grande de Estados Unidos). Se informa que Target envió cupones para productos para bebés a la hija de una familia de Minnesota, pero la niña todavía era estudiante de secundaria. Su padre se enojó mucho cuando vio el cupón. Creyó que se sospechaba que esto inducía el embarazo entre menores, por lo que fue al supermercado local a discutir. El gerente del supermercado en ese momento fue muy sincero y se disculpó con el cliente con una expresión de perplejidad en su rostro. Posteriormente, el padre tomó la iniciativa de llamar al supermercado para disculparse, diciendo que cuando llegó a su casa y se comunicó con su hija, se enteró que ella estaba realmente embarazada.
¡La trama se invierte 180 grados!
¿Qué diablos está pasando? Resultó ser un modelo de predicción de embarazo desarrollado por el departamento de datos de Target. Según el algoritmo y los registros de compras, es muy probable que se descubra que la niña está embarazada. Por lo tanto, después de obtener este juicio, su departamento de marketing enviará con precisión cupones para productos maternos e infantiles a dichos clientes objetivo potenciales. Todavía suena terrible. Aunque los big data nunca te han visto, es posible que te conozcan bien: qué tipo de persona eres, dónde vives, cuánto ganas, qué tipo de coche conduces, qué ropa usas, qué fumas, etc.
Los macrodatos se pueden utilizar incluso para la supervisión de la opinión pública y las encuestas de opinión pública. Por ejemplo, WeChat realizó un análisis de big data en 2016 para especular sobre el estado de ánimo de las personas en todo el país. La conclusión final es que todo el mundo está de muy buen humor durante cada festival, especialmente el Festival del Medio Otoño y el Festival de Primavera. Los jóvenes son relativamente más sentimentales, mientras que los mayores son más optimistas, alegres y alegres, lo cual es muy interesante.
Basándonos en los ejemplos anteriores, haremos un resumen y un resumen del uso de big data. El ejemplo anterior nos dice que los big data pueden ir de lo conocido a lo desconocido, es decir, pueden inferir patrones y tendencias desconocidos a partir de información conocida y disponible, al igual que Amazon adivina los productos que me gusta comprar, o adivina el objetivo de la escuela secundaria. . Dar a luz a un bebé, o un estudiante de doctorado de UCLA que escribe un programa para encontrar novia. Son inferencias de lo conocido a lo desconocido.
Otro uso del big data es corregir ideas erróneas o malentendidos. Porque los datos reales y sin procesar no mienten y contienen mucha información, incluso algunas cosas potencialmente contraintuitivas. Tomemos, por ejemplo, un análisis que hice una vez titulado "El destino de los principales capitalistas de riesgo". Debido a la experiencia empresarial previa, las personas serán más sensibles a la inversión y la financiación. En ese momento, existían los llamados rumores en la industria del capital de riesgo, como O2O y el comercio electrónico de alimentos frescos. Las empresas de Internet en estas direcciones son particularmente fáciles de obtener financiación. Luego, después de completar el análisis de datos relevantes, encontré:
Una institución de inversión verdaderamente de primera nunca apostará por la llamada tendencia, sino que insistirá en invertir en algunas empresas y modelos de negocio con claro carácter comercial. , como el comercio electrónico, el servicio a las empresas, la cultura y el entretenimiento, etc.
Esta comprensión me era completamente desconocida antes de realizar el análisis de datos. Se puede decir que subvirtió mi comprensión anterior. Además, mi comprensión previa de la teoría de la tobera era una ilusión, y esta ilusión fue anulada por el análisis de datos. Por tanto, creo que la segunda función del big data es corregir conceptos erróneos.
El análisis de big data tiene algunos conjuntos de conocimientos necesarios. Aquí hay una imagen de IBM Research que ilustra las áreas de conocimiento esenciales de la ciencia de datos.