Los tres gigantes BAT comenzaron a extraer big data

El Dr. Wang Jian, director de Alibaba Cloud y CTO de Alibaba, dijo una vez: Tanto la computación en la nube como los big data se malinterpretan.

De hecho, no existe un consenso sobre qué es el big data. Los macrodatos no son nada nuevo. La revolución de la información trae consigo no sólo una producción, circulación y consumo de información más eficientes, sino también un crecimiento explosivo de los datos. Después de que llegó el "punto de inflexión", la gente descubrió que el uso disperso original de los datos provocaba un enorme desperdicio. Bajo la ola de Internet móvil, los datos se generan a una velocidad sin precedentes. Los seres humanos llegaron a un consenso y comenzaron a extraer datos sistemáticamente. Ésta es la intención original del big data. Mientras se acumulan datos, la teoría informática, los canales de recopilación y circulación de datos en tiempo real y los entornos de software y hardware necesarios para la extracción de datos continúan madurando.

Los conceptos, modelos y teorías son importantes, pero en el campo más práctico de Internet, la acción es la mejor respuesta. El gigante nacional de Internet BAT se encuentra en una mina de oro de datos y se ha embarcado en el camino de las grandes pepitas de datos.

BAT es propietario de una gran mina, pero la naturaleza de la mina es diferente.

Los datos son como una mina de carbón con energía. El carbón se divide en carbón coquizable, carbón de antracita, carbón graso y carbón pobre según sus propiedades, y los costos de extracción de las minas de carbón a cielo abierto y de las minas de carbón de montaña profunda son diferentes. Del mismo modo, los big data no son "grandes", sino "útiles". El contenido de valor y los costos de extracción son más importantes que la cantidad.

Baidu tiene dos tipos de big data: datos de demanda representados por búsquedas de usuarios; datos de redes públicas obtenidos por rastreadores y Aladdin.

Alibaba tiene datos de transacciones y datos de crédito. Estos dos tipos de datos son más fáciles de monetizar y encontrar valor comercial. Además, Alibaba tiene algunos datos sociales y móviles a través de inversiones. Por ejemplo, Weibo y Gaode.

Tencent tiene datos de relaciones con los usuarios y datos sociales generados en base a ellos. Estos datos pueden analizar la vida y el comportamiento de las personas, extraer información en política, sociedad, cultura, negocios, salud y otros campos, e incluso predecir el futuro.

A continuación, escanearemos y analizaremos una a una las situaciones de las tres empresas.

1. Baidu: nacido con datos, equipado con tecnología minera y combina investigación y práctica.

El gigante de las búsquedas Baidu nació en torno a los datos. Rastrea datos web, organiza y analiza el contenido web, comprende con precisión las necesidades de búsqueda a través del análisis semántico y luego encuentra resultados precisos a partir de datos masivos, así como publicidad de palabras clave precisa de los motores de búsqueda. Es esencialmente una adquisición, organización, análisis y análisis de datos. proceso minero.

Además de las páginas web, Baidu también absorbe datos de terceros a través del Proyecto Aladdin y coopera con departamentos como la Administración de Alimentos y Medicamentos para obtener datos cerrados a través de medios comerciales. Sin embargo, aunque Baidu tiene tecnologías centrales y minas de datos, aún no ha alcanzado su máximo potencial. Productos como Baidu Index y Baidu Statistics pueden considerarse algunas de las principales aplicaciones de la minería de datos. En comparación con Google, Baidu tiene un gran potencial en la recopilación de datos sociales y datos en tiempo real, así como en la conversión del flujo de datos a la minería de datos, y todavía queda mucho por hacer.

Durante un viaje de negocios a Beijing a finales de febrero, escribí un artículo "La era del Big Data en los motores de búsqueda" y se lo envié a Huxiu. Creó un registro de cero respuestas. A pesar de ello, todavía no he dejado de pensar en los profundos cambios que se producen en los motores de búsqueda en la era del big data. Los desafíos que enfrentan los motores de búsqueda en la era del big data son: más datos de redes oscuras; más datos basados ​​en redes pero no estructurados; más datos basados ​​en redes, estructurados pero cerrados; Estos desafíos mantienen los datos alejados de los motores de búsqueda tradicionales. Pero después de todo, los motores de búsqueda tienen ventajas de acumulación técnica y big data.

A continuación, Baidu proporcionará a las empresas más datos y servicios de datos. En la etapa inicial, Baidu cooperó con empresas como Procter & Gamble y Ping An para proporcionar análisis del comportamiento del consumidor y servicios de minería y guiar a las empresas a lanzar productos a través de conclusiones de datos. Este es un modelo C2B típico basado en big data. De manera similar, está el drama estadounidense de Netflix "House of Cards", en el que el actor Kevin Spacey y el director David Fincher fueron seleccionados en función de su popularidad después de extraer datos en línea.

Baidu también utilizará big data para completar la evolución de Internet móvil. La tecnología central es el aprendizaje profundo.

El aprendizaje automático basado en big data mejorará la eficacia de la búsqueda multimedia y la búsqueda inteligente, como la búsqueda por voz, la búsqueda visual y la búsqueda en lenguaje natural. Esto dará lugar a la aparición de productos revolucionarios de Internet móvil. Aunque Baidu ya ha comenzado, todavía hay muchas cosas que puede hacer con big data.

En términos de recopilación de datos, Baidu necesita agregar más datos de transacciones, sociales y en tiempo real de alto valor. Por ejemplo, fortalezca las habilidades sociales que conoce a través de Tieba, combine los servicios de mapas con O2O lo antes posible para dominar los datos de las transacciones y promueva sistemas de recopilación de datos, como aplicaciones móviles y dispositivos portátiles.

En términos de tecnología de procesamiento de datos, Baidu ha establecido un instituto de investigación de aprendizaje profundo para fortalecer su exploración en el campo de la inteligencia artificial y ha logrado ciertos avances en campos como la infraestructura multimedia y el procesamiento del lenguaje natural chino; construcción de almacenamiento en la nube y computación en la nube También se está mejorando gradualmente. Sin embargo, el aprendizaje profundo sigue siendo un gran desafío. Exploradores como Baidu todavía tienen muchos problemas que resolver, como el aprendizaje no supervisado, el reconocimiento de imágenes estéreo, etc.

En términos de monetización de datos, Baidu necesita formar servicios y productos estandarizados, como capacidades de minería de datos, agregación y extracción de contenido de datos, y luego abrir el mercado para empresas y desarrolladores en el campo de big data. No es sólo una solución personalizada para grandes empresas.

Las ventajas de Baidu se reflejan en sus datos masivos, datos de comportamiento del usuario acumulados durante más de diez años, capacidades de procesamiento del lenguaje natural e investigaciones de vanguardia en el campo del aprendizaje profundo. En términos de talentos técnicos, Baidu es una empresa que reúne a los mejores talentos en campos relacionados con big data en China. Se dice que Baidu gastó 50 millones hace algún tiempo para reclutar a más de una docena de grandes nombres en los campos de la minería de datos, el procesamiento del lenguaje natural y el aprendizaje profundo, incluidos algunos académicos y profesores. Por ejemplo, Xu Wei, científico de la Universidad de Facebook.

En términos de reclutamiento de personas, estás dispuesto a gastar suficiente dinero, pero tienes que trabajar duro. Para un verdadero pez gordo, el dinero es sólo un factor. Es muy importante si podrá hacer realidad su sueño y si los recursos de la empresa pueden ayudarle con su investigación. Antes de regresar a China, Xu Wei buscó la opinión de otros ingenieros que habían regresado de Silicon Valley y la respuesta que obtuvo fue sí, lo que finalmente lo impulsó a tomar una decisión.

En general, Baidu tiene capacidades de minería de big data y big data y se está preparando y explorando activamente. Al tiempo que fortalecemos la investigación orientada al futuro y el despliegue de talentos, también nos centramos en la producción tecnológica práctica.

En segundo lugar, Tencent: los datos son para productos, producidos y vendidos por sí mismos.

Jin Cuodao, un defensor de la microinnovación, tiene una historia sobre Tencent. Poco después de la fundación de Tencent en 1999, una de las principales razones por las que el inversor ángel Liu Xiaosong decidió inyectar capital fue porque descubrió que “aunque su empresa todavía era muy pequeña en ese momento, ya tenían el concepto de operaciones de usuario. y cada acción de los usuarios backend fue registrada y analizada". Otro inversor, sin embargo, expresó su descontento con los datos porque Ma gastó dinero en la empresa cuando era joven. Desde entonces, la producción y operación de los productos Tencent y el auge de los juegos Tencent han sido inseparables del énfasis en los datos.

Tencent tiene big data social y completa la producción, circulación, consumo y extracción de datos en Penguin Empire. Actualmente, Tencent Big Data está liberando más valor para mejorar los productos. Según el informe financiero del primer trimestre de Tencent, los servicios de valor agregado representaron el 78,7% de los ingresos totales; el negocio de comercio electrónico representó el 14,1%; los ingresos por publicidad en línea representaron el 6,3%. De la proporción de los ingresos publicitarios se puede ver que los big data de Tencent aún no han generado mucho valor en el campo del marketing de precisión. GMAIL, Google y el gigante social Facebook, correspondientes a sus líneas de productos, ganan mucho dinero con la publicidad.

En mi opinión, la idea principal de Tencent es completar productos y centrarse en los datos back-end de QZONE, WeChat, comercio electrónico y otros productos. Por ejemplo, Tencent Weibo utilizó recientemente "tecnología de big data" para realizar funciones inteligentes como agrupación automática de amigos, filtrado automático de información de baja calidad y lectura clasificada de información de alta calidad. Evidentemente la idea de utilizar datos para mejorar los productos. Entonces, ¿qué le falta a Tencent si quiere profundizar en la minería de big data? El autor cree que todo lo que se necesita es que Mahuateng "presione el botón de inicio". Los datos están listos, es solo una cuestión de modo, es decir, encontrar necesidades o productos que puedan impulsar el uso de big data a un nivel más profundo, en lugar de usar big data para mejorar sus propios productos.

Tencent todavía está esperando y observando, esperando que otros intenten verificar un conjunto de modelos o productos, y luego podrá "pararse sobre los hombros de gigantes". Este es el pensamiento típico de Tencent.

En términos de talento, Tencent empezó a cazar gente muy temprano. Especialmente después de que Google anunció su retirada de China en 2010, Zhu Huican, fundador de Google Image Search, Yan, vicepresidente del Instituto de Investigación de Ingeniería de Google China, Wu Jun, diseñador principal del algoritmo de búsqueda de Google en China, Japón y Corea del Sur, y el autor de "Top of the Tide" y "La belleza de las matemáticas", etc. Únase a Tencent. Soso gastó mucho dinero, pero se consideró un producto que no podía ganarse la confianza de Tencent. Al final, todos estos grandes se fueron. La mayor parte regresa a Google.

Tencent también carece de líderes técnicos en el campo de big data. También presta poca atención a las relaciones públicas. Los gigantes tecnológicos rara vez salen a dar informes, ni empaquetan ni promueven activamente a gigantes tecnológicos como Baidu y Alibaba. Su tecnología es discreta pero su ejecución es sólida. Según amigos programadores de Tencent, es común desarrollarse de forma aislada y trabajar horas extras en colectivo. Pero los grandes incentivos financieros correspondientes también pueden mantenerse al día. Con enormes cantidades de dinero, debe haber hombres valientes y debe estar Tencent, que utilizará sistemas para garantizar la producción tecnológica. Además, Tencent también está un paso por delante en su cooperación con las universidades. En 2010, cooperamos con la Universidad de Tsinghua para establecer el Laboratorio Conjunto Tsinghua-Tencent. Parece que los talentos técnicos de Tencent también tienen deficiencias. ¿Mahuateng presionará el botón de inicio y descubrirá que no tiene capacidades de extracción de datos? No, Tencent no puede realizar minería de datos, pero aún puede buscar expertos e incluso leer artículos para resolver este problema. La minería de datos ha madurado. La minería de datos es en realidad la integración de bases de datos, estadísticas y aprendizaje automático. Se ha desarrollado en el mundo académico durante muchos años. Pero es difícil alcanzar a Baidu en reconocimiento del lenguaje natural y aprendizaje profundo. A menos que los datos de Baidu y los grandes estén patas arriba.

En general, la estrategia actual de big data de Tencent es completar el producto primero, conectar los datos de backend del producto y formar un ecosistema estable. En esta etapa, primero utilizamos la minería de big data para mejorar nuestros productos. Si en el futuro hay productos maduros con modelos adecuados, exploraremos más a fondo big data cuando utilicemos nuestros propios datos sociales y de relaciones.

3. Alibaba: Basándonos en datos valiosos, nos esforzamos por construir un mercado de datos orientado al futuro.

Alibaba nació en el B2B. En el entorno del floreciente comercio exterior, hizo una fortuna prestando servicios a pequeñas y medianas empresas. Antes del nacimiento de productos toC como Taobao y Alipay, Alibaba no dependía de la tecnología ni era buena en ella. En general, la industria cree que Alibaba no tiene genes técnicos. Hasta los tres productos de Taobao, Alipay y Tmall, debido a los estrictos requisitos sobre transacciones concurrentes masivas de usuarios, gestión masiva de datos de estantería, seguridad, etc., Alibaba ha completado su evolución y ha logrado muchos logros en la tecnología de comercio electrónico. Durante un tiempo, Alibaba siguió desperdiciando muchos datos. Estos datos siguen siendo los datos de oro "más valiosos".

La minería de datos no es más que extraer valor de los datos sin procesar. Los productos de datos existentes de Alibaba, como cubos de datos, estadísticas cuantificadoras, sistemas de recomendación, clasificaciones, inversión de tiempo, etc., son todos BI (Business Intelligence) relativamente simples y aún no han alcanzado la etapa de big data. Con la llegada de la ola de "big data", Alibaba propuso una estrategia de "datos, finanzas y plataforma". Hay más énfasis que nunca en recopilar, extraer y compartir datos. Jack Ma siempre menciona "datos" antes de "jubilación". Un amigo de Alibaba incluso bromeó diciendo que el nombre en inglés de Jack Ma podría cambiarse de Jack Ma a Data Ma. El director ejecutivo de Alibaba, Lu Zhaoxi, alguna vez se desempeñó como CDO y director de datos. Para utilizar los datos para impulsar el imperio del comercio electrónico de Alibaba, Alibaba también ha establecido un "comité de datos" en las principales unidades de negocios.

Los diversos casos de inversión de Alibaba también muestran su ambición de integrar, utilizar y mejorar los datos: los datos sociales y de medios de Sina Weibo, los datos de mapas y fuera de línea de AutoNavi y las aplicaciones móviles de Umeng. Los datos son parte de sus datos y su plataforma. estrategia. La estrategia de datos se está implementando gradualmente bajo el liderazgo del Director de Inteligencia Artificial (CBO), Che Pinjue, y la nube de Wang Jian proporciona infraestructura y soporte técnico básico.

Justo después de que Jack Ma se jubilara, Wang Jian le reveló un chiste: la comprensión de Alibaba sobre los datos no superará la comprensión de Suning sobre el comercio electrónico. Se estima que Jack Ma puede no estar de acuerdo. Jack Ma tiene su propia comprensión y consideración de big data. Jack Ma expresó una vez su opinión sobre big data. Ahora es la transición de la era de la información a la era de los datos.

La diferencia es que la era de la información es más bien un juego jugado por la élite. Soy más inteligente que otros y puedo extraer información; en la era de los datos, otros son más inteligentes que yo y abren los datos a personas más inteligentes para que los procesen. Los datos son un activo y la analítica es un servicio.

El proceso de desarrollo de las computadoras va desde la torre de marfil hasta los civiles y luego hasta las bases. Lo mismo ocurre con los grandes datos. Al principio, en la etapa de la torre de marfil, algunas empresas de élite pueden jugar, pero detrás de escena, mientras haya datos, son valiosos. Los datos también tienen propiedad, y quienes los producen, los hacen circular y los extraen recibirán el valor correspondiente. Lo que Alibaba hace bien es "crear mercado" y establecer un mercado de comercio de datos. Para entonces, cualquier individuo o empresa podrá obtener datos y servicios de minería y realizar transacciones. En los primeros días, Alibaba irá incorporando gradualmente sus preciados datos crediticios y de comercio electrónico. Las personas que tienen datos pueden venderlos o dejar que otros los analicen. El análisis es un servicio. Las personas que no tienen datos pueden comprarlos o ayudar a otros a extraerlos y convertirse en mineros.

Alibaba no está impulsado por la tecnología, sino por los negocios. Entonces, a nivel técnico, podemos ver que, según la idea de big data de Alibaba mencionada anteriormente, su enfoque técnico está principalmente en el nivel del sistema. Alibaba es propietario de Zhang, fundador del software de código abierto (servidor virtual Linux), así como de expertos en kernel de Linux, sistemas de archivos, Daniel DBA y otros campos. Se puede ver en el diseño del talento que Alibaba es bueno en los campos técnicos, lo que se refleja en su conveniente soporte para el acceso concurrente y el negocio de comercio electrónico de nivel de operador. Durante el Double Eleven del año pasado, admitió un volumen de pedidos en un solo día de más de 100 millones. Todos los Ministerios de Ferrocarriles cambiaron de expresión. com 12306 ha fracasado con un volumen diario promedio de 400.000.

En general, Alibaba está más centrado en construir una arquitectura subyacente para la circulación, recopilación e intercambio de datos. No soy bueno en eso y no parece estar concentrado en la minería de datos. En lugar de eso, expandiré mi negocio "transaccional" hacia los datos. Que no haya "negocios de datos" difíciles en el mundo.

En resumen

Bajo la ola de Internet móvil, el mundo real está acelerando la digitalización y cada persona, cada objeto, cada evento y cada nodo de tiempo se asigna a Internet. La interconexión del espacio y el tiempo acerca cada vez más el mundo digital al mundo real simulado. La historia, el presente y el futuro quedarán plasmados en Internet. La extracción de big data es un descubrimiento y una percepción secundaria del mundo. Los tres grandes de BAT ya han partido.