Interpretación detallada de "big data" que no entiendes
En 2012, el término big data (bigdata) se menciona cada vez más y la gente lo usa para describir y definir los datos masivos generados en la era de la explosión de la información, y nombrar el desarrollo tecnológico y la innovación relacionados con ellos. Ha aparecido en la portada de la columna del "Wall Street Journal", ha aparecido en las noticias del sitio web oficial de la Casa Blanca, ha aparecido en algunos salones de conferencias nacionales con temas de Internet e incluso ha sido incluido en informes de recomendaciones de inversión de compañías de valores con un agudo sentido del olfato.
1. Antecedentes del surgimiento del big data
En 2012, el término big data (bigdata) se ha mencionado cada vez más y la gente lo utiliza para describir y definir la información. Explosión de datos masivos generados por la época, y nombró el desarrollo tecnológico y la innovación relacionados con ellos. Apareció en la portada de una columna del "Wall Street Journal", apareció en las noticias del sitio web oficial de la Casa Blanca, apareció en algunos salones de conferencias temáticos de Internet en el país e incluso fue incluido en informes de recomendaciones de inversión de compañías de valores. con un agudo sentido del olfato.
Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque es posible que las empresas no sean conscientes de los peligros ocultos causados por el crecimiento explosivo de los datos ahora, con el paso del tiempo, las personas se volverán más grandes. Cada vez más conscientes de los problemas causados por el crecimiento explosivo de los datos. Cada vez más personas son conscientes de la importancia de los datos para las empresas. La era del big data plantea nuevos desafíos a la capacidad de los seres humanos para controlar los datos y también proporciona un espacio y un potencial sin precedentes para que las personas obtengan conocimientos más profundos y completos.
La primera persona en proponer la llegada de la era del big data fue la consultora de renombre mundial McKinsey: "Los datos han penetrado en todas las industrias y áreas funcionales comerciales hoy y se han convertido en un importante factor de producción. La gente está obsesionada con los datos masivos. La excavación y la aplicación presagian la llegada de una nueva ola de crecimiento de la productividad y el excedente de los consumidores. Los "grandes datos" existen desde hace mucho tiempo en campos como la física, la biología, la ecología ambiental e industrias. militar, finanzas y comunicaciones, sin embargo, ha atraído la atención de la gente debido al desarrollo de Internet y la industria de la información en los últimos años.
Big data en la industria de Internet se refiere al fenómeno de que las empresas de Internet generan y acumulan datos sobre el comportamiento de la red de los usuarios en las operaciones diarias. La escala de estos datos es tan grande que no se puede medir mediante G o T. La unidad de medida inicial de big data es al menos P (1000 T), E (1 millón de T) o Z (1 mil millones de T).
2. ¿Qué es el big data?
En el campo de la tecnología de la información, ha habido conceptos como "datos masivos" y "datos a gran escala", pero estos conceptos solo se centran en la escala de datos en sí y no reflejan completamente el procesamiento de datos. y necesidades de aplicación en el contexto de la explosión de datos, y el nuevo concepto de "big data" no solo se refiere a objetos de datos a gran escala, sino que también incluye las actividades de procesamiento y aplicación de estos objetos de datos. , tecnología y aplicaciones.
1. Big data, o big data, se refiere a la cantidad de datos involucrados que es tan grande que no se puede capturar, administrar y analizar en un tiempo razonable a través de las principales herramientas de software actuales. información para ayudar a las empresas a tomar decisiones comerciales más positivas. Los objetos de big data pueden ser colecciones de datos reales y limitadas, como bases de datos mantenidas por un determinado departamento o empresa gubernamental, o pueden ser colecciones de datos virtuales e ilimitadas, como toda la información en Weibo, WeChat y las redes sociales.
Big data es un activo de información enorme, diverso y de alto crecimiento que requiere nuevos modelos de procesamiento para tener un mayor poder de toma de decisiones, descubrimiento de conocimientos y capacidades de optimización de procesos. En términos de categorías de datos, “big data” se refiere a información que no se puede procesar ni analizar mediante procesos o herramientas tradicionales. Define aquellos conjuntos de datos que exceden el alcance y el tamaño del procesamiento normal, lo que obliga a los usuarios a adoptar métodos de procesamiento no tradicionales.
Amazon Web Services (AWS) y el científico de big data John Rauser mencionaron una definición simple: Big data es cualquier gran cantidad de datos que excede la potencia de procesamiento de una computadora. La definición de big data del equipo de I + D: "Big data es la tecnología de propaganda más grande y la tecnología más de moda. Cuando ocurre este fenómeno, la definición se vuelve muy confusa", dijo Kelly: "Es posible que big data no incluya toda la información, pero creo que la mayoría". Parte de la percepción de big data es que es tan grande que analizarlo requiere múltiples cargas de trabajo, que es la definición de AWS.
2. La tecnología de big data se refiere a la capacidad de obtener rápidamente información valiosa de varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis y la extracción de datos, la visualización y otras tecnologías y su integración. Las tecnologías aplicables a big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
3. La aplicación de big data se refiere al acto de integrar y aplicar tecnología de big data a una colección de big data específica para obtener información valiosa. Para diferentes negocios en diferentes campos, diferentes empresas o incluso el mismo negocio de diferentes empresas en el mismo campo, debido a las diferencias en los requisitos comerciales, la recopilación de datos y los objetivos de análisis y minería, la tecnología de big data y los sistemas de información de big data utilizados pueden También tienen diferencias considerables. Sólo adhiriéndose al desarrollo sincrónico de la trinidad de "objetos, tecnología y aplicaciones" se podrá aprovechar plenamente el valor de los big data.
Cuando tu tecnología llega a su límite, también lo es el límite de los datos "El big data no se trata de cómo definirlo, lo más importante es cómo usarlo. El mayor desafío radica en qué tecnologías. "Cómo se pueden utilizar mejor los datos y cómo se pueden utilizar los big data". ¿Cómo es la aplicación de los datos? En comparación con las bases de datos tradicionales y el auge de las herramientas de análisis de big data de código abierto como Hadoop, ¿cuál es el valor de estos servicios de datos no estructurados? p>
3. Tipos de big data y métodos de extracción de valor
1. Los tipos de big data se pueden dividir aproximadamente en tres categorías:
1) Datos empresariales tradicionales ( Datos empresariales tradicionales: incluidos datos de consumidores de sistemas CRM, datos ERP tradicionales, datos de inventario y datos contables, etc.
2) Datos generados por máquinas/sensores: incluidos registros de llamadas (CallDetailRecords), medidores inteligentes, sensores de equipos industriales , registros de equipos (generalmente escape digital), datos de transacciones, etc.
3) Datos sociales: incluidos registros de comportamiento del usuario, datos de retroalimentación, etc.
2. Hay cuatro métodos principales para extraer valor empresarial a partir de big data:
1) Segmentar grupos de clientes y luego personalizar servicios especiales para cada grupo
2) Simulación
3) Fortalecer los departamentos. conexiones y mejorar la eficiencia de toda la cadena de gestión y cadena industrial
4) Reducir los costos de servicio, descubrir pistas ocultas para innovar productos y servicios
4. /p>
La industria suele utilizar cuatro V (es decir, volumen, variedad, valor, velocidad) para resumir las características de los datos masivos. Específicamente, los datos masivos tienen cuatro características básicas:
1. es un gran volumen de datos.
Gran volumen de datos se refiere a grandes conjuntos de datos, generalmente de alrededor de 10 TB, pero en aplicaciones prácticas, muchos usuarios empresariales reúnen varios conjuntos de datos para formar datos de nivel PB. El volumen de datos de Baidu muestra que la navegación de su nueva página de inicio necesita proporcionar más de 1,5 PB de datos cada día (1 PB = 1024 TB). Si se imprimen, estos datos superarían los 500 mil millones de hojas de papel A4. Los datos confirman que el volumen de datos de todos. Los materiales impresos producidos por humanos hasta ahora son solo 200 PB.
2 Es una categoría de datos grande y de tipo diverso.
La categoría de datos (variedad) es grande, los datos provienen de una. La variedad de fuentes de datos y los tipos y formatos de datos se están volviendo cada vez más ricos. Ha superado el alcance previamente limitado de los datos estructurados e incluye datos semiestructurados y datos no estructurados. pero también en forma de imágenes, vídeos, audios, información de ubicación geográfica y otros tipos de datos, siendo los datos personalizados la mayoría absoluta.
3. La velocidad de procesamiento es rápida
Incluso cuando la cantidad de datos es muy grande, también puede procesar los datos en tiempo real. El procesamiento de datos sigue la "ley del segundo" y puede obtener rápidamente información de alto valor a partir de varios tipos de datos.
4. Autenticidad de alto valor y baja densidad
Alta autenticidad de datos (Veracidad), con interés en nuevas fuentes de datos como datos sociales, contenido empresarial, datos de transacciones y aplicaciones, etc. , las limitaciones de las fuentes de datos tradicionales se han superado y las empresas necesitan cada vez más poder de información eficaz para garantizar su autenticidad y seguridad. Tomemos el vídeo como ejemplo. Para un vídeo de una hora, durante el monitoreo ininterrumpido, es posible que solo estén disponibles uno o dos segundos de datos útiles.
V. El papel del big data
1. El procesamiento y análisis del big data se está convirtiendo en el nodo de la nueva generación de integración y aplicación de tecnologías de la información.
Internet móvil, las cosas Internet, las redes sociales, los hogares digitales, el comercio electrónico, etc. son las formas de aplicación de la nueva generación de tecnologías de la información, y estas aplicaciones siguen generando big data. La computación en la nube proporciona plataformas informáticas y de almacenamiento para estos big data masivos y diversos. A través de la gestión, procesamiento, análisis y optimización de datos de diferentes fuentes, y la retroalimentación de los resultados a las aplicaciones mencionadas, se creará un enorme valor económico y social.
Los macrodatos tienen el poder de provocar cambios sociales. Pero liberar esta energía requiere una gobernanza de datos rigurosa, un análisis de datos perspicaz y un entorno que inspire la innovación en la gestión (Ramayya Krishnan, decana del Heinz College, Universidad Carnegie Mellon).
2. El big data es el nuevo motor del crecimiento rápido y sostenido de la industria de la información
Nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos de negocio de los que se enfrenta el mercado del big data. seguirá surgiendo. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos desencadenarán el desarrollo de procesamiento y análisis rápidos de datos, tecnología de extracción de datos y productos de software.
3. La utilización de big data se convertirá en un factor clave para mejorar la competitividad central.
La toma de decisiones en diversas industrias está cambiando de "impulsada por el negocio" a "basada en datos". . El análisis de big data puede permitir a los minoristas captar las tendencias del mercado en tiempo real y responder rápidamente; puede brindar apoyo a la toma de decisiones para que los comerciantes formulen estrategias de marketing más precisas y efectivas; puede ayudar a las empresas a brindar a los consumidores servicios más oportunos y personalizados; en medicina En el campo de la medicina, puede mejorar la precisión del diagnóstico y la eficacia de los medicamentos en el sector público, y los macrodatos también han comenzado a desempeñar un papel importante en la promoción del desarrollo económico y el mantenimiento de la estabilidad social;
4. Los métodos y medios de la investigación científica en la era del big data sufrirán cambios importantes.
Por ejemplo, la encuesta por muestreo es un método de investigación básico en las ciencias sociales. En la era del big data, los datos masivos de comportamiento generados por los objetos de investigación en Internet pueden extraerse y analizarse mediante monitoreo y seguimiento en tiempo real, revelando regularidades y proponiendo conclusiones y contramedidas de la investigación.
VI.Valor empresarial del big data
1. Segmentación de grupos de clientes
El "Big data" puede segmentar grupos de clientes y luego segmentar cada grupo de clientes. tomar acciones únicas y adaptadas a sus necesidades. Dirigirse a grupos de clientes específicos para marketing y servicios siempre ha sido el objetivo de las empresas. La enorme cantidad de datos almacenados en la nube y la tecnología de análisis de "big data" permiten realizar una segmentación extrema de los consumidores en tiempo real con capacidades extremadamente rentables.
2. Simular la realidad
Utilizar "big data" para simular la realidad para descubrir nuevas necesidades y mejorar el retorno de la inversión. Los sensores están ahora integrados en cada vez más productos, y la proliferación de automóviles y teléfonos inteligentes ha provocado una explosión en la cantidad de datos que se pueden recopilar. Las redes sociales como Blog, Twitter, Facebook y Weibo también generan enormes cantidades de datos.
La computación en la nube y la tecnología de análisis de "grandes datos" permiten a los comerciantes almacenar y analizar estos datos junto con los datos del comportamiento de las transacciones en tiempo real con una alta rentabilidad. Los procesos de transacciones, el uso de productos y el comportamiento humano se pueden digitalizar. La tecnología de "grandes datos" puede integrar estos datos para la extracción de datos y, en algunos casos, utilizar la simulación de modelos para determinar qué programa tiene el mayor retorno de la inversión en diferentes variables (como diferentes programas de promoción en diferentes regiones).
3. Mejorar el retorno de la inversión
Aumentar el intercambio de resultados de "big data" entre los departamentos relevantes y mejorar el retorno de la inversión de toda la cadena de gestión y la cadena industrial. Los departamentos con sólidas capacidades de "grandes datos" pueden compartir resultados de "grandes datos" con departamentos con capacidades de "grandes datos" más débiles a través de la computación en la nube, Internet y motores de búsqueda internos, ayudándolos a crear valor comercial con "grandes datos".
4. Alquiler de espacio de almacenamiento de datos
Las empresas y los particulares tienen enormes necesidades de almacenamiento de información. Sólo almacenando adecuadamente los datos será posible aprovechar aún más su valor potencial. Específicamente, este modelo de negocio se puede subdividir en dos categorías: almacenamiento de archivos personales y usuarios empresariales. Principalmente a través de API fáciles de usar, los usuarios pueden colocar cómodamente varios objetos de datos en la nube y luego cargarlos según el uso, como agua y electricidad. En la actualidad, muchas empresas han lanzado los servicios correspondientes, como Amazon, NetEase, Nokia, etc. Los operadores también han lanzado servicios correspondientes, como el negocio Caiyun de China Mobile.
5. Gestionar las relaciones con los clientes
El propósito de las aplicaciones de gestión de clientes es analizar y comprender en profundidad a los clientes desde diferentes ángulos en función de sus atributos (incluidos los atributos naturales y los atributos de comportamiento), para así Esto aumenta nuevos clientes, mejora la fidelidad de los clientes, reduce la rotación de clientes, aumenta el consumo de clientes, etc. Para los clientes pequeños y medianos, un CRM especializado es obviamente grande y caro. Muchas pequeñas y medianas empresas utilizan Fetion como CRM principal. Por ejemplo, agregue clientes antiguos al grupo Fetion, publique vistas previas de nuevos productos y notificaciones de ventas especiales en el círculo de amigos del grupo, complete servicios de preventa y posventa, etc.
6. Recomendaciones personalizadas y precisas
Dentro de los operadores es habitual recomendar diversos servicios o aplicaciones en función de las preferencias del usuario, como recomendaciones de software de tiendas de aplicaciones, recomendaciones de programas de vídeo IPTV, etc. A través de algoritmos de análisis inteligentes, como algoritmos de correlación, extracción de resúmenes de texto y análisis de sentimientos, se puede extender a los servicios comerciales y la tecnología de extracción de datos se puede utilizar para ayudar a los clientes a realizar un marketing preciso. parte de valor añadido del cliente.
Tomemos como ejemplo los "mensajes de texto basura" diarios. No todos los mensajes son "basura". Se consideran basura porque los destinatarios no los necesitan. Después de analizar los datos del comportamiento del usuario, la información requerida se puede enviar a las personas que la necesitan, de modo que los "mensajes de texto spam" se conviertan en información valiosa. En McDonald's en Japón, los usuarios descargan cupones en sus teléfonos móviles y luego van al restaurante a pagar con el descuento de billetera móvil del operador DoCoMo. Los operadores y McDonald's recopilan información de consumo relevante, como qué hamburguesas compran con frecuencia, a qué tiendas van y con qué frecuencia consumen, y luego envían cupones con precisión a los usuarios.
7. Búsqueda de datos
La búsqueda de datos no es una aplicación nueva Con el advenimiento de la era del "big data", también ha aumentado la demanda de búsquedas en tiempo real y a gran escala. volverse cada vez más fuerte. Necesitamos poder buscar en varias redes sociales, comportamiento de los usuarios y otros datos. Su valor de aplicación comercial es conectar el procesamiento de datos en tiempo real con el análisis y la publicidad, es decir, servicios sociales y comerciales de publicidad en tiempo real para publicidad móvil dentro de la aplicación.
La información sobre el comportamiento online del usuario dominada por los operadores hace que los datos obtenidos sean "más completos" y más valiosos comercialmente. Las aplicaciones típicas incluyen “Pangu Search” de China Mobile.
7. El importante impacto del big data en la economía y la sociedad
1. Puede promover la obtención de enormes beneficios económicos
Por ejemplo, su contribución. al crecimiento de las ganancias netas en la industria minorista de China, Reducir los costos de desarrollo y ensamblaje de productos de fabricación, etc. Se estima que los macrodatos globales impulsarán directa e indirectamente los gastos en tecnología de la información hasta alcanzar los 120 mil millones de dólares en 2013.
2. Puede promover y mejorar el nivel de gestión social.
La aplicación de big data en el ámbito de los servicios públicos puede promover eficazmente el desarrollo de trabajos relevantes y mejorar la toma de decisiones. nivel de toma y eficiencia del servicio de los departamentos relevantes y nivel de gestión social, generando un enorme valor social. Muchas ciudades europeas mejoran las condiciones del tráfico urbano analizando datos de flujo de tráfico en tiempo real para guiar a los conductores a elegir la mejor ruta.
3. Sin herramientas de análisis de alto rendimiento, el valor del big data no se liberará
Debemos mantener una comprensión clara de las aplicaciones del big data y no ser supersticiosos con los resultados de su análisis. Tampoco se puede negar su importante papel sólo porque no sea del todo exacto.
1) Por diversas razones, los objetos de datos analizados y procesados inevitablemente incluirán varios datos erróneos y datos inútiles. Además, el análisis de datos, la inteligencia artificial y otras tecnologías que son el núcleo de la tecnología de big data. aún no está completamente desarrollado, por lo que no se puede exigir que los resultados del análisis y procesamiento de big data completados por computadoras sean completamente precisos. Por ejemplo, Google puede predecir brotes de gripe más rápido que las organizaciones profesionales analizando el contenido de búsqueda de cientos de millones de usuarios. Sin embargo, debido a la interferencia de información inútil en Weibo, esta predicción ha sido inexacta muchas veces.
2) Lo que debe quedar claramente posicionado es que el objetivo del papel y el valor del big data es guiar e inspirar el pensamiento innovador de los usuarios de big data y ayudar en la toma de decisiones. En pocas palabras, si desea abordar un problema, generalmente la gente puede pensar en un método, pero big data puede proporcionar diez métodos de referencia. Incluso si solo tres de ellos son factibles, triplicará la cantidad de ideas para resolver el problema. problema.
Por lo tanto, comprender objetivamente y desempeñar el papel de big data sin exagerarlo ni minimizarlo es el requisito previo para comprender y aplicar big data con precisión.
8. Resumen
Ya sea que el valor central de big data sea la predicción o no, el modelo de toma de decisiones basado en big data ha generado ganancias y reputación para muchas empresas.
1. Analizando la cadena de valor del big data, existen tres modelos:
1) Tener big data, pero no hacer un buen uso de él, los más típicos son las instituciones financieras; , industrias de telecomunicaciones, agencias gubernamentales, etc.
2) Sin datos, pero saben cómo ayudar a las personas con datos a utilizarlos; las más típicas son empresas de servicios y consultoría de TI, como Accenture, IBM, Oracle, etc.
3) Tanto el pensamiento de datos como el de big data; los típicos son Google, Amazon, Mastercard, etc.
2. Las cosas más valiosas en el campo de big data en el futuro son dos cosas:
1) Las personas con pensamiento de big data, esas personas pueden transformar el valor potencial de big data. datos Para beneficios prácticos;
2) No hay áreas comerciales que hayan sido tocadas por big data. Se trata de pozos de petróleo y minas de oro que aún no han sido explotados, los llamados océanos azules.
Big data es un campo típico donde la tecnología de la información y la tecnología profesional, la industria de la tecnología de la información y diversas industrias están estrechamente integradas. Tiene una fuerte demanda de aplicaciones y amplias perspectivas de aplicación. Para aprovechar las nuevas oportunidades que brinda este campo emergente, es necesario rastrear y estudiar continuamente big data, mejorar continuamente el conocimiento y la comprensión de big data, adherirse al progreso coordinado de la innovación tecnológica y la innovación de aplicaciones, y acelerar el desarrollo. de big data en diversos campos económicos y sociales. El desarrollo y la utilización de datos promueven las necesidades de aplicación y el nivel de aplicación de datos por parte de países, industrias y empresas a una nueva etapa.