Reflexiones sobre la lectura de “La Era del Big Data” (1)
Después de leer “La Era del Big Data”, siento que se avecina una era de grandes cambios. Aunque no está claro exactamente qué formas de pensar y operar deben cambiarse por completo, es obvio que el autor quiere "acabar" o subvertir algunas de las teorías, métodos y formas de pensar y vivir básicos tradicionales. Ante tal idea, mi mente quedó fuertemente conmocionada y no pude evitar temblar.
?En la era de los pequeños datos, simularemos cómo funciona el mundo y luego verificaremos esta hipótesis recopilando y analizando datos. A medida que pasamos de la era de lo hipotético a la era de los datos, también es probable que pensemos que ya no necesitamos la teoría. Es casi seguro que el libro subvertirá las teorías y los métodos estadísticos, y también intenta poner fin a la mecánica cuántica citando a Anderson, editor en jefe de la revista Wired, diciendo que la teoría de la física cuántica ha perdido contacto con la realidad. . Estoy muy contento con esto, porque tanto la estadística como la mecánica cuántica son materias que no podía aprobar en la universidad sin sufrir calambres. Pero estas dos teorías son demasiado grandes, demasiado autorizadas y demasiado básicas. No creo que pueda deshacerme de estas dos cosas que me darán dolores de cabeza toda la vida con un solo libro. De hecho, el autor no se atreve a presentar argumentos claros para subvertirlos. Después de todo, todavía añade un paraguas protector delante.
En las últimas décadas, siempre nos encontramos con una variedad de ideas nuevas. Frente al nuevo pensamiento, lo primero que debemos hacer es romper y establecer, cambiar nuestras tradiciones y mantenernos al día. Incluso si su cerebro no puede seguir el ritmo, su boca debe seguir el ritmo; de lo contrario, pueden etiquetarlo como alguien que tiene una mente rígida o incluso obstaculizar el desarrollo del mundo. Dado que los grandes datos son un cambio inevitable que conduce al futuro, no debemos limitarnos a los patrones de pensamiento tradicionales y los sesgos inherentes implícitos en campos específicos, primero debemos negar la estadística y la mecánica cuántica. De todos modos, no me gustan y no puedo aprenderlos.
Cuando nuestras capacidades de recopilación y procesamiento de datos humanos alcanzan los petabytes o incluso más, podemos convertir las muestras en todo, junto con la capacidad de enfrentar confusión e ignorar la precisión, parece que realmente Las estadísticas basadas en encuestas por muestreo pueden ser abandonado. Pero si nos basamos en la estadística, la mecánica cuántica y muchas otras teorías que probablemente pensamos que ya no necesitamos, casi todas se basan en la misma lógica subyacente. Si accidentalmente combinas la lógica o el pensamiento lógico o el razonamiento lógico y ya no los necesitas, ¡me preocuparé mucho!
¿Página 16 de "Big Data Era"? La lógica es una regla que describe la relación de cambio secuencial efectiva y sin cambios a largo plazo entre la "categoría" y la "categoría" de información espaciotemporal. Ambos parecen hacer lo mismo. Pero lo que quieren los big data no es causalidad, sino correlación. Basta saber qué es, y no es necesario saber por qué entre las cuatro leyes básicas de la lógica (ley de identidad, ley de contradicción, ley del tercero excluido). y ley de razón suficiente) La ley de razón suficiente también estipula claramente que todo tiene una razón suficiente para su existencia. Y las tres partes del razonamiento lógico, la lógica inductiva, la lógica abductiva y la lógica deductiva, se basan todas en relaciones causales. Los dos parecen ser opuestos. Cuando dos métodos se oponen sobre la misma materia, sólo debe haber un resultado, que es negar uno de ellos. Eso es lo que me preocupa.
Pero no puedo esperar y ver, como un espectador, esperando ¿cuál se destaca?, porque yo estoy entre ellos. Si el problema no se resuelve, no podré pensar ni trabajar y, naturalmente, no podré vivir. Es más, ¡hay dos cosas más aterradoras!
Primero: La mecánica cuántica se practica desde hace más de cien años. Para abordar el problema de la hibridación, se han combinado masa y velocidad con energía para conciliar la contradicción entre la mecánica cuántica y la energía. Después de repetidos experimentos, se desarrolló otra teoría cuántica, que condujo a agujeros de gusano y puentes de Rosen, y finalmente dobló el espacio-tiempo de cuatro dimensiones de una manera que permite viajar en el tiempo. construye esa terrible máquina de viajar en el tiempo de inmediato. Lo único que impide que esos Einsteins trasteen es la causa y el efecto, porque un padre es un padre y un hijo es un hijo.
Entonces, al enfrentarse a la complejidad y renunciar a la causalidad, los big data crearán eventualmente una máquina del tiempo de modo que el padre ya no sea un padre y el hijo ya no sea un hijo. Segundo: ¿La diferencia fundamental entre humanos y máquinas es que los humanos tienen? pensamiento lógico La máquina no. A la "era del Big Data" también le preocupa que la toma de decisiones finales la tomen máquinas en lugar de personas. Si llega ese día en el que abandono el pensamiento lógico y el resultado descrito en las películas de ciencia ficción es que las máquinas dominan el mundo y aniquilan a los seres humanos, entonces bien podría saltar del edificio ahora.
Afortunadamente, sé que soy un lego en estadística, mecánica cuántica, lógica y big data. Quizás el artículo anterior no tenga sentido y las llamadas preocupaciones no existan en absoluto. Pero cuando surge un problema, es mejor solucionarlo, de lo contrario no podrás dormir. Si no puede resolverlo usted mismo, sólo puede confiar en expertos para que le orienten.
Así que me gustaría hacerle una sugerencia razonable al autor de "Big Data Era": continúe escribiendo este libro y agregue al menos una cuarta parte del pensamiento lógico en la era de Big Data.
Reflexiones sobre la lectura “Era Big Data” (2)
Con la llegada de la era de la información sentimos que los cambios tecnológicos van cambiando cada día que pasa, y lo que sigue es un El cambio en nuestro estilo de vida. La era de la información que se comentaba así ha pasado a ser cosa del pasado. Hoy en día, la era del big data se ha convertido en un tema candente. El autor explica aquí la información y los datos, solo tratando de explicar primero la relación y la diferencia entre información y datos, y también tratando de explicar por qué la era de la información se ha transformado en la era de los grandes datos. ¿Qué nos ha traído la era de los grandes datos? p>
Definición de información y datos. Wikipedia explica: La información, también conocida como información, es un concepto abstracto altamente generalizado, una categoría dinámica en desarrollo y el contenido y el nombre del intercambio mutuo No existe una definición unificada de información, pero la información es objetiva, dinámica y transmisible. Sin embargo, características como conveniencia, disfrute y economía son de conocimiento común para todos. Datos: o información, se refiere a registros simbólicos que describen cosas. Es una entidad que puede definirse como significado e implica la forma de existencia de las cosas. Es un conjunto de descripciones fácticas discretas y objetivas sobre eventos y es la materia prima que constituye la información y el conocimiento. Los datos se pueden dividir en dos categorías: datos analógicos y datos digitales. Los datos se refieren a las "materias primas" procesadas por las computadoras, como gráficos, sonidos, textos, números, caracteres y símbolos, etc. Por definición, los datos son territorio virgen prístino que necesita ser cultivado. La información es información que ha sido procesada y puede difundirse. La era de la información se basa en la explosión de datos, pero cuando los datos explotan a un estado incontrolable, surge la era de los big data. ¿Es este material de antecedentes que no se ha explicado en el libro "Big Data Era"?
En el libro "Big Data Era", las diferencias entre la era de Big Data y la era de Small Data son: 1. Convenciones de pensamiento. La diferencia y la transformación en la era del big data es que renunciamos al deseo de causalidad y, en cambio, nos centramos en la correlación. En otras palabras, mientras sepas "qué", no necesitas saber "por qué". El lenguaje del autor es absoluto, pero reflexiona sobre sus diferencias esenciales. Los datos son cada vez más complejos, por lo que la idea de la aplicación solo se puede observar tanto como sea posible en lugar de dedicar toda la energía al razonamiento. ¿Esto también es un acierto? 2. Propósito de la aplicación. Los datos pequeños sólo explican el pasado, mientras que los datos grandes impulsan el pasado para predecir el futuro. El autor cree que el propósito de los datos no tiene nada que ver con los datos en sí, sino con el intérprete de los datos, y la correlación es más propicia para predecir el futuro. 3. Estructura. Big data se refleja más en la integración de datos masivos no estructurados y métodos de procesamiento. Big data es más bien una teoría y una realidad que van de la mano. La teoría se utiliza para crear métodos para procesar datos no estructurados y los resultados del procesamiento se verifican para el futuro. 4. Bases del análisis. Big data es el proceso de cambio de datos de cambios cuantitativos a cualitativos en el contexto de Internet. El autor cree que la era de los pequeños datos es también la era de la información y es la premisa de la era de los grandes datos. La era de los grandes datos es la sublimación y la evolución, y su esencia es complementarse entre sí en lugar de excluirse mutuamente.
La historia del futuro de los datos. ¿Qué expectativas y revelaciones nos trae el desarrollo de los datos? Naturalmente, el sector bancario tiene el potencial del big data. Los datos masivos, como datos de clientes, datos de transacciones, datos de gestión, etc., están en constante crecimiento, y también se avecinan enormes oportunidades y desafíos. Adaptarse a los cambios y sobrevivir como los más aptos.
Podemos tener un espacio de desarrollo empresarial más amplio, capacidades de juicio y toma de decisiones más precisas y mejores capacidades de gestión empresarial. Todo ello se basa en capacidades de recopilación, organización, control y análisis de datos, así como en un pensamiento y ejecución innovadores que se destacan. Por lo tanto, sólo construyendo un "almacén de datos", cultivando el "pensamiento de datos", cultivando la "gobernanza de datos", creando una "fusión de datos" y realizando una "aplicación de datos" podremos abrazar la era del "big data", aprovechar el valor de los datos, Y mira los cambios con risas, gana el futuro de manera constante.
Reflexiones sobre la lectura de "Big Data Era" (3)
Este libro presenta principalmente la aplicación de big data en las operaciones comerciales modernas y su impacto en las operaciones comerciales modernas.
El marco estructural del libro "Big Data Era" sigue el método común de los libros académicos. Es decir, partir del fenómeno y luego proponer una explicación de este fenómeno a través de la anatomía del fenómeno. Luego, a través de explicaciones, predecimos el futuro y planteamos nuestras propias opiniones y contramedidas sobre los problemas que puedan surgir en el futuro.
A continuación se centrará en el contenido principal del libro "Big Data Era".
El capítulo inicial de "Big Data Era" habla de cómo Google predijo con éxito la ubicación del brote y la dirección de propagación del H1N1 en los Estados Unidos en 20XX a través de los datos dejados por las palabras clave de búsqueda de las personas en el motor de búsqueda, como así como su posible potencial. Las predicciones de Google están casi un mes por delante de las del gobierno, que sólo recibe datos una o dos semanas después del brote de gripe. Al mismo tiempo, la correlación entre las predicciones de Google y los datos gubernamentales llega a 97, lo que significa que el intervalo de confianza de los datos de predicción de Google es 3. Este número es mucho menor que el intervalo de confianza convencional de 5 en las estadísticas tradicionales. El número es la predicción en la era del big data. ¡La mejor prueba de la precisión relativa de los resultados y la previsibilidad de los eventos! A través de este y otros casos, Víctor propuso la idea de "muestra = población" en la era del big data. . Todos sabemos que cuando la muestra está infinitamente cerca de la población, los datos descriptivos obtenidos mediante el cálculo estarán infinitamente cerca de la naturaleza del evento en sí. El enfoque anterior de "muestra A continuación, Víctor superó el fracaso del plan de traducción por computadora de IBM que persigue una alta precisión y Google solo escanea y almacena todas las oraciones de texto correspondientes que han aparecido en el diccionario, por lo que no importa lo que necesites, lo que quieras traducir. , siempre que se comunique con el diccionario de sinónimos de Google, aparecerá la traducción. Aunque a veces la traducción no tiene sentido, la mayoría de las veces sigue siendo correcta. Por lo tanto, el éxito del plan de traducción por computadora de Google muestra la búsqueda de la precisión en la era de los grandes. datos no es particularmente obvio, por el contrario, la era del big data se basa en big data. Por lo tanto, la era del big data persigue la medición digital integral independientemente de cuán precisa sea, porque una gran cantidad de datos destruirá. impacto de enterrar una pequeña cantidad de datos problemáticos. Al mismo tiempo, una gran cantidad de datos se aproximará infinitamente a la apariencia original de las cosas. Más tarde, Víctor predijo que un importante científico de datos profesional nacerá en la era del big data. Se trata de un grupo de matemáticos, estadísticos y programadores que podrán obtener datos. cualquier resultado que quieran. En otras palabras, siempre que los datos sean suficientes, todas nuestras cosas externas e internas que no queremos que otros sepan se mostrarán vívidamente frente a este grupo de chicos. Por lo tanto, para evitar que este grupo de personas utilice la privacidad personal en la era del big data, Víctor sugirió dividir este grupo de personas en dos partes, una parte utiliza los datos para servir al sector empresarial y la otra parte. responsable de revisar si estas personas han obtenido y aplicado los datos de forma legal, si violan la privacidad personal. En cualquier caso, la era del big data llegará, lo aceptemos o no. Creo que el libro "La era del big data" está bien escrito y vale la pena leerlo. . Porque nos dará mucha inspiración, por ejemplo, es probable que los científicos de datos utilicen los comentarios o fotografías que publique en sitios de redes sociales relevantes y luego vendan datos relevantes a las principales tiendas en línea. Sin embargo, el hecho es que seremos blanco de predicciones y tentaciones. Así que tenga cuidado con los rastros que deja en línea. Me gusta este libro porque me muestra un mundo nuevo. Reflexiones sobre la lectura de "Big Data Era" (4) Pasé el fin de semana leyendo la obra maestra de Tu Zipei "Big Data" de una sola vez. Este libro es hermoso, la escritura es fluida y fascinante. En el libro, lo que lees no trata sobre la tecnología de big data, sino más bien sobre la evolución de la política, la economía, la sociedad y la cultura estadounidenses relacionadas con el big data. Como practicante de la informatización, después de leer el libro completo, sentí profundamente las características respectivas de China y Estados Unidos en términos de informatización, y también vi la brecha entre nosotros y los Estados Unidos. Hay varios aspectos de la experiencia, pero básicamente puedes ver el panorama completo con un vistazo. En primer lugar, la amplitud y profundidad de la divulgación de bases de datos empresariales gubernamentales. En los últimos años, con el avance de la divulgación de información en nuestro país, los gobiernos de todos los niveles están promoviendo activamente la divulgación de información gubernamental en línea a través de la construcción de portales gubernamentales. Sin embargo, nuestra divulgación de información en esta etapa incluye principalmente políticas, leyes y regulaciones gubernamentales. , normas y documentos oficiales Divulgación de información administrativa como anuncios, responsabilidades laborales, lineamientos de servicio, dinámica de trabajo, nombramientos y remociones de personal. Por supuesto, también se han logrado grandes avances al hacer públicas las bases de datos de empresas gubernamentales en tiempo real. En el Portal del Gobierno Chino, puede consultar algunas bases de datos de bienestar público, como estadísticas económicas de la Oficina Nacional de Estadísticas, datos atmosféricos, hidrológicos y de otro tipo proporcionados por el Centro de Datos del Ministerio de Protección Ambiental, datos meteorológicos nacionales proporcionados por la Administración General. de Meteorología e información de vuelos nacionales proporcionada por la Administración de Aviación Civil. Visitando los sitios web de varios ministerios y comisiones, también se pueden encontrar muchos datos comerciales, como la base de datos de aprobación de proyectos de la Comisión Nacional de Desarrollo y Reforma, la empresa. base de datos de crédito de la Oficina de Industria y Comercio, la base de datos de certificados de tierras del Ministerio de Tierras y Recursos, la base de datos de información de alerta temprana de seguridad en minas de carbón de la Administración Estatal de Seguridad en el Trabajo y varias bases de datos de información sobre licitaciones de proyectos, etc. Este es un gran progreso y también es el resultado y el valor de tantos años de construcción del gobierno electrónico. Sin embargo, muchos datos en la base de datos de empresas gubernamentales aún no se han hecho públicos, ¡y muchos datos son solo! disponible debido a intereses departamentales y confidencialidad. Se limita al uso del personal interno del departamento y no se ha divulgado al público. Los datos que se han divulgado se limitan a cierta información básica e información estadística, y no se han divulgado más datos; aún no se ha revelado. A juzgar por la práctica de divulgación de datos en los Estados Unidos registrada en el libro "Big Data", la amplitud y profundidad de la divulgación de datos en los Estados Unidos es relativamente grande. Los estadounidenses creen que los datos recopilados con el dinero de los contribuyentes deben proporcionarse a los contribuyentes de forma gratuita. Aunque el gobierno de los EE. UU. en realidad se resiste a la divulgación de datos, los deseos del pueblo no pueden violarse. Los datos comerciales del gobierno de los EE. UU. se están volviendo cada vez más abiertos. Fue después de que la administración Obama firmara el documento "Gobierno transparente y abierto" que la apertura se hizo aún mayor. DATA.GOV es un portal abierto de datos unificado creado recientemente por el gobierno federal de EE. UU. El sitio web organiza varios tipos de datos abiertos según datos originales, datos geográficos y herramientas de aplicación de datos, y ha abierto un total de 378,529 conjuntos de datos geográficos originales. En China no existe ningún sitio web de datos abiertos. Además, debido a los diferentes sistemas, la profundidad de la divulgación de información empresarial de los EE. UU. también es muy grande. Por ejemplo, el presidente de los EE. UU., los registros de visitantes de la Casa Blanca e incluso información relevante sobre varias personas que visitan la Casa Blanca se publican en línea; El sitio web de FedSpending puede revelar información elemento por elemento. Realizar un seguimiento, registrar y analizar todos los gastos financieros del gobierno federal. Esto no debería ocurrir todavía en China. El segundo es el análisis de datos empresariales gubernamentales. En la actualidad, los datos comerciales proporcionados por los sitios web gubernamentales de todos los niveles en China son básicamente tablas de datos. Algunos sitios web pueden proporcionar algunos cuadros estadísticos, pero pocos pueden realizar análisis en línea entre departamentos y análisis de correlación de datos. Esto se debe principalmente al hecho de que en el pasado, la construcción de la informatización del gobierno de China todavía estaba en la etapa de construcción departamental. Estados Unidos está avanzando más rápido en este sentido. El sitio web U.S. DATA.GOV no sólo proporciona datos sin procesar y datos geográficos, sino que también proporciona muchas herramientas de datos. Muchas de estas herramientas son proporcionadas por el público, organizaciones sin fines de lucro y algunas instituciones comerciales. Estas aplicaciones proporcionan medios para el procesamiento de datos, análisis en línea, análisis de correlación basado en redes sociales, etc. Por ejemplo, la herramienta de búsqueda de visitantes de la Casa Blanca proporcionada en DATA.GOV puede buscar información de los visitantes y asociar a los visitantes de la Casa Blanca con otros Weibo, sitios de redes sociales, etc. para mejorar la transparencia de los visitantes. La tercera trata sobre la privacidad de los datos personales. En Estados Unidos, la privacidad y la propiedad de los ciudadanos son inviolables. Estados Unidos no tiene tarjetas de identificación personales y no puede establecer asociaciones con información personal basada en números de identificación personales. La propuesta de establecer un "banco de datos central". ha sido rechazada repetidamente. Esto no es un problema en China. Cada ciudadano tiene información de identidad única. A través de la información del documento de identidad se puede obtener la información básica del ciudadano. En el futuro, con la construcción de bases de datos de recursos básicos, como la Base de Datos Nacional de Población Básica, la información médica y de seguridad social de los ciudadanos y otras informaciones relacionadas también serán fácilmente accesibles. Por supuesto, la información seguirá limitada a los departamentos gubernamentales, pero no será posible. Es difícil garantizar completamente que la información personal integrada no será utilizada ni filtrada. Los datos son la base de la construcción de la informatización. Los dos países principales pueden aprender unos de otros en el campo de los grandes datos y aprovechar las fortalezas de cada uno para compensar sus debilidades, lo que empujará al mundo a la era de la información. . Me complace ver que el gobierno de EE. UU. lanzó el "Plan de I + D de Big Data" en 20XX, invirtiendo 200 millones de dólares para promover la investigación en los campos de extracción, almacenamiento, análisis, intercambio y visualización de big data, e integrarlo con la supercomputación. a la inversión en Internet. Ese mismo año, el gobierno chino también aprobó el "Duodécimo Plan Quinquenal para el Proyecto de Construcción de Información del Gobierno Nacional" en 20XX. La inversión total se estima en decenas de miles de millones y se especializa en cinco proyectos de construcción importantes, incluidos los de población y los legales. proyecto de personas, espacio, macroeconomía y cultura. ¡Ha llegado la era del big data abierto, compartido e inteligente! ¡Lo recomiendo encarecidamente!