La computación en la nube es un modelo para agregar, usar y entregar servicios relacionados a través de Internet, que generalmente implica el suministro de recursos dinámicamente escalables y a menudo virtualizados a través de Internet. La nube es una metáfora de las redes e Internet. En el pasado, la nube se usaba a menudo para representar redes de telecomunicaciones y, más tarde, también se usó para representar la abstracción de Internet y la infraestructura subyacente. La computación en la nube en un sentido estricto se refiere a la entrega y el uso de infraestructura de TI, lo que se refiere a la obtención de los recursos necesarios a través de la red de manera bajo demanda y fácilmente escalable. La computación en la nube en un sentido amplio se refiere a la entrega y el uso de servicios; que se refiere a la entrega y el uso de la infraestructura de TI bajo demanda a través de la red. Obtenga los servicios que necesita de forma escalable y bajo demanda. El servicio puede estar relacionado con TI y software, Internet u otros servicios. Esto significa que la potencia informática también puede circular como mercancía a través de Internet.
Big data, o datos masivos, se refiere a una cantidad tan enorme de datos que las herramientas de software actuales no pueden capturar, gestionar, procesar y organizar en un tiempo razonable para ayudar a las empresas a generar información para negocios más proactivos. decisiones. Las características 4V del big data: volumen, velocidad, variabilidad y precisión.
Técnicamente hablando, la relación entre big data y computación en la nube es tan inseparable como las dos caras de una moneda. Los big data no pueden ser procesados por una sola computadora y deben utilizar una arquitectura informática distribuida. Su característica radica en la extracción masiva de datos, pero debe depender del procesamiento distribuido, bases de datos distribuidas, almacenamiento en la nube y tecnología de virtualización de la computación en la nube.
Gestión de big data, sistemas de archivos distribuidos, como Hadoop, Mapreduce, segmentación de datos y ejecución de acceso al mismo tiempo, con soporte para SQL, con soporte para interfaces SQL representadas por Hive+HADOOP; La computación en la nube para construir el almacén de datos de próxima generación basado en tecnología de big data se ha convertido en un tema candente. Desde la perspectiva de los requisitos del sistema, la arquitectura de big data plantea nuevos desafíos al sistema:
1. Los chasis estándar están diseñados para maximizar tareas específicas.
2. La configuración es más razonable y la velocidad es más rápida. El diseño equilibrado de almacenamiento, controlador, canal de E/S, memoria, CPU y red es el mejor diseño para el acceso al almacén de datos, que es más de un orden de magnitud superior al de plataformas similares tradicionales.
3. Menor consumo energético general. La misma tarea informática consume la menor energía.
4. El sistema es más estable y confiable. Puede eliminar varios puntos únicos de falla y unificar la calidad y los estándares de un componente.
5. Bajos costes de gestión y mantenimiento. La gestión diaria del almacén de datos está totalmente integrada.
6. Planes y hoja de ruta previsible para la ampliación y actualización del sistema.
La relación entre la computación en la nube y el big data
En pocas palabras: la computación en la nube es la virtualización de recursos de hardware, mientras que el big data es el procesamiento eficiente de datos masivos. Aunque esta explicación no es del todo apropiada, puede ayudar a las personas que no están familiarizadas con estos dos nombres a comprender rápidamente la diferencia. Por supuesto, si se explica más claramente, la computación en la nube es equivalente a nuestras computadoras y sistemas operativos, que virtualizan una gran cantidad de recursos de hardware y luego los asignan para su uso.
Se puede decir que big data equivale a una “base de datos” de datos masivos. Al observar el desarrollo del campo de big data, también podemos ver que el desarrollo actual de big data se ha estado moviendo hacia una experiencia similar a la de las bases de datos tradicionales. En definitiva, las bases de datos tradicionales proporcionan suficiente espacio para el desarrollo de big data.
La arquitectura general del big data incluye tres capas: almacenamiento de datos, procesamiento de datos y análisis de datos. Los datos primero deben almacenarse a través de la capa de almacenamiento, y luego se deben establecer el modelo de datos correspondiente y el sistema de índice de análisis de datos de acuerdo con las necesidades y objetivos de los datos para analizar los datos y generar valor.
La puntualidad intermedia se logra mediante las poderosas capacidades de computación paralela y computación distribuida proporcionadas por la capa intermedia de procesamiento de datos. Los tres cooperan entre sí para hacer que los macrodatos generen el máximo valor.
Independientemente del desarrollo actual de la computación en la nube, la tendencia futura es: la computación en la nube, como la capa inferior de recursos informáticos, admite el procesamiento de big data de la capa superior. La tendencia de desarrollo de big data es en tiempo real. Eficiencia de consultas interactivas y capacidades de análisis. Para tomar prestada una palabra de un documento técnico de Google, es realmente emocionante: "Puedes operar petabytes de datos con solo un clic del mouse".