Las redes neuronales son un desarrollo inevitable (original) en la era del big data.

El núcleo del big data es la inteligencia de datos. La esencia de la inteligencia de datos es descubrir y evaluar la correlación entre varios conceptos en una gran cantidad de muestras, luego formar una expresión matemática y luego usar la expresión matemática para realizar operaciones de razonamiento para completar el juicio y la toma de decisiones de muestras desconocidas. Esto requiere descubrir los patrones detrás de datos masivos y resolver problemas de representación de datos. La inteligencia de datos ha pasado por tres etapas: sistema experto, aprendizaje automático tradicional y red neuronal. El conocimiento de entrada se vuelve cada vez más macroscópico de lo concreto a lo abstracto, de las reglas a las características y a los patrones, la eficiencia del procesamiento inteligente es cada vez mayor y la explicación de la percepción y el modelo subyacentes se vuelve cada vez más débil. A medida que los sistemas expertos desaparecen gradualmente, el aprendizaje automático tradicional y las redes neuronales se han convertido en dos tecnologías comunes para la inteligencia de datos. La práctica ha demostrado que a medida que aumenta el conjunto de datos, el rendimiento del aprendizaje automático tradicional no es tan bueno como el de las redes neuronales (ver Figura 1). Esto se debe principalmente a que el primero no es tan expresivo como el segundo. Goodfellow publicó un artículo "MaxoutNetworks" en ICML (Conferencia Internacional de Aprendizaje Automático) 2013. Este artículo demuestra que MaxoutNetworks puede aproximarse infinitamente a cualquier función continua. En otras palabras, las redes neuronales pueden adaptarse a cualquier función continua. En comparación con el aprendizaje automático tradicional, las redes neuronales tienen capacidades expresivas excepcionales.

? (Arriba): el eje horizontal representa la cantidad de datos y el eje vertical representa la precisión del algoritmo.

Hemos visto varias tendencias: el crecimiento exponencial de los datos de la industria, el crecimiento de las capacidades informáticas de chips profesionales representadas por las GPU, la aparición interminable de nuevos algoritmos, la investigación de vanguardia en el mundo académico, la inversión de capital procedente de la inversión. círculo, Varios escenarios industriales y comerciales han promovido el rápido desarrollo de las redes neuronales. El desarrollo de redes neuronales tiene dos direcciones: una es el desarrollo vertical representado por la conexión profunda DNN y la red neuronal convolucional CNN, es decir, la iteración vertical con un número creciente de capas. La aplicación típica es la visión por computadora CV; La red neuronal representa el desarrollo lateral, es decir, la iteración lateral entre neuronas. Las aplicaciones típicas son el procesamiento de secuencias representado por la comprensión del lenguaje natural de la PNL. La tecnología de redes neuronales presenta dos formas de desarrollo al mismo tiempo y se usa ampliamente en muchos campos, lo que indica que la tecnología ha entrado en una etapa de madurez. ¿Qué dirección es la siguiente? Es muy posible combinar el desarrollo vertical y el desarrollo horizontal para penetrar en más campos de aplicación. Esta parece ser una conclusión lógica. Los hechos han demostrado que este juicio es correcto y la red neuronal gráfica es una combinación de los dos.

Al observar la historia del desarrollo del círculo tecnológico, podemos concluir que el hecho de que una tecnología teórica pueda popularizarse en más campos depende de si realmente puede representar las características y relaciones sustanciales del mundo real. Cuanto más real es, más escenarios de aplicación tiene. Por ejemplo, la teoría de la cadena de Markov representa verdaderamente las características y dependencias de los objetos de series de tiempo en el mundo real, por lo que se usa ampliamente en la comprensión del habla, la traducción automática, la economía nacional, la predicción de eventos y otros campos. utiliza gráficos Para representar la relación de dependencia de la probabilidad de eventos, también representa verdaderamente la relación de entidad en el mundo real, por lo que también se usa ampliamente en antifraude, comprensión de imágenes, predicción de eventos y otros campos. Desde una perspectiva metodológica, para describir una entidad en el mundo real, es necesario colocar nodos que representen esta entidad en el modelo y diseñar la conversión de dependencias entre entidades. Sin embargo, tanto las cadenas de Markov como los mapas de probabilidad debilitan la representación incrustada, perdiendo así parte de información semántica oculta, que es defectuosa.

La aparición de las redes neuronales gráficas (GNN) ha revertido la situación. En las redes neuronales de gráficos, existen dos tipos de redes. Una es una red topológica, que generalmente describe muchas entidades y sus relaciones; la otra es una red neuronal de transformación de características, que generalmente se usa para la transformación de características de nodos, aristas, gráficos o subgrafos. El primero completa la propagación horizontal de información y realiza la transferencia de relaciones topológicas de señales gráficas, y su base teórica es la teoría de grafos, el segundo se basa en el aprendizaje profundo, completa la propagación vertical de información y realiza la transformación de características originales a representaciones incrustadas. La red neuronal de gráficos es una combinación perfecta de teoría de grafos y aprendizaje profundo, teniendo en cuenta tanto las relaciones como las características de las entidades. En comparación con los métodos de gráficos tradicionales y el aprendizaje profundo tradicional, las redes neuronales de gráficos tienen ventajas obvias: modelan los datos de origen de manera más completa y pueden reflejar mejor las verdaderas relaciones entre entidades en el mundo real.

No solo puede aprender la representación semántica a partir de datos del espacio no euclidiano representados por la estructura del gráfico, sino que también puede hacer que la representación semántica aprendida se ajuste en la mayor medida posible a la relación de entidad de la estructura del gráfico.

Más del 80 % de los datos del mundo real son más adecuados para describirse con una estructura gráfica, como datos de tráfico, datos sociales, datos de estructura molecular, datos económicos de la industria, etc. Las redes neuronales gráficas se pueden adaptar a este tipo de datos. Bajo la arquitectura de aprendizaje distribuido, las redes neuronales gráficas pueden procesar cantidades masivas de datos y son muy adecuadas para procesar datos industriales de cientos de millones de nodos. Por tanto, los escenarios de aplicación de las redes neuronales gráficas son más amplios. En los últimos tres años, varias cumbres internacionales han publicado con frecuencia artículos sobre redes neuronales gráficas. Muchas empresas de tecnología de Internet (como Alibaba, Baidu, ByteDance) han invertido mucho en este campo y han logrado grandes avances y se utilizan ampliamente en búsquedas relacionadas. recomendación en tiempo real, prevención y control de riesgos, detección de anomalías, predicción de comportamiento, reconocimiento de patrones y otros campos. Sin duda, estos fenómenos indican que las redes neuronales gráficas son una dirección de campo importante para el desarrollo tecnológico futuro.

En resumen, en el contexto de los datos de la industria, la teoría de algoritmos, el soporte de la potencia informática, la demanda del mercado y la afluencia de capital, el rápido aumento de las redes neuronales gráficas es inevitable en la era del big data.