Lectura del documento "Red estructurada de agrupación en clústeres profundos"

La agrupación es una tarea básica del análisis de datos. En los últimos años, la agrupación profunda inspirada en métodos de aprendizaje profundo ha logrado un rendimiento de vanguardia y ha atraído una atención generalizada. Actualmente, los métodos de agrupación profunda suelen utilizar las potentes capacidades de representación del aprendizaje profundo para mejorar los resultados de la agrupación, como el codificador automático, lo que indica que aprender una representación de agrupación eficaz es un requisito crucial. La ventaja de los métodos de agrupamiento profundo es extraer representaciones útiles de los datos mismos en lugar de la estructura de los datos, en lo que rara vez se centra el aprendizaje de representaciones. Basándonos en el gran éxito de las redes convolucionales de gráficos (GCN) en la codificación de estructuras de gráficos, proponemos una red estructurada de agrupamiento profundo (SDCN) para incorporar información estructural en el agrupamiento profundo. Específicamente, diseñamos un operador de transferencia para transferir la representación aprendida por el codificador automático a la capa GCN correspondiente y diseñamos un mecanismo de autocontrol dual para unificar estas dos estructuras neuronales profundas diferentes y guiar todo el modelo. De esta manera, varias estructuras de datos, desde orden bajo hasta orden alto, se combinan naturalmente con varias representaciones aprendidas por los codificadores automáticos. Además, analizamos teóricamente el operador de transferencia, es decir, a través del operador de transferencia, GCN mejora la representación única del codificador automático en una restricción de regularización de gráficos de alto orden, y el codificador automático ayuda a aliviar el problema de suavizado excesivo en GCN. A través de experimentos integrales, demostramos que nuestro modelo propuesto siempre puede funcionar mejor que las técnicas más modernas.

El enfoque de este artículo: ampliar la captura de información estructural en el modelo de agrupamiento profundo de vista única de DEC y utilizar la estructura GCN para capturarla. En comparación con la estructura de GAE, la parte sobre GCN no utiliza la reconstrucción de la matriz de adyacencia para la supervisión, sino que utiliza la información de distribución objetivo agrupada para construir otra distribución estructural para cuantificar la supervisión de la información estructural.

Leyenda: y son los datos de entrada y los datos reconstruidos respectivamente. Y son las salidas de los módulos DNN y GCN de primera capa respectivamente. Diferentes colores representan diferentes actuaciones aprendidas de DNN. La línea continua azul representa la distribución objetivo calculada a partir de la distribución y las dos líneas discontinuas rojas representan el mecanismo de autocontrol dual. La distribución de destino guía las actualizaciones del módulo DNN y del módulo GCN simultáneamente.

Resumen: Primero, cree un gráfico KNN basado en los datos originales. Luego, los datos originales y el mapa KNN se ingresan en AE y GCN respectivamente. Los autores conectan cada capa de AE ​​con la capa GCN correspondiente para que las representaciones específicas de AE ​​puedan integrarse en representaciones con reconocimiento de estructura a través de operadores transitivos. Al mismo tiempo, se propone un mecanismo dual de autocontrol para monitorear el proceso de capacitación de AE ​​y GCN.

b: En términos generales, el número de capas mencionadas al introducir la estructura AE se refiere al número de capas desde la primera capa oculta hasta la capa de codificación, además de la capa de entrada y la capa de reconstrucción.

El módulo DNN adopta una estructura AE básica jerárquica, que no se describirá aquí.

Paso-: Obtener el resultado de salida de la operación de convolución de la primera capa.

La operación de convolución en los resultados de cada capa es consistente con la red neuronal gráfica, pero en la estructura de salida, el autor conecta la matriz de expresión de la capa correspondiente del módulo DNN (se propagará a través del matriz de adyacencia normalizada), y elija el factor de equilibrio para combinar la información de DNN y GCN.

Paso-: Pero para la salida de la primera capa, solo se conserva la salida original.

Paso-: En la construcción de la distribución de información estructurada, se utiliza una capa softmax multiclase para obtenerla.

Los resultados muestran que la muestra probabilística pertenece al centro del conglomerado, lo que podemos considerar como una distribución de probabilidad.

Ventajas de la función objetivo:

(1) En comparación con la función de pérdida de clasificación múltiple tradicional, la divergencia KL actualiza todo el modelo (etiqueta suave) de una manera más "suave". , evitando que la representación de los datos se vea gravemente perturbada;

(2) Los módulos GCN y DNN están unificados en el mismo objetivo de optimización, lo que hace que sus resultados sean consistentes durante el proceso de capacitación.

Dado que el objetivo del módulo DNN y el módulo GCN es aproximarse a la distribución objetivo y existe una fuerte conexión entre los dos módulos, se denomina mecanismo de autocontrol dual.

En este artículo se utiliza la expresión de la emisión acústica de GCN en diferentes capas para añadir estructura.

Los resultados experimentales verifican la efectividad del modelo y brindan soporte teórico. Todo el experimento está completo. Se da una nueva idea para la estructura de la relación entre muestras y se lleva a cabo una exploración más profunda de la estructura general de la muestra.

Aún no he leído la sección de soporte teórico, continuará. .