Según el objetivo de optimización o la función de pérdida, los algoritmos de puntuación automática se pueden dividir aproximadamente en tres tipos:
Los algoritmos de puntuación automática tradicionales generalmente requieren la configuración manual de muchas características, como errores gramaticales. , grupos de n-gramas, recuento de palabras, longitud de oraciones, etc. y luego entrenar un modelo de aprendizaje automático para la puntuación. Actualmente, existen muchas formas de utilizar redes neuronales para aprender las características de los artículos a través de redes neuronales.
Aquí hay dos algoritmos de puntuación:
Del artículo "Regresión basada en la puntuación automatizada del papel". Dada una gran cantidad de artículos que deben calificarse, las características de los artículos deben construirse primero, utilizando características configuradas manualmente y características de espacio vectorial.
Errores de ortografía: utilice el paquete pyenchant para contar la proporción de palabras mal escritas con respecto al número total de palabras.
Características estadísticas: estadísticas de palabras, palabras, oraciones, párrafos, palabras vacías, entidades nombradas, signos de puntuación (que reflejan la organización del artículo), longitud del texto (que reflejan la fluidez de la escritura), contabilidad de diferentes palabras. para la proporción del número total de palabras (que refleja el nivel de vocabulario).
Estadísticas de parte del discurso: cuente la frecuencia de aparición de varios tipos de discurso, como sustantivos, verbos, adjetivos, adverbios, etc. Las partes del discurso se obtienen a través del paquete nltk.
Gramática fluida: utilice la gramática de enlaces para analizar oraciones y luego cuente el número de enlaces; cuente la probabilidad de N-tuplas; cuente la probabilidad estadística de N-tuplas de partes del discurso;
Legibilidad: La puntuación de legibilidad es una medida de la organización del texto y de la complejidad sintáctica y semántica del texto. Las puntuaciones de legibilidad de Kincaid se utilizan como características y la fórmula de cálculo es la siguiente
Características de ontología Características de ontología: etiquete cada oración, como investigación, hipótesis, proposición, cita, apoyo, objeción.
Los artículos se pueden proyectar en un modelo de espacio vectorial (VSM). En este momento, el artículo se puede representar mediante vectores de características en el espacio vectorial. Por ejemplo, un artículo puede representarse mediante una codificación de punto de acceso cuya longitud sea igual a la longitud de la palabra. Si aparece una palabra en el artículo, la posición correspondiente se establece en 1, como se muestra a continuación:
Además, el vector TF-IDF también se puede utilizar para representar texto, pero este método no existe entre palabras. Para resolver este problema, este artículo utiliza una matriz de correlación de palabras W más una transformación lineal para introducir la correlación entre palabras.
La matriz de correlación de palabras W se calcula a partir de los vectores de palabras generados por word2vec, es decir, W (i, j) = la similitud coseno de los vectores de palabras de la palabra I y la palabra j.
Finalmente, para considerar el orden de las palabras en el artículo, el artículo se divide en k párrafos y luego las características del espacio vectorial se calculan y fusionan.
Después de obtener las características anteriores, utilice el algoritmo SVR para realizar el aprendizaje de regresión. El conjunto de datos es el conjunto de datos de competencia kaggle ASAP, que contiene 8 grupos de artículos. Los indicadores de evaluación utilizan KAPPA y coeficiente de correlación. A continuación se muestran algunos resultados experimentales.
Este es el efecto de usar kernel lineal y kernel rbf en 8 grupos respectivamente.
Esta es una comparación con evaluadores humanos.
El siguiente contenido proviene del artículo "Red neuronal para la puntuación automática de ensayos", que se puede entrenar mediante regresión o clasificación. El modelo se muestra a continuación.
Este artículo utiliza principalmente tres métodos para construir el vector de características del artículo:
Este artículo utiliza principalmente tres estructuras de redes neuronales, NN (red neuronal directa), LSTM y BiLSTM. Todas las redes generarán un vector h (salida), y la función de pérdida se construye en función de h (salida). Las siguientes son las funciones de pérdida para regresión y clasificación respectivamente.
Pérdida de regresión
Pérdida de clasificación
El primer modelo: NN (red neuronal directa)
Uso de dos capas de redes neuronales feedforward Red , el vector de características del artículo ingresado por la red es el promedio de los vectores de palabras de guante o el promedio de los vectores de palabras de entrenamiento. La fórmula de cálculo de h(out) es la siguiente.
Segundo modo: LSTM
La entrada del modelo LSTM es la secuencia de vectores de palabras de todas las palabras del artículo, y luego el último vector de salida de LSTM se utiliza como vector de características. h(fuera del artículo).
El tercer modo: BiLSTM
Debido a que los artículos suelen ser relativamente largos, el LSTM unidireccional puede perder fácilmente información anterior, por lo que el autor también utiliza el modelo BiLSTM, que combina LSTM directo y hacia atrás Las salidas del modelo LSTM se suman como h (salida).
Agregar vector TF-IDF
La salida h(out) del modelo anterior se puede mejorar agregando el vector TF-IDF. Primero, el vector TF-IDF debe reducirse dimensionalmente y luego empalmarse con la salida del modelo, como se muestra en la figura siguiente (BiLSTM como ejemplo).
"Puntuación automática de artículos basada en regresión"
"Red neuronal para puntuación automática de artículos"