Edición básica de definiciones
El trabajo del analizador léxico es un análisis de bajo nivel: convertir caracteres o secuencias de caracteres en tokens. Cuando se habla de análisis léxico, los términos "token léxico" (simplemente llamado token), "patrón" y "unidad léxica" se utilizan para denotar significados específicos.
Durante el análisis, uno es tratar el analizador léxico como parte del análisis de sintaxis y el otro es tratar el analizador léxico como una parte independiente del compilador. En el primer caso, el analizador de sintaxis llama continuamente al analizador léxico. Cada vez que se llama al analizador léxico, deletreará una palabra de la secuencia de caracteres del programa fuente y devolverá su valor Token al analizador de sintaxis. El último caso es diferente. El analizador de sintaxis no llama continuamente al analizador léxico, sino que escanea todas las palabras a la vez para completar el pase independiente del compilador.
Características principales Editar
La característica principal del analizador léxico es que no se basa en la gramática, solo se basa en la morfología, es decir, no se basa en información externa de palabras. Al procesar una palabra, el analizador léxico generalmente es todo simple. Por supuesto, al realizar el análisis léxico de algunos idiomas, en algunos casos tenemos que esperar varios caracteres y, a veces, tenemos que realizar algún procesamiento especial. También hay algunas cosas que no se pueden procesar en el análisis léxico y deben dejarse en manos de ellos. análisis de sintaxis para su procesamiento.
Este algoritmo utiliza principalmente el diagrama de transición de estado para generar un analizador léxico, realiza análisis léxico en el programa de entrada y tabula las palabras analizadas. Los tamaños de la tabla de palabras clave y la tabla delimitadora están determinados por el subconjunto de lenguajes de alto nivel y se pueden cargar con matrices, mientras que los tamaños de la tabla de identificadores y la tabla de constantes dependen de las variables, los nombres de los procedimientos y las constantes; número de programa de entrada a analizar, por lo que se deben utilizar punteros para formar una lista enlazada dinámica para la carga. Por supuesto, por conveniencia, también lo definimos como procesamiento de matrices.
Durante el análisis gramatical, se llama al analizador léxico y se utiliza un análisis recursivo descendente basado en la gramática conocida para comprobar si hay errores gramaticales.