# data[].attributes.body
la secuencia de caracteres que forman la palabra clave. Para los identificadores y algunos otros tokens, el patrón es una estructura más compleja que se relaciona mediante muchas cadenas.

# data[].attributes.body
es una secuencia de caracteres en el programa fuente, que coinciden con el patrón para un token y que el analizador léxico identifica como una instancia de ese token.

# data[].attributes.body
es un símbolo abstracto que representa un tipo de unidad léxica; por ejemplo, una palabra clave específica o una secuencia de caracteres de entrada que denotan un identificador. Los nombres de los tokens son los símbolos de entrada que procesa el analizador sintáctico.

# data[].attributes.body
Ejemplo de Tokens

# data[].attributes.body
Otras Funciones:

Manejo del fichero de entrada del programa fuente: abrirlo, leer sus caracteres, cerrarlo y gestionar posibles errores de lectura.

Eliminar comentarios, espacios en blanco, tabuladores y saltos de línea (caracteres no validos para formar un token).

Inclusión de ficheros: # include...

La expansión de macros y funciones in line: # define...

Contabilizar el número de líneas y columnas para emitir mensajes de error.

Reconocimiento y ejecución de las directivas de compilación (por ejemplo, para depurar u optimizar el código fuente).

# data[].attributes.headline
                                                       Funciones

# data[].attributes.subject
                                                       Funciones

# data[].attributes.body
Primera fase del compilador.