¿Cómo entender token, token, tokenize, tokenizer?

Token:Token

Tokenization:Tokenization

Tokenizer:Token Parser

2. traducirse a "marca", tokenize se puede traducir a "análisis de marcas" o "marca de análisis", y tokenizer se puede traducir a "analizador de etiquetas".

Al escribir un analizador léxico (Lexer) o un analizador, además de Lexer y Parser, a menudo aparecen tokenize y tokenizer. Básicamente, todos los códigos fuente que involucran análisis léxico usan tokenize.

Hay un pasaje en "Mastering Java 2" traducido por Qiu Zhongpan:

De acuerdo con las reglas definidas por el usuario, la clase StreamTokenizer extrae subcadenas y tokens identificables del símbolo de flujo de entrada. Este proceso se llama tokenización ([I]Tokenización[/i]) porque el flujo se reduce a tokenización. Token ([i]token[/i]) generalmente representa puntuación gramatical, como palabras clave, nombres de variables, cadenas, literales y llaves.