令牌:令牌
標記化:標記化
令牌化器:令牌解析器
2.還有壹種翻譯是token可以翻譯成“標記”，tokenize可以翻譯成“標記解析”或“解析標記”，tokenizer可以翻譯成“標記解析器”。
寫詞法分析器(Lexer)或者解析器的時候，除了Lexer和Parser之外，還經常會出現tokenize和tokenizer，基本上所有涉及詞法解析的源代碼都會用到tokenize。
邱中攀翻譯的《掌握Java 2》中有壹段話:
根據用戶定義的規則，StreamTokenizer類從輸入流中提取可識別的子字符串和標記符號。這個過程稱為標記化([I]標記化[/i])，因為流被簡化為標記符號。Token ([i]token[/i])通常表示語法標點，如關鍵字、變量名、字符串、直接量和大括號。