令牌是C ++程序中对编译器有意义的最小元素。C ++解析器可识别以下类型的令牌:标识符,关键字,文字,运算符,标点符号和其他分隔符。这些标记的流组成翻译单元。令牌通常由空格分隔。
解析器识别关键字,标识符,文字,运算符和标点符号。在预处理阶段使用预处理令牌(如#include,#define,#if_def等)来生成传递给编译器的令牌流。预处理令牌类别是与其他类别之一不匹配的标头名称,标识符,预处理编号,字符文字,字符串文字等。字符和字符串文字可以是用户定义的文字。预处理令牌可以用空格或注释分隔。
标识符是用户为其命名的任何内容。例如方法名称,变量名称,结构名称,类名称等都是标识符。在C ++中,关键字是保留的标识符,不能用作程序中变量的名称。