词法分析

词法分析

把源代码中的每个单词进行分割然后分析

token

我们需要把单词分割成一个一个小的单元,这种单元叫做token

组成

token 组成包括 种别码 值

种别码一般是枚举值,可以取值如下

  • 关键字
  • 变量(包括函数,因为函数名本身也是一个内存指针变量)
  • 常量
  • 分隔符号,运算符
  • 空字符