32.5. token — Python 解析木と共に使われる定数(原文)

ソースコード: Lib/token.py


このモジュールは解析木の葉ノード(終端記号)の数値を表す定数を提供します。言語の文法のコンテキストにおける名前の定義については、 Python ディストリビューションのファイル Grammar/Grammar を参照してください。名前がマップする特定の数値は Python のバージョン間で変わります。

このモジュールは、数値コードから名前へのマッピングと、いくつかの関数も提供しています。関数は Python の C ヘッダファイルの定義を反映します。

token.tok_name(原文)

ディクショナリはこのモジュールで定義されている定数の数値を名前の文字列へマップし、より人が読みやすいように解析木を表現します。

token.ISTERMINAL(x)(原文)

終端トークンの値に対して真を返します。

token.ISNONTERMINAL(x)(原文)

非終端トークンの値に対して真を返します。

token.ISEOF(x)(原文)

x が入力の終わりを示すマーカーならば、真を返します。

token の定数一覧:

token.ENDMARKER(原文)
token.NAME(原文)
token.NUMBER(原文)
token.STRING(原文)
token.NEWLINE(原文)
token.INDENT(原文)
token.DEDENT(原文)
token.LPAR(原文)
token.RPAR(原文)
token.LSQB(原文)
token.RSQB(原文)
token.COLON(原文)
token.COMMA(原文)
token.SEMI(原文)
token.PLUS(原文)
token.MINUS(原文)
token.STAR(原文)
token.SLASH(原文)
token.VBAR(原文)
token.AMPER(原文)
token.LESS(原文)
token.GREATER(原文)
token.EQUAL(原文)
token.DOT(原文)
token.PERCENT(原文)
token.LBRACE(原文)
token.RBRACE(原文)
token.EQEQUAL(原文)
token.NOTEQUAL(原文)
token.LESSEQUAL(原文)
token.GREATEREQUAL(原文)
token.TILDE(原文)
token.CIRCUMFLEX(原文)
token.LEFTSHIFT(原文)
token.RIGHTSHIFT(原文)
token.DOUBLESTAR(原文)
token.PLUSEQUAL(原文)
token.MINEQUAL(原文)
token.STAREQUAL(原文)
token.SLASHEQUAL(原文)
token.PERCENTEQUAL(原文)
token.AMPEREQUAL(原文)
token.VBAREQUAL(原文)
token.CIRCUMFLEXEQUAL(原文)
token.LEFTSHIFTEQUAL(原文)
token.RIGHTSHIFTEQUAL(原文)
token.DOUBLESTAREQUAL(原文)
token.DOUBLESLASH(原文)
token.DOUBLESLASHEQUAL(原文)
token.AT(原文)
token.ATEQUAL(原文)
token.RARROW(原文)
token.ELLIPSIS(原文)
token.OP(原文)
token.AWAIT(原文)
token.ASYNC(原文)
token.ERRORTOKEN(原文)
token.N_TOKENS(原文)
token.NT_OFFSET(原文)

バージョン 3.5 で変更: AWAIT トークンと ASYNC トークンが追加されました。 Python 3.7 以降では、 "async" と "await" は NAME トークンとして扱われ、 AWAITASYNC は削除されます。