初期化 (initialization)、終了処理 (finalization)、スレッド¶
インタプリタの初期化と終了処理¶
-
void
Py_Initialize
()¶ Python インタプリタを初期化します。 Python の埋め込みを行うアプリケーションでは、他のあらゆる Python/C API を使用するよりも前にこの関数を呼び出さなければなりません。ただし、
Py_SetProgramName()
,Py_SetPythonHome()
, およびPy_SetPath()
は例外です。この関数はロード済みモジュールのテーブル (sys.modules
) を初期化し、基盤となるモジュール群、builtins
,__main__
,sys
を生成します。また、モジュール検索パス (sys.path
) も初期化します。sys.argv
の設定は行いません。設定するには、PySys_SetArgvEx()
を使ってください。この関数を (Py_FinalizeEx()
を呼ばずに) 再度呼び出しても何も行いません。戻り値はありません。初期化が失敗すれば、それは致命的なエラーです。注釈
Windows では
O_TEXT
からO_BINARY
へコンソールモードが変更されますが、これはその C ランタイムを使っているコンソールでの Python 以外の使い勝手にも影響を及ぼします。
-
void
Py_InitializeEx
(int initsigs)¶ initsigs に
1
を指定した場合、この関数はPy_Initialize()
と同じように動作します。 initsigs に0
を指定した場合、初期化時のシグナルハンドラの登録をスキップすることができ、これは Python の埋め込みで便利でしょう。
-
int
Py_IsInitialized
()¶ Python インタプリタが初期化済みであれば真(非ゼロ)を、さもなければ偽(ゼロ)を返します。
Py_FinalizeEx()
を呼び出した後は、Py_Initialize()
を再び呼び出すまで、この関数は偽を返します。
-
int
Py_FinalizeEx
()¶ Undo all initializations made by
Py_Initialize()
and subsequent use of Python/C API functions, and destroy all sub-interpreters (seePy_NewInterpreter()
below) that were created and not yet destroyed since the last call toPy_Initialize()
. Ideally, this frees all memory allocated by the Python interpreter. This is a no-op when called for a second time (without callingPy_Initialize()
again first). Normally the return value is0
. If there were errors during finalization (flushing buffered data),-1
is returned.この関数が提供されている理由はいくつかあります。Python の埋め込みを行っているアプリケーションでは、アプリケーションを再起動することなく Python を再起動したいことがあります。また、動的ロード可能イブラリ (あるいは DLL) から Python インタプリタをロードするアプリケーションでは、DLL をアンロードする前に Python が確保したメモリを全て解放したいと考えるかもしれません。アプリケーション内で起きているメモリリークを追跡する際に、開発者は Python が確保したメモリをアプリケーションの終了前に解放させたいと思う場合もあります。
バグおよび注意事項: モジュールやモジュール内のオブジェクトはランダムな順番で削除されます。このため、他のオブジェクト(関数オブジェクトも含みます) やモジュールに依存するデストラクタ (
__del__()
メソッド) が失敗してしまうことがあります。動的にロードされるようになっている拡張モジュールが Python によってロードされていた場合、アンロードされません。 Python が確保したメモリがわずかながら解放されないかもしれません (メモリリークを発見したら、どうか報告してください)。オブジェクト間の循環参照に捕捉されているメモリは解放されないことがあります。拡張モジュールが確保したメモリは解放されないことがあります。拡張モジュールによっては、初期化ルーチンを 2 度以上呼び出すと正しく動作しないことがあります。こうした状況は、Py_Initialize()
やPy_FinalizeEx()
を 2 度以上呼び出すと起こり得ます。バージョン 3.6 で追加.
-
void
Py_Finalize
()¶ この関数は
Py_FinalizeEx()
の後方互換性バージョンで、戻り値がありません。
プロセスワイドのパラメータ¶
-
int
Py_SetStandardStreamEncoding
(const char *encoding, const char *errors)¶ もし
Py_Initialize()
が呼ばれるなら、この関数はその前に呼ばなければなりません。標準の IO において、どのエンコーディングおよびどんなエラー処理を使うかを、str.encode()
と同様の意味で指定します。これは、環境変数が働かない時に
PYTHONIOENCODING
の値を上書きし、埋め込みコードが IO エンコーディングをコントロールできるようにします。encoding
とerrors
のどちらかまたは両方を NULL にすることで、PYTHONIOENCODING
とデフォルト値のどちらかまたは両方を使うことができます (他の設定に依存します)。この設定 (あるいは他の設定) に関わらず、
sys.stderr
は常に "backslashreplace" エラーハンドラを使うことに注意してください。Py_FinalizeEx()
を呼び出した場合は、Py_Initialize()
を呼び出す前に、この関数を再度呼び出す必要があるでしょう。成功したら
0
を、エラーの場合は0
でない値を返します (例えば、インタプリタが初期化された後に、この関数が呼び出された場合)。バージョン 3.4 で追加.
-
void
Py_SetProgramName
(wchar_t *name)¶ この関数を呼び出すなら、最初に
Py_Initialize()
を呼び出すよりも前に呼び出さなければなりません。この関数はインタプリタにプログラムのmain()
関数に指定したargv[0]
引数の値を教えます (ワイドキャラクタに変換されます)。この引数値は、Py_GetPath()
や、以下に示すその他の関数が、インタプリタの実行可能形式から Python ランタイムライブラリへの相対パスを取得するために使われます。デフォルトの値は'python'
です。引数はゼロ終端されたワイドキャラクタ文字列で、静的な記憶領域に入っていなければならず、その内容はプログラムの実行中に変更してはなりません。 Python インタプリタ内のコードで、この記憶領域の内容を変更するものは一切ありません。バイト文字列を
wchar_*
文字列にデコードするにはPy_DecodeLocale()
を使ってください。
-
wchar*
Py_GetProgramName
()¶ Py_SetProgramName()
で設定されたプログラム名か、デフォルトのプログラム名を返します。関数が返す文字列ポインタは静的な記憶領域を返します。関数の呼び出し側はこの値を変更できません。
-
wchar_t*
Py_GetPrefix
()¶ プラットフォーム非依存のファイル群がインストールされている場所である prefix を返します。この値は
Py_SetProgramName()
でセットされたプログラム名やいくつかの環境変数をもとに、数々の複雑な規則から導出されます。例えば、プログラム名が'/usr/local/bin/python'
の場合、prefix は'/usr/local'
になります。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値はトップレベルのMakefile
に指定されている変数 prefix や、ビルド値に configure スクリプトに指定した--prefix
引数に対応しています。この値は Python コードからはsys.prefix
として利用できます。これはUnixでのみ有用です。次に説明する関数も参照してください。
-
wchar_t*
Py_GetExecPrefix
()¶ プラットフォーム 依存 のファイルがインストールされている場所である exec-prefix を返します。この値は
Py_SetProgramName()
でセットされたプログラム名やいくつかの環境変数をもとに、数々の複雑な規則から導出されます。例えば、プログラム名が'/usr/local/bin/python'
の場合、exec-prefix は'/usr/local'
になります。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値はトップレベルのMakefile
に指定されている変数 exec_prefix や、ビルド値に configure スクリプトに指定した--exec-prefix
引数に対応しています。この値は Python コードからはsys.exec_prefix
として利用できます。 Unixのみで有用です。背景: プラットフォーム依存のファイル (実行形式や共有ライブラリ) が別のディレクトリツリー内にインストールされている場合、 exec-prefix は prefix と異なります。典型的なインストール形態では、プラットフォーム非依存のファイルが
/usr/local
に収められる一方、プラットフォーム依存のファイルは/usr/local/plat
サブツリーに収められます。一般的に、プラットフォームとは、ハードウェアとソフトウェアファミリの組み合わせを指します。例えば、Solaris 2.x を動作させている Sparc マシンは全て同じプラットフォームであるとみなしますが、Solaris 2.x を動作させている Intel マシンは違うプラットフォームになりますし、同じ Intel マシンでも Linux を動作させているならまた別のプラットフォームです。一般的には、同じオペレーティングシステムでも、メジャーリビジョンの違うものは異なるプラットフォームです。非 Unix のオペレーティングシステムの場合は話はまた別です; 非 Unix のシステムでは、インストール方法はとても異なっていて、prefix や exec-prefix には意味がなく、空文字列が設定されています。コンパイル済みの Python バイトコードはプラットフォームに依存しないので注意してください (ただし、どのバージョンの Python でコンパイルされたかには依存します!)。
システム管理者は、 mount や automount プログラムを使って、各プラットフォーム用の
/usr/local/plat
を異なったファイルシステムに置き、プラットフォーム間で/usr/local
を共有するための設定方法を知っているでしょう。
-
wchar_t*
Py_GetProgramFullPath
()¶ Python 実行可能形式の完全なプログラム名を返します; この値はデフォルトのモジュール検索パスを (前述の
Py_SetProgramName()
で設定された) プログラム名から導出する際に副作用的に計算されます。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからはsys.executable
として利用できます。
-
wchar_t*
Py_GetPath
()¶ デフォルトのモジュール検索パスを返します; パスは (上の
Py_SetProgramName()
で設定された) プログラム名と、いくつかの環境変数から計算されます。戻り値となる文字列は、プラットフォーム依存のパス区切り文字で分割された一連のディレクトリ名からなります。区切り文字は Unix と Mac OS X では':'
, Windows では';'
です。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。sys.path
はインタプリタによってこの値で初期化され、その後にモジュールをロードする際の検索パスを変更するために修正することが可能で、たいていそうされます。
-
void
Py_SetPath
(const wchar_t *)¶ デフォルトのモジュール検索パスを設定します。この関数が
Py_Initialize()
より前に呼び出された場合、Py_GetPath()
はデフォルトの検索パスを計算しようとせず、代わりにこの関数が与えた検索パスを返します。これは、 Python がアプリケーションに組み込まれていて、そのアプリケーションが全てのモジュールの場所を完全に把握しているときに便利です。パスはプラットフォーム依存の区切り文字で分割されている必要があります。区切り文字は Unix と Mac OS X では':'
、Windows では';'
です。また、この関数は
sys.executable
に特に加工されていないプログラム名 (Py_SetProgramName()
を参照) をセットし、sys.prefix
とsys.exec_prefix
に空文字列をセットします。Py_Initialize()
が呼び出された後で、これらの値を変更する必要がある場合は、呼び出し側の責任で行います。バイト文字列を
wchar_*
文字列にデコードするにはPy_DecodeLocale()
を使ってください。パス引数は内部でコピーされます。したがって、呼び出し完了後に呼び出し元は引数を解放できます。
-
const char*
Py_GetVersion
()¶ Python インタプリタのバージョンを返します。バージョンは、次のような形式の文字列です
"3.0a5+ (py3k:63103M, May 12 2008, 00:53:55) \n[GCC 4.2.3]"
第一ワード (最初のスペース文字まで) は、現在の Python のバージョンです; 最初の三文字は、ピリオドで区切られたメジャーバージョンとマイナーバージョンです。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからは
sys.version
として利用できます。
-
const char*
Py_GetPlatform
()¶ 現在のプラットフォームのプラットフォーム識別文字列を返します。Unixでは、オペレーティングシステムの "公式の" 名前を小文字に変換し、後ろにメジャーリビジョン番号を付けた構成になっています。例えば Solaris 2.x は、SunOS 5.x, としても知られていますが、
'sunos5'
になります。Mac OS X では'darwin'
です。Windows では'win'
です。関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからはsys.platform
として利用できます。
-
const char*
Py_GetCopyright
()¶ 現在の Python バージョンに対する公式の著作権表示文字列を返します。例えば
'Copyright 1991-1995 Stichting Mathematisch Centrum, Amsterdam'
関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからは
sys.copyright
として利用できます。
-
const char*
Py_GetCompiler
()¶ 現在使っているバージョンの Python をビルドする際に用いたコンパイラを示す文字列を、角括弧で囲った文字列を返します。例えば:
"[GCC 2.7.2.2]"
関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからは
sys.version
の一部として取り出せます。
-
const char*
Py_GetBuildInfo
()¶ 現在使っている Python インタプリタインスタンスの、シーケンス番号とビルド日時に関する情報を返します。例えば
"#67, Aug 1 1997, 22:34:28"
関数が返す文字列ポインタは静的な記憶領域を返します; 関数の呼び出し側はこの値を変更できません。この値は Python コードからは
sys.version
の一部として取り出せます。
-
void
PySys_SetArgvEx
(int argc, wchar_t **argv, int updatepath)¶ argc および argv に基づいて
sys.argv
を設定します。これらの引数はプログラムのmain()
に渡した引数に似ていますが、最初の要素が Python インタプリタの宿主となっている実行形式の名前ではなく、実行されるスクリプト名を参照しなければならない点が違います。実行するスクリプトがない場合、 argv の最初の要素は空文字列にしてもかまいません。この関数がsys.argv
の初期化に失敗した場合、致命的エラーをPy_FatalError()
で知らせます。updatepath が 0 の場合、ここまでの動作がこの関数がすることの全てです。 updatepath が 0 でない場合、この関数は
sys.path
を以下のアルゴリズムに基づいて修正します:- 存在するスクリプトの名前が
argv[0]
に渡された場合、そのスクリプトがある場所の絶対パスをsys.path
の先頭に追加します。 - それ以外の場合 (argc が
0
だったり、argv[0]
が存在するファイル名を指していない場合)、sys.path
の先頭に空の文字列を追加します。 これは現在の作業ディレクトリ ("."
) を先頭に追加するのと同じです。
バイト文字列を
wchar_*
文字列にデコードするにはPy_DecodeLocale()
を使ってください。注釈
単一のスクリプトを実行する以外の目的でPython インタプリタを埋め込んでいるアプリケーションでは、 updatepath に
0
を渡して、必要な場合は自分でsys.path
を更新することをおすすめします。 CVE-2008-5983 を参照してください。3.1.3 より前のバージョンでは、
PySys_SetArgv()
の呼び出しが完了した後にsys.path
の先頭の要素を取り出すことで、同じ効果が得られます。例えばこのように使います:PyRun_SimpleString("import sys; sys.path.pop(0)\n");
バージョン 3.1.3 で追加.
- 存在するスクリプトの名前が
-
void
PySys_SetArgv
(int argc, wchar_t **argv)¶ この関数は、 python インタプリタが
-I
オプション付きで実行されている場合を除きPySys_SetArgvEx()
の updatepath に1
を設定したのと同じように動作します。バイト文字列を
wchar_*
文字列にデコードするにはPy_DecodeLocale()
を使ってください。バージョン 3.4 で変更: updatepath の値は
-I
オプションに依存します。
-
void
Py_SetPythonHome
(wchar_t *home)¶ Python の標準ライブラリがある、デフォルトの "home" ディレクトリを設定します。引数の文字列の意味については
PYTHONHOME
を参照してください。引数は静的なストレージに置かれてプログラム実行中に書き換えられないようなゼロ終端の文字列であるべきです。Python インタプリタはこのストレージの内容を変更しません。
バイト文字列を
wchar_*
文字列にデコードするにはPy_DecodeLocale()
を使ってください。
-
w_char*
Py_GetPythonHome
()¶ 前回の
Py_SetPythonHome()
呼び出しで設定されたデフォルトの "home" か、PYTHONHOME
環境変数が設定されていればその値を返します。
スレッド状態 (thread state) とグローバルインタプリタロック (global interpreter lock)¶
Python インタプリタは完全にはスレッドセーフではありません。マルチスレッドの Python プログラムをサポートするために、グローバルインタプリタロック(global interpreter lock, GIL) と呼ばれるグローバルなロックが存在していて、現在のスレッドが Python オブジェクトに安全にアクセスする前に必ずロックを獲得しなければならなくなっています。ロック機構がなければ、単純な操作でさえ、マルチスレッドプログラムの実行に問題を引き起こす可能性があります。たとえば、二つのスレッドが同じオブジェクトの参照カウントを同時にインクリメントすると、結果的に参照カウントは二回でなく一回だけしかインクリメントされないかもしれません。
このため、 GIL を獲得したスレッドだけが Python オブジェクトを操作したり、 Python/C API 関数を呼び出したりできるというルールがあります。並行処理をエミュレートするために、インタプリタは定期的にロックを解放したり獲得したりします。 (sys.setswitchinterval()
を参照) このロックはブロックが起こりうる I/O 操作の付近でも解放・獲得され、 I/O を要求するスレッドが I/O 操作の完了を待つ間、他のスレッドが動作できるようにしています。
Python インタプリタはスレッドごとに必要な情報を PyThreadState
と呼ばれるデータ構造の中に保存します。そしてグローバル変数として現在の PyThreadState
を指すポインタを1つ持ちます。このグローバル変数は PyThreadState_Get()
を使って取得できます。
拡張コード内で GIL を解放する¶
GIL を操作するほとんどのコードは、次のような単純な構造になります:
Save the thread state in a local variable.
Release the global interpreter lock.
... Do some blocking I/O operation ...
Reacquire the global interpreter lock.
Restore the thread state from the local variable.
この構造は非常に一般的なので、作業を単純にするために2つのマクロが用意されています:
Py_BEGIN_ALLOW_THREADS
... Do some blocking I/O operation ...
Py_END_ALLOW_THREADS
Py_BEGIN_ALLOW_THREADS
マクロは新たなブロックを開始し、隠しローカル変数を宣言します; Py_END_ALLOW_THREADS
はブロックを閉じます。 Python をスレッドサポートなしでコンパイルしたときでもこの2つのマクロは利用可能です (単に、空行に展開されます)。
スレッドサポートが有効になっている場合、上記のブロックは以下のようなコードに展開されます:
PyThreadState *_save;
_save = PyEval_SaveThread();
...Do some blocking I/O operation...
PyEval_RestoreThread(_save);
これらの関数の動作を説明します。GIL は現在のスレッド状態を指すポインタを保護するために使われます。ロックを解放してスレッド状態を退避する際、ロックを解放する前に現在のスレッド状態ポインタを取得しておかなければなりません (他のスレッドがすぐさまロックを獲得して、自らのスレッド状態をグローバル変数に保存してしまうかもしれないからです)。逆に、ロックを獲得してスレッド状態を復帰する際には、グローバル変数にスレッド状態ポインタを保存する前にロックを獲得しておかなければなりません。
Python 以外で作られたスレッド¶
Python API を通して作られたスレッド (threading
モジュールなど) では自動的にスレッド状態が割り当てられて、上記のコードは正しく動きます。しかし、(自前でスレッド管理を行う外部のライブラリなどにより)C言語でスレッドを生成した場合、そのスレッドには GIL がなく、スレッド状態データ構造体もないことに注意する必要があります。
このようなスレッドから Python コードを呼び出す必要がある場合 (外部のライブラリからコールバックするAPIなどがよくある例です)、Python/C API を呼び出す前に、スレッド状態データ構造体を生成し、GIL を獲得し、スレッド状態ポインタを保存することで、スレッドをインタプリタに登録しなければなりません。スレッドが作業を終えたら、スレッド状態ポインタをリセットして、ロックを解放し、最後にスレッド状態データ構造体のメモリを解放しなければなりません。
PyGILState_Ensure()
と PyGILState_Release()
はこの処理を自動的に行います。 Cのスレッドから Python を呼び出す典型的な方法は以下のとおりです:
PyGILState_STATE gstate;
gstate = PyGILState_Ensure();
/* Perform Python actions here. */
result = CallSomeFunction();
/* evaluate result or handle exception */
/* Release the thread. No Python API allowed beyond this point. */
PyGILState_Release(gstate);
PyGILState_*()
関数は、(Py_Initialize()
によって自動的に作られる) グローバルインタプリタ1つだけが存在すると仮定する事に気をつけて下さい。 Python は (Py_NewInterpreter()
を使って) 追加のインタプリタを作成できることに変わりはありませんが、複数インタプリタと PyGILState_*()
API を混ぜて使うことはサポートされていません。
注意しないといけないもう一つの重要な点は、 C の fork()
を呼び出した時の動作です。ほとんどの fork()
を持っているシステムでは、fork されたプロセスには fork を実行したスレッドしか存在しません。これは、別のスレッドに取得されたロックがずっと解放されないことを意味します。 Python は fork する前にロックを取得し、その後に fork を解放することでこの os.fork()
の問題を解決しています。加えて、子プロセスではすべての Lock オブジェクト をリセットします。 Python を拡張したり埋め込んだりしている場合、 Python に fork 前に取得したり fork 後に解放しなければならない追加の (Python 以外の) ロックを Python に教える手段がありません。 Python と同じことを実現するには、 pthread_atfork()
のようなOSの機能を使う必要があります。加えて、Python を拡張したり埋め込んだりしているときに、 os.fork()
を通してではなく直接 fork()
を呼び出すと、fork後に失われるスレッドに取得されていた Python の内部ロックのためにデッドロックが発生するかもしれません。 PyOS_AfterFork()
は必要なロックのリセットを試みますが、いつでもそれが可能とは限りません。
高レベルAPI¶
C拡張を書いたりPythonインタプリタを埋め込むときに最も一般的に使われる型や関数は次のとおりです:
-
PyInterpreterState
¶ このデータ構造体は、協調動作する多数のスレッド間で共有されている状態を表現します。同じインタプリタに属するスレッドはモジュール管理情報やその他いくつかの内部的な情報を共有しています。この構造体には公開 (public) のメンバはありません。
異なるインタプリタに属するスレッド間では、利用可能なメモリ、開かれているファイルデスクリプタなどといったプロセス状態を除いて、初期状態では何も共有されていません。GILもまた、スレッドがどのインタプリタに属しているかに関わらずすべてのスレッドで共有されています。
-
PyThreadState
¶ 単一のスレッドの状態を表現する表現するデータ構造体です。スレッドのインタプリタ状態を指すポインタ
PyInterpreterState *
interp
だけが公開されているデータメンバです。
-
void
PyEval_InitThreads
()¶ GIL を初期化し、獲得します。この関数は、主スレッドが第二のスレッドを生成する以前や、
PyEval_ReleaseThread(tstate)
といった他のスレッド操作に入るよりも前に呼び出されるようにしておかなければなりません。PyEval_SaveThread()
,PyEval_RestoreThread()
の前に呼び出す必要はありません。二度目に呼び出すと何も行いません。
バージョン 3.2 で変更: この関数は
Py_Initialize()
より前に呼び出すことができなくなりました。注釈
メインスレッドだけが存在しているとき、 GIL 操作は必要ありません。 (ほとんどの Python プログラムはスレッドを使わないので) これはよくある状況であり、ロック操作はインタプリタの動作を少しだけ遅くします。なので、ロックは最初には作成されません。これはロックを獲得しているのと同じ状態になります: スレッドが 1 つしかないとき、オブジェクトへの全てのアクセスは安全です。またこれらのことから、この関数がグローバルインタプリタロックを初期化するときは、その取得も行います。 Python の
_thread
モジュールは新しいスレッドを作成する前に、ロックが既にあるのかロックはまだ作成されていないのか知るために、PyEval_InitThreads()
を呼び出します。呼び出しが返ってきたとき、ロックが作成されており、呼び出したスレッドがそれを獲得したことが保証されます。(どんなスレッドであれ) どのスレッドが現在グローバルインタプリタロックを持っているか分からないときに、この関数を呼び出すのは安全では ありません。
この関数は、コンパイル時にスレッドサポートが無効にされているときは利用できません。
-
int
PyEval_ThreadsInitialized
()¶ PyEval_InitThreads()
をすでに呼び出している場合は真 (非ゼロ) を返します。この関数は、GILを獲得せずに呼び出すことができますので、シングルスレッドで実行している場合にはロック関連のAPI呼び出しを避けるために使うことができます。この関数はコンパイル時にスレッドサポートを無効化すると利用できません。
-
PyThreadState*
PyEval_SaveThread
()¶ (GIL が生成されていて、スレッドサポートが有効の場合) GILを解放して、スレッド状態を NULL にし、以前のスレッド状態 (NULL にはなりません) を返します。ロックがすでに生成されている場合、現在のスレッドがロックを獲得していなければなりません。(この関数はコンパイル時にスレッドサポートが無効にされていても利用できます。)
-
void
PyEval_RestoreThread
(PyThreadState *tstate)¶ (GIL が生成されていて、スレッドサポートが有効の場合) GIL を獲得して、現在のスレッド状態を tstate に設定します。tstate は NULL であってはなりません。GIL が生成されていて、この関数を呼び出したスレッドがすでにロックを獲得している場合、デッドロックに陥ります。(この関数はコンパイル時にスレッドサポートが無効にされていても利用できます。)
-
PyThreadState*
PyThreadState_Get
()¶ 現在のスレッド状態を返します。GIL を保持していなければなりません。現在のスレッド状態が NULL なら、(呼び出し側が NULL チェックをしなくてすむように) この関数は致命的エラーを起こすようになっています。
-
PyThreadState*
PyThreadState_Swap
(PyThreadState *tstate)¶ 現在のスレッド状態を tstate に指定したスレッド状態と入れ変えます。tstate は NULL の場合があります。GIL を保持していなければならず、解放しません。
-
void
PyEval_ReInitThreads
()¶ この関数は
PyOS_AfterFork()
から呼び出され、新しい子プロセスが、子プロセス内で実行していないスレッドが持っているロックを持たないようにします。
以下の関数はスレッドローカルストレージを利用していて、サブインタプリタとの互換性がありません:
-
PyGILState_STATE
PyGILState_Ensure
()¶ Pythonの状態やGILに関わらず、実行中スレッドでPython C APIの呼び出しが可能となるようにします。この関数はスレッド内で何度でも呼び出すことができますが、必ず全ての呼び出しに対応して
PyGILState_Release()
を呼び出す必要があります。通常、PyGILState_Ensure()
呼び出しとPyGILState_Release()
呼び出しの間でこれ以外のスレッド関連API を使用することができますが、Release()の前にスレッド状態は復元されていなければなりません。例えば、通常のPy_BEGIN_ALLOW_THREADS
マクロとPy_END_ALLOW_THREADS
は使用することができます。戻り値は
PyGILState_Ensure()
呼び出し時のスレッド状態を隠蔽した"ハンドル"で、PyGILState_Release()
に渡してPythonを同じ状態に保たなければなりません。再起呼び出しも可能ですが、ハンドルを共有することは できません - それぞれのPyGILState_Ensure()
呼び出しでハンドルを保存し、対応するPyGILState_Release()
呼び出しで渡してください。関数から復帰したとき、実行中のスレッドはGILを所有していて、任意の Python コードを実行できます。処理の失敗は致命的なエラーです。
-
void
PyGILState_Release
(PyGILState_STATE)¶ 獲得したすべてのリソースを解放します。この関数を呼び出すと、Pythonの状態は対応する
PyGILState_Ensure()
を呼び出す前と同じとなります (通常、この状態は呼び出し元でははわかりませんので、GILState APIを利用するようにしてください)。PyGILState_Ensure()
を呼び出す場合は、必ず同一スレッド内で対応するPyGILState_Release()
を呼び出してください。
-
PyThreadState*
PyGILState_GetThisThreadState
()¶ このスレッドの現在のスレッドの状態を取得します。これまで現在のスレッドで GILState API を使ったことが無い場合は、
NULL
が返ります。メインスレッドで自身のスレッド状態に関する呼び出しを全くしないとしても、メインスレッドは常にスレッド状態の情報を持っていることに注意してください。こうなっている目的は主にヘルパ機能もしくは診断機能のためです。
-
int
PyGILState_Check
()¶ 現在のスレッドが GILを保持しているならば
1
を、そうでなければ0
を返します。この関数はいつでもどのスレッドからでも呼び出すことができます。 Python スレッドの状態が初期化されており、現在 GIL を保持している場合にのみ1
を返します。これは主にヘルパー/診断用の関数です。この関数は、例えばコールバックのコンテキストやメモリ割り当て機能で有益でしょう。なぜなら、 GIL がロックされていると知っていれば、呼び出し元は sensitive な行動を実行することができ、そうでなければ異なるやりかたで振る舞うことができるからです。バージョン 3.4 で追加.
以下のマクロは、通常末尾にセミコロンを付けずに使います; Python ソース配布物内の使用例を見てください。
-
Py_BEGIN_ALLOW_THREADS
¶ このマクロを展開すると
{ PyThreadState *_save; _save = PyEval_SaveThread();
になります。マクロに開き波括弧が入っていることに注意してください; この波括弧は後でPy_END_ALLOW_THREADS
マクロと対応させなければなりません。マクロについての詳しい議論は上記を参照してください。コンパイル時にスレッドサポートが無効化されていると何も行いません。
-
Py_END_ALLOW_THREADS
¶ このマクロを展開すると
PyEval_RestoreThread(_save); }
になります。マクロに開き波括弧が入っていることに注意してください; この波括弧は事前のPy_BEGIN_ALLOW_THREADS
マクロと対応していなければなりません。マクロについての詳しい議論は上記を参照してください。コンパイル時にスレッドサポートが無効化されていると何も行いません。
-
Py_BLOCK_THREADS
¶ このマクロを展開すると
PyEval_RestoreThread(_save);
になります: 閉じ波括弧のないPy_END_ALLOW_THREADS
と同じです。コンパイル時にスレッドサポートが無効化されていると何も行いません。
-
Py_UNBLOCK_THREADS
¶ このマクロを展開すると
_save = PyEval_SaveThread();
になります: 開き波括弧のないPy_BEGIN_ALLOW_THREADS
と同じです。コンパイル時にスレッドサポートが無効化されていると何も行いません。
低レベルAPI¶
以下の全ての関数はコンパイル時にスレッドサポートが有効になっている時だけ利用でき、呼び出すのはGILがすでに作成されている場合だけにしなくてはなりません。
-
PyInterpreterState*
PyInterpreterState_New
()¶ 新しいインタプリタ状態オブジェクトを生成します。GIL を保持しておく必要はありませんが、この関数を次々に呼び出す必要がある場合には保持しておいたほうがよいでしょう。
-
void
PyInterpreterState_Clear
(PyInterpreterState *interp)¶ インタプリタ状態オブジェクト内の全ての情報をリセットします。GIL を保持していなければなりません。
-
void
PyInterpreterState_Delete
(PyInterpreterState *interp)¶ インタプリタ状態オブジェクトを破壊します。GIL を保持しておく必要はありません。インタプリタ状態は
PyInterpreterState_Clear()
であらかじめリセットしておかなければなりません。
-
PyThreadState*
PyThreadState_New
(PyInterpreterState *interp)¶ 指定したインタプリタオブジェクトに属する新たなスレッド状態オブジェクトを生成します。GIL を保持しておく必要はありませんが、この関数を次々に呼び出す必要がある場合には保持しておいたほうがよいでしょう。
-
void
PyThreadState_Clear
(PyThreadState *tstate)¶ スレッド状態オブジェクト内の全ての情報をリセットします。GIL を保持していなければなりません。
-
void
PyThreadState_Delete
(PyThreadState *tstate)¶ スレッド状態オブジェクトを破壊します。GIL を保持する必要はありません。スレッド状態は
PyThreadState_Clear()
であらかじめリセットしておかなければなりません。
-
PyObject*
PyThreadState_GetDict
()¶ - Return value: Borrowed reference.
拡張モジュールがスレッド固有の状態情報を保存できるような辞書を返します。各々の拡張モジュールが辞書に状態情報を保存するためには唯一のキーを使わなければなりません。現在のスレッド状態がない時にこの関数を呼び出してもかまいません。この関数が NULL を返す場合、例外はまったく送出されず、呼び出し側は現在のスレッド状態が利用できないと考えなければなりません。
-
int
PyThreadState_SetAsyncExc
(long id, PyObject *exc)¶ スレッド内で非同期的に例外を送出します。 id 引数はターゲットとなるスレッドのスレッド id です; exc は送出する例外オブジェクトです。この関数は exc に対する参照を一切盗み取りません。安直な間違いを防ぐため、この関数を呼び出すには独自に C 拡張モジュールを書かなければなりません。 GIL を保持した状態で呼び出さなければなりません。状態が変更されたスレッドの数を返します; 通常は 1 ですが、スレッドが見付からなかった場合は 0 になることもあります。 exc が
NULL
の場合は、このスレッドのまだ送出されていない例外は (何であれ) 消去されます。この場合は例外を送出しません。
-
void
PyEval_AcquireThread
(PyThreadState *tstate)¶ GIL を獲得し、現在のスレッド状態を tstate に設定します。 tstate は NULL であってはなりません。ロックはあらかじめ作成されていなければなりません。この関数を呼び出したスレッドがすでにロックを獲得している場合、デッドロックに陥ります。
PyEval_RestoreThread()
はいつでも (スレッドサポートが有効でないときやスレッドが初期化されたいないときでさえ) 利用可能な高レベル関数です。
-
void
PyEval_ReleaseThread
(PyThreadState *tstate)¶ 現在のスレッド状態をリセットして NULL にし、GIL を解放します。ロックはあらかじめ作成されていなければならず、かつ現在のスレッドが保持していなければなりません。tstate は NULL であってはなりませんが、その値が現在のスレッド状態を表現しているかどうかを調べるためにだけ使われます — もしそうでなければ、致命的エラーが報告されます。
PyEval_SaveThread()
はより高レベルな関数で常に(スレッドサポートが無効な場合やスレッドが初期化されていない場合でも)利用できます。
-
void
PyEval_AcquireLock
()¶ GILを獲得します。ロックは前もって作成されていなければなりません。この関数を呼び出したスレッドがすでにロックを獲得している場合、デッドロックに陥ります。
バージョン 3.2 で撤廃: この関数は現在のスレッドの状態を更新しません。代わりに
PyEval_RestoreThread()
もしくはPyEval_AcquireThread()
を使用してください。
-
void
PyEval_ReleaseLock
()¶ GILを解放します。ロックは前もって作成されていなければなりません。
バージョン 3.2 で撤廃: この関数は現在のスレッドの状態を更新しません。代わりに
PyEval_SaveThread()
もしくはPyEval_ReleaseThread()
を使用してください。
サブインタプリタサポート¶
ほとんどの場合は埋め込む Python インタプリタは1つだけですが、いくつかの場合に同一プロセス内、あるいは同一スレッド内で、複数の独立したインタプリタを作成する必要があります。サブインタプリタはこれを可能にします。 PyThreadState_Swap()
関数を使ってサブインタプリタを切り替えることができます。以下の関数を使ってサブインタプリタの作成と削除を行えます:
-
PyThreadState*
Py_NewInterpreter
()¶ 新しいサブインタプリタ (sub-interpreter) を生成します。サブインタプリタとは、(ほぼ完全に) 個別に分割された Python コードの実行環境です。特に、新しいサブインタプリタは、 import されるモジュール全てについて個別のバージョンを持ち、これには基盤となるモジュール
builtins
,__main__
およびsys
も含まれます。ロード済みのモジュールからなるテーブル (sys.modules
) およびモジュール検索パス (sys.path
) もサブインタプリタ毎に別個のものになります。新たなサブインタプリタ環境にはsys.argv
変数がありません。また、サブインタプリタは新たな標準 I/O ストリームsys.stdin
,sys.stdout
,sys.stderr
を持ちます (とはいえ、これらのストリームは根底にある同じファイル記述子を参照しています)。戻り値は、新たなサブインタプリタが生成したスレッド状態 (thread state) オブジェクトのうち、最初のものを指しています。このスレッド状態が現在のスレッド状態 (current thread state) になります。実際のスレッドが生成されるわけではないので注意してください; 下記のスレッド状態に関する議論を参照してください。新たなインタプリタの生成に失敗すると、NULL を返します; 例外状態はセットされませんが、これは例外状態が現在のスレッド状態に保存されることになっていて、現在のスレッド状態なるものが存在しないことがあるからです。(他の Python/C API 関数のように、この関数を呼び出す前にはGILが保持されていなければならず、関数が処理を戻した際にも保持されたままになります; しかし、他の Python/C API 関数とは違い、関数から戻ったときの現在のスレッド状態が関数に入るときと同じとは限らないので注意してください。)
拡張モジュールは以下のような形で (サブ) インタプリタ間で共有されます: ある特定の拡張モジュールを最初に import すると、モジュールを通常通りに初期化し、そのモジュールの辞書の (浅い) コピーをしまい込んでおきます。他の (サブ) インタプリタが同じ拡張モジュールを import すると、新たなモジュールを初期化し、先ほどのコピーの内容で辞書の値を埋めます; 拡張モジュールの
init
関数は呼び出されません。この挙動は、Py_FinalizeEx()
およびPy_Initialize()
を呼び出してインタプリタを完全に再初期化した後に拡張モジュールを import した際の挙動とは異なるので注意してください; 再初期化後に import を行うと、拡張モジュールのinitmodule
は再度 呼び出されます 。
-
void
Py_EndInterpreter
(PyThreadState *tstate)¶ 指定されたスレッド状態 tstate で表現される (サブ) インタプリタを抹消します。 tstate は現在のスレッド状態でなければなりません。下記のスレッド状態に関する議論を参照してください。関数呼び出しが戻ったとき、現在のスレッド状態は NULL になっています。このインタプリタに関連付けられた全てのスレッド状態は抹消されます。 (この関数を呼び出す前にはGILを保持しておかなければならず、ロックは関数が戻ったときも保持されています。)
Py_FinalizeEx()
は、その時点で明示的に抹消されていない全てのサブインタプリタを抹消します。
バグと注意事項¶
サブインタプリタ (とメインインタプリタ) は同じプロセスの一部分なので、インタプリタ間の隔離は完璧ではありません — 例えば、 os.close()
のような低レベルのファイル操作を使うと、 (偶然なり故意なりに) 互いのインタプリタ下にある開かれたファイルに影響を及ぼせてしまいます。拡張モジュールを (サブ) インタプリタ間で共有する方法のせいで、拡張モジュールによっては正しく動作しないかもしれません; 拡張モジュールが (静的な) グローバル変数を利用している場合や、拡張モジュールが初期化後に自身のモジュール辞書を操作する場合には特にそうです。一つのサブインタプリタで生成されたオブジェクトは他のサブインタプリタの名前空間への挿入が可能です; ユーザ定義関数、メソッド、インスタンスおよびクラスをサブインタプリタをサブインタプリタ間で共有しないように十分注意してください。というのは、これらの共有オブジェクトが実行した import 文は間違った (サブ) インタプリタのロード済みモジュール辞書に影響を及ぼす場合があるからです。
サブインタプリタを PyGILState_*()
API と組み合わせるのが難しいことにも注意してください。これらのAPIはPythonのスレッド状態とOSレベルスレッドが1対1で対応していることを前提にしていて、サブインタプリタが存在するとその前提が崩れるからです。対応する PyGILState_Ensure()
と PyGILState_Release()
の呼び出しのペアの間では、サブインタプリタの切り替えを行わないことを強く推奨します。さらに、(ctypes
のような)これらのAPIを使ってPythonの外で作られたスレッドから Pythonコードを実行している拡張モジュールはサブインタプリタを使うと壊れる可能性があります。
非同期通知¶
インタプリタのメインスレッドに非同期な通知を行うために提供されている仕組みです。これらの通知は関数ポインタと void ポインタ引数という形態を取ります。
-
int
Py_AddPendingCall
(int (*func)(void *), void *arg)¶ インタプリタのメインスレッドから関数が呼び出される予定を組みます。成功すると
0
が返り、func はメインスレッドの呼び出しキューに詰められます。失敗すると、例外をセットせずに-1
が返ります。無事にキューに詰められると、func は いつかは必ず インタプリタのメインスレッドから、arg を引数として呼び出されます。この関数は、通常の実行中の Python コードに対して非同期に呼び出されますが、次の両方の条件に合致したときに呼び出されます:
- bytecode 境界上にいるとき、
- メインスレッドが global interpreter lock を保持している (すなわち func が全ての C API を呼び出せる) とき。
成功したら func は
0
を返さねばならず、失敗したら-1
を返し例外をセットしなければいけません。func は、他の非同期通知を行うために、さらに割り込まれることはありませんが、グローバルインタプリタロックが解放された場合は、スレッドの切り替えによって割り込まれる可能性が残っています。この関数は実行するのに現在のスレッド状態を必要とせず、グローバルインタプリタロックも必要としません。
警告
これは、非常に特別な場合にのみ役立つ、低レベルな関数です。 func が可能な限り早く呼び出される保証はありません。メインスレッドがシステムコールを実行するのに忙しい場合は、 func はシステムコールが返ってくるまで呼び出されないでしょう。この関数は一般的には、任意の C スレッドから Python コードを呼び出すのには 向きません 。これの代わりに、 PyGILState API を使用してください。
バージョン 3.1 で追加.
プロファイルとトレース (profiling and tracing)¶
Python インタプリタは、プロファイル: 分析 (profile) や実行のトレース: 追跡 (trace) といった機能を組み込むために低水準のサポートを提供しています。このサポートは、プロファイルやデバッグ、適用範囲分析 (coverage analysis) ツールなどに使われます。
この C インタフェースは、プロファイルやトレース作業時に、Python レベルの呼び出し可能オブジェクトが呼び出されることによるオーバヘッドを避け、直接 C 関数呼び出しが行えるようにしています。プロファイルやトレース機能の本質的な特性は変わっていません; インタフェースではトレース関数をスレッドごとにインストールでき、トレース関数に報告される基本イベント (basic event) は以前のバージョンにおいて Python レベルのトレース関数で報告されていたものと同じです。
-
int
(*Py_tracefunc)
(PyObject *obj, PyFrameObject *frame, int what, PyObject *arg)¶ PyEval_SetProfile()
およびPyEval_SetTrace()
を使って登録できるトレース関数の形式です。最初のパラメタはオブジェクトで、登録関数に obj として渡されます。 frame はイベントが属している実行フレームオブジェクトで、 what は定数PyTrace_CALL
,PyTrace_EXCEPTION
,PyTrace_LINE
,PyTrace_RETURN
,PyTrace_C_CALL
,PyTrace_C_EXCEPTION
, あるいはPyTrace_C_RETURN
のいずれかで、 arg は what の値によって以下のように異なります:what の値 arg の意味 PyTrace_CALL
Always Py_None
.PyTrace_EXCEPTION
sys.exc_info()
の返す例外情報です。PyTrace_LINE
Always Py_None
.PyTrace_RETURN
呼び出し側に返される予定の値か、例外によって関数を抜ける場合は NULL です。 PyTrace_C_CALL
呼び出される関数オブジェクト。 PyTrace_C_EXCEPTION
呼び出される関数オブジェクト。 PyTrace_C_RETURN
呼び出される関数オブジェクト。
-
int
PyTrace_CALL
¶ 関数やメソッドが新たに呼び出されたり、ジェネレータが新たなエントリの処理に入ったことを報告する際の、
Py_tracefunc
の what の値です。イテレータやジェネレータ関数の生成は、対応するフレーム内の Python バイトコードに制御の委譲 (control transfer) が起こらないため報告されないので注意してください。
-
int
PyTrace_EXCEPTION
¶ 例外が送出された際の
Py_tracefunc
の what の値です。現在実行されているフレームで例外がセットされ、何らかのバイトコードが処理された後に、 what にこの値がセットされた状態でコールバック関数が呼び出されます。この結果、例外の伝播によって Python が呼び出しスタックを逆戻りする際に、各フレームから処理が戻るごとにコールバック関数が呼び出されます。トレース関数だけがこれらのイベントを受け取ります; プロファイラはこの種のイベントを必要としません。
-
int
PyTrace_LINE
¶ 行番号イベントを報告するときに (プロファイル関数ではなく) トレース関数の what パラメタとして渡す値です。
-
int
PyTrace_RETURN
¶ The value for the what parameter to
Py_tracefunc
functions when a call is about to return.
-
int
PyTrace_C_CALL
¶ C関数を呼び出す直前に
Py_tracefunc
関数の what パラメタとして渡す値です。
-
int
PyTrace_C_EXCEPTION
¶ C関数が例外を送出したときに
Py_tracefunc
関数の what パラメタとして渡す値です。
-
int
PyTrace_C_RETURN
¶ C関数から戻るときに
Py_tracefunc
関数の what パラメタとして渡す値です。
-
void
PyEval_SetProfile
(Py_tracefunc func, PyObject *obj)¶ Set the profiler function to func. The obj parameter is passed to the function as its first parameter, and may be any Python object, or NULL. If the profile function needs to maintain state, using a different value for obj for each thread provides a convenient and thread-safe place to store it. The profile function is called for all monitored events except
PyTrace_LINE
andPyTrace_EXCEPTION
.
-
void
PyEval_SetTrace
(Py_tracefunc func, PyObject *obj)¶ Set the tracing function to func. This is similar to
PyEval_SetProfile()
, except the tracing function does receive line-number events and does not receive any event related to C function objects being called. Any trace function registered usingPyEval_SetTrace()
will not receivePyTrace_C_CALL
,PyTrace_C_EXCEPTION
orPyTrace_C_RETURN
as a value for the what parameter.
-
PyObject*
PyEval_GetCallStats
(PyObject *self)¶ Return a tuple of function call counts. There are constants defined for the positions within the tuple:
名前 値 PCALL_ALL
0 PCALL_FUNCTION
1 PCALL_FAST_FUNCTION
2 PCALL_FASTER_FUNCTION
3 PCALL_METHOD
4 PCALL_BOUND_METHOD
5 PCALL_CFUNCTION
6 PCALL_TYPE
7 PCALL_GENERATOR
8 PCALL_OTHER
9 PCALL_POP
10 PCALL_FAST_FUNCTION
means no argument tuple needs to be created.PCALL_FASTER_FUNCTION
means that the fast-path frame setup code is used.If there is a method call where the call can be optimized by changing the argument tuple and calling the function directly, it gets recorded twice.
This function is only present if Python is compiled with
CALL_PROFILE
defined.
高度なデバッガサポート (advanced debugger support)¶
以下の関数は高度なデバッグツールでの使用のためだけのものです。
-
PyInterpreterState*
PyInterpreterState_Head
()¶ インタプリタ状態オブジェクトからなるリストのうち、先頭にあるものを返します。
-
PyInterpreterState*
PyInterpreterState_Next
(PyInterpreterState *interp)¶ インタプリタ状態オブジェクトからなるリストのうち、interp の次にあるものを返します。
-
PyThreadState *
PyInterpreterState_ThreadHead
(PyInterpreterState *interp)¶ インタプリタ interp に関連付けられているスレッドからなるリストのうち、先頭にある
PyThreadState
オブジェクトを返します。
-
PyThreadState*
PyThreadState_Next
(PyThreadState *tstate)¶ tstate と同じ
PyInterpreterState
オブジェクトに属しているスレッド状態オブジェクトのうち、 tstate の次にあるものを返します。