GCCの古いバージョンに対応する、ネスト関数を間接呼び出しする高度なハック技術
本記事は、C/C++言語におけるネスト関数（ローカル関数）をコールバックとして使用する際の、コンパイラ（GCC/Clang）の技術的な課題と、その回避策について詳細に解説しています。特に、古いバージョンのGCCをサポートしつつ、セキュリティ上の懸念である「実行可能スタック」を回避する方法に焦点を当てています。
通常、ネスト関数をコールバックとして使用する場合、コンパイラはスタック上に「トランプリン（trampoline）」と呼ばれる短いコードシーケンスを配置し、これを介してローカル関数を呼び出します。このプロセスは、スタック領域を一時的に実行可能（executable）にする必要があり、セキュリティ上の問題を引き起こします。
GCC 17以降では、`__builtin_call_static_chain`や`__builtin_call_code_adress`といった新しい組み込み関数が導入され、この問題を解決する手段が提供されています。しかし、それ以前の古いGCCバージョンをサポートする必要がある場合、筆者は「ハック」的なアプローチを提案しています。この方法では、トランプリン自体を呼び出すのではなく、トランプリンがスタック上に配置している「コードアドレス」と「静的フレーム（static chain）」の情報を、専用のマクロ（例：`peek`や`array_slice`）を用いてメモリから直接読み出します。そして、この読み出した2つのポインタ情報を用いて、ローカル関数を直接呼び出すことが可能になります。
この手法の利点は、トランプリンを実際に実行しないため、スタックを非実行可能状態に保つことができ、`patchelf --clear-execstack program`のようなコマンドでセキュリティ懸念を解消できる点です。さらに、トランプリン自体を関数ディスクリプタとして利用し、呼び出し箇所で簡単なインタープリタを介してコードを解釈するという、別の高度な手法も提案されています。これは、コンパイラレベルの最適化とセキュリティ対策を両立させる、非常に専門的な技術的知見です。
背景
ネスト関数（ローカル関数）をコールバックとして扱うことは、C/C++の高度な機能ですが、コンパイラがこれを実現する際、スタック上に一時的なコード（トランプリン）を配置し、実行可能メモリ領域を必要とします。これがセキュリティ上の脆弱性（実行可能スタック）の原因となるため、コンパイラ開発者はこの問題を解決する仕組みを常に模索しています。
重要用語解説
- ネスト関数: 関数内部で定義され、そのスコープ内でのみ有効なローカル関数を指します。コールバックとして利用される際、親関数の変数をキャプチャする特性を持ちます。
- トランプリン: 間接呼び出しを行うために、スタック上に配置される短いコードシーケンスのこと。ローカル関数へのジャンプを仲介し、必要な環境情報（静的フレームなど）を準備します。
- 実行可能スタック: プログラムのスタック領域が、データ格納だけでなく、コードの実行場所としても利用される状態を指します。セキュリティ上、この状態は危険視されます。
今後の影響
本技術は、コンパイラがローカル関数やコールバックを扱う際のセキュリティと互換性の両立に大きく貢献します。古いコンパイラ環境での利用を可能にすることで、より広範なプラットフォームでの安全なソフトウェア開発を促進し、組み込みシステムやOS開発における信頼性を高めることが期待されます。