1989年マッキントッシュで実現した「MacMind」：HyperCardによるトランスフォーマー学習の歴史的意義
本記事は、1989年頃のMacintosh SE/30というヴィンテージハードウェア上で、HyperCardというスクリプト言語を用いて、完全なトランスフォーマーニューラルネットワーク「MacMind」を実装した技術的な成果について詳述している。MacMindは、1,216個のパラメータを持つ単層単ヘッドのトランスフォーマーであり、ランダムな例から「ビット反転置換（bit-reversal permutation）」、すなわち高速フーリエ変換（FFT）の最初のステップを学習する。特筆すべきは、ニューラルネットワークの全ての要素（トークン埋め込み、位置エンコーディング、自己注意機構、クロスエントロピー損失、全逆伝播、確率的勾配降下法など）が、行列計算を目的としない1987年製のスクリプト言語HyperTalkのみで記述されている点である。
このプロジェクトは、現代の巨大言語モデル（LLM）が使用する基本的なプロセス（順伝播、損失計算、逆伝播、重み更新）が、単なる「魔法」ではなく、数学的に理解可能であることを実証している。GPT-4が約1兆パラメータを持つのに対し、MacMindは1,216パラメータという規模ながら、その数学的原理は全く同じである。これにより、AIのプロセスが、TPUクラスターであろうと1987年の68000プロセッサであろうと、ハードウェアに依存しない普遍的な数学的構造を持つことが示されている。
学習タスクであるビット反転置換は、8要素のシーケンスの各位置インデックスのバイナリ表現を反転させることで順序を再配置する。MacMindは、このルールを教えられることなく、自己注意機構と勾配降下法を通じて、コーリーとチューキーが1965年に発表したFFTの数学的構造（バタフライルーティングパターン）を自律的に発見した。この成果は、AIの学習プロセスが、特定の数学的構造を深く理解し、再現できることを示す画期的なデモンストレーションである。
背景
本ニュースは、AI技術、特にトランスフォーマーモデルの学習プロセスが、現代の高性能な計算資源だけでなく、古い、制約の多い環境（1980年代のMacintosh）でも再現可能であることを示す歴史的な試みである。AIの「ブラックボックス」化に対する批判的な視点と、基礎的な数学原理の可視化が背景にある。
重要用語解説
- トランスフォーマーニューラルネットワーク: 自然言語処理などで用いられるAIモデルの構造。自己注意機構（Self-Attention）を核とし、入力データ間の関係性を重み付けして処理する。
- HyperTalk: 1987年頃に開発された、主にインタラクティブなカードスタック（HyperCard）向けに設計されたスクリプト言語。行列計算など高度な数学処理には適さない。
- ビット反転置換: バイナリ表現の各ビットを反転させて得られる置換。これは高速フーリエ変換（FFT）の最初のステップとして用いられる。
今後の影響
AIの技術的民主化を促し、AIの動作原理が数学的に解明可能であることを広く示す。これにより、AIの信頼性や透明性（Explainable AI: XAI）に関する議論が加速し、今後のAI開発における基礎理論の重要性が再認識されるだろう。これは、AIが単なる「魔法」ではなく、数学的原理に基づいているという認識を社会に広める効果を持つ。