2026年6月24日、富士通は新たな大規模言語モデルのアーキテクチャ「PHOTON（Parallel Hierarchical Operation for TOp-down Networks）」を開発した。

「マルチクエリ性能」と「マルチクエリ統合技術」を組み合わせ、現在主流の大規模言語モデル基盤である「Transformer」と比べ、GPUリソースを削減しながら高い性能を実現できるようになる。その処理能力はTransformerの約475倍にも上るという。

ディープラーニング（深層学習）の基礎技術「ニューラルネットワーク」の一つである、Transformerは生成AIの基礎基盤だ。従来の深層学習モデルよりも高速・高精度に自然言語処理を実行できることが特長である。

Attention機構

Transformerの核となっているのは「Attention機構」。これは、AIが大量のデータや文章の中から「どこに注意（Attention）すべきか」を判断するものだ。

Attention機構では、クエリ（Query）、キー（Key）、バリュー（Value）という三つの要素が登場する。

・ クエリ：今欲しい情報
・ キー：比較する目印
・ バリュー：実際に使う情報

まず、入力された文章の各単語をベクトルに変換。次に、クエリとキーの関連度（内積など）を計算し、注目度の高低をスコア（Attention Weight）として出力する。関連度が高ければ数値が大きくなる。そのスコアとバリューを掛け合わせ、さらにその結果を合計するとAttentionとして抽出される。

例えば、「吾輩は猫である。名前はまだ無い。」という文で、「名前」をクエリとしたとき、キーとなる「吾輩」「は」「猫」「で」「ある」「。」の中で、最も注目度が高いキーは「吾輩」、次に「猫」といった具合に順序がつけられる。こうした考え方は「Self-Attention」と呼ばれる。

Attention機構は、全ての単語同士がどれくらい関係性を持っているのかを計算するため、文章が長くなるほど処理に時間がかかるという問題がある。

Transformer

Transformerは、エンコーダーとデコーダーと呼ばれる二つの構造を持っているが、各部分にAttention機構が含まれている。

エンコーダーでは、以下のような流れでデコーダーが処理できる形式に変換する。

1. 文章をトークン（単語）ごとに区切る
2. 各単語をベクトル数値に変換する
3. Self-Attentionで各単語のほかの単語との関連性を計算する
4. FNN（Feedforward Network）※で特徴量に変換する
5. 解析結果をデコーダーに渡す

デコーダーでは、エンコーダーから受け取った情報と今までに生成した単語の情報を組み合わせて、次に生成する単語の予測を行う。

※FNN（Feedforward Network）とは、最も基本的な人工ニューラルネットワークのことを指す。データが一方向のみに流れる構造を持ち、ネットワーク内で循環することがない。

TransformerやSelf-Attentionは膨大な量の計算が必要になる。特に、入力する文章が長くなったり、同時に多くの利用があったりすると、過去の情報を保持するKVキャッシュがGPUメモリーを圧迫して処理速度が落ちる。また、GPUリソースの不足にもつながる。現在、AI利用のために次々とデータセンターを建設しているが、物理的な設備を増やす方法には限りがある。

そこで、PHOTONのような新しいアーキテクチャには期待がかかる。複数の入出力を必要とする処理でも、PHOTONは低コストで効率的な処理を可能にするという。

Transformerが単語（トークン）ごとに分解して全ての関係を計算するのに対して、PHOTONは文章を一つの「意味のまとまり」としてとらえ、階層的に処理を実行する。また、複数の文章を同時に処理できるため、KVキャッシュ使用量が小さく、同じGPU予算で最大475倍の計算効率を発揮する。

マルチクエリ統合技術は、一つの課題に対して少しずつ異なる複数の候補を作り、多数決または最も適した候補を選ぶ方法などで、その結果を統合して最終的な答えを出す。検証では、Transformerよりも少ないメモリー使用量で高品質なテキスト生成を実現している。

まだ検証段階のため、Transformerに置き換わる存在になるかは分からないとのことだが、今後、大規模なモデルで追試が行われた後、実際のサービスに結びついていくのかに注目したい。