柱③｜循環を支える高効率計算基盤

学習と実装の循環を支える高効率計算基盤へ

大規模モデルのトレーニングと推論、現場データによる追加学習を支える計算基盤を構築する。将来は5nm／2nmプロセスでの高効率AI半導体の設計・製造を担い、その半導体を基盤に、実装と学習の循環を継続できる状態を目指す。

PILLAR 03 / WHY IT MATTERS

大規模モデルを学習し、現場で使い、再び学習するために

国防・経済安全保障を支えるAIの自立性には、モデルを継続して学習・運用できる基盤が必要だと考える。メモリ・通信・電力・冷却・復旧を含めて設計し、学習と推論の双方で効率と継続性を追求する。

MEMORY

メモリ移動

学習時の重み・勾配・中間表現、推論時のKV cacheの移動と帯域を評価する

COMMUNICATION

通信と分散

Interconnect・ネットワーク・同期・再試行を含むGoodputで評価する

POWER & TCO

常時稼働の費用

電力・冷却・保守・失敗再実行・設備利用率まで完了業務あたりへ配賦する

CONTINUITY

継続運用と復旧

代替構成・GPU fallback・交換部材・交換・監視・復旧手順を運用へ組み込む

01 / BOTTLENECK FIRST

回路より先に制約の場所を特定する

モデル・メモリ・通信・バッチ・Runtimeを測り、ソフトウェアで解ける制約を先に解く

  1. 01 / MEASURE

    実負荷を計測

    待ち時間・処理量・メモリ・通信・電力・費用を取得する

  2. 02 / PROFILE

    制約を分類

    演算・メモリ帯域・I/O・スケジューリングのどこが支配的かを分ける

  3. 03 / OPTIMIZE

    ソフトウェアを最適化

    量子化・キャッシュ・コンパイル・並列化・バッチ制御を比較する

  4. 04 / SPECIFY

    残差を回路要件へ

    ソフトウェア後に残る制約だけを、AI半導体の要件にする

PILLAR 03 / ENGINEERING PATH

GPUの実測から専用AI半導体の設計・実装まで進む

GPUで早く学び、ソフトウェアを最適化
学習・推論の要件を、半導体と計算基盤の設計へ反映する

  1. 01 / BASELINE

    GPUで基準を作る

    品質・SLO・Goodput・電力・費用・障害・需要変動を実測する

    証拠：負荷・TCO基準値
  2. 02 / SOFTWARE

    ソフトウェアを最適化

    量子化・Compiler・Kernel・Cache・並列化・Schedulerを比較する

    証拠：層別改善差分
  3. 03 / PROFILE

    残る制約を固定

    安定した高利用率の負荷と、メモリ・通信・電力の支配項を特定する

    証拠：Workload profile
  4. 04 / EXPERIMENT

    小さな実装で検証

    回路化する機能とソフトウェアに残す機能を、小さな実装で比較する

    証拠：実装評価報告
  5. 05 / COMPATIBILITY

    互換性と復旧を確認

    Runtime・モデル版・運用監視・GPU fallbackを同じ受入試験へ通す

    証拠：互換性・復旧試験
  6. 06 / SCALE

    導入規模を設計

    需要・性能・歩留まり・保守を運用計画へ落とす

    証拠：導入計画

02 / 24×365 ECONOMICS

学習と推論の双方で、計算効率を高める

GPUで学習・推論の実負荷と品質を測定する。高効率AI半導体とソフトウェアを一体で設計し、学習の反復と日々の推論を、電力・冷却・保守を含む費用で支えられる構成を目指す。

GPU-FIRST

柔軟性を買う段階

モデルと負荷が変わる初期は、市販GPUで品質・トラフィック・SLO・復旧手順を短期間に実装・計測する

  • 初期検証
  • Training
  • Mixed workload
  • GPU fallback

AI SEMICONDUCTOR

循環全体の効率を高める構想

大規模モデルの学習・推論に必要な演算・メモリ階層・通信を設計する。モデルの変化への対応と電力効率を評価し、計算基盤としての性能を検証する。

  • 24×365
  • Training / Inference
  • Energy / task
  • Operations design
BUSINESS TCO

完了業務あたり費用

GPU時間だけでなく、運用・電力・冷却・保守・失敗再実行を含める

ENERGY

Joule / task

tokenあたりだけでなく、業務が完了するまでの総電力を測る

SLO

p95 / p99・Goodput

平均速度ではなく、混雑時もSLOを満たす有効処理量で比較する

OPERATIONS

可用性・復旧性

障害・保守窓・交換部材・fallbackを含めて24時間365日を設計する

03 / COMPUTE & SOFTWARE

大規模計算基盤とソフトウェアを一体で構築する

各層を別々に最適化すると、改善が別の層のコストへ移ることがある
業務SLOを起点に、同じ評価指標で層を横断する

COMPUTE

Large-scale Infrastructure

学習・推論クラスタ・ネットワーク・ストレージ・Scheduler・Observability

SOFTWARE

Compiler / Runtime

グラフ最適化・Kernel・Cache・分散実行・量子化・Resource control

SILICON

Architecture / Design

演算器・メモリ階層・Interconnect・Power・Package・Validation

03A / EXECUTION ARCHITECTURE

フレームワークからGPU・専用回路までを互換仕様でつなぐ

学習はStableHLO・推論はONNX互換を維持
GPU-firstで実装し、専用回路を同じ互換仕様へ適合させる

  1. 01PyTorch / JAX

    利用者は既存フレームワークのAPIを使用

  2. 02StableHLO

    学習グラフ・dtype・shape・shardingを固定

  3. 03Kairos PJRT

    compile・buffer・execute・copy・collectiveを統一

  4. 04MLIR Pipeline

    配置・量子化・融合・memory layoutを最適化

  5. 05Runtime

    job contract・scheduler・cache・telemetryを統合

  6. 06GPU Backend

    現在の実装・計測・fallbackの基準経路

  7. 07専用回路 Backend

    対応演算をcustom loweringとemitterへ接続

DESIGN BASELINE

最初の実装・評価単位

初期単位は最終製品値ではなく、比較可能な実験プロファイルである

TP
同一node・高帯域domain内
初期単位を基準に検証
PP
モデルが1 nodeへ収まらない構成ではnode間を使用
DP
replica間で勾配同期し、scale-outと回復性を検証

Compatibility Profileoperator・dtype・shape・tolerance・fallbackを版管理する

Benchmark Manifestmodel・runtime・driver・hardware・precision・shape・concurrency・品質・電力指標を固定する

04 / TELEMETRY

扱うのは顧客内容ではなく計算の形

推論基盤の設計に必要なのは、顧客の文書や取引内容ではない
コンテンツを含まない性能指標へ変換し、モデル改善用の成果とも分けて管理する

ALLOWED TELEMETRY

計算特性

処理量・p95/p99・Goodput・メモリ使用量・通信量・電力・エラー種別・完了業務あたり費用

  • content-free
  • 集計
  • 保持期限
  • 目的限定

CUSTOMER BOUNDARY

顧客内容

文書本文・契約・取引・映像・個別プロンプト・顧客固有の業務情報

  • 境界内保持
  • 自動転用なし
  • アクセス制御
  • 監査

05 / AI SEMICONDUCTOR

5nm／2nmの高効率AI半導体を設計・製造できる会社へ

国防・経済安全保障を支えるために、5nm／2nmプロセスで高効率AI半導体を設計・製造し、その半導体で大規模モデルの学習・推論を担う計算基盤を構築することを目指す。これは将来構想であり、現在の設計・検証の取り組みから、製造体制の確立と計算基盤への統合へつなげていく。

  • 市販GPUで実証業務SLO・負荷形状・TCO・GPU fallbackを先に確認
  • ソフトウェア最適化モデル・コンパイラ・ランタイムの改善余地を消化
  • 小さな実装評価残る制約に対する仮説を小さく検証
  • 製造と基盤構築へ製造体制の確立を目指し、学習・推論基盤への統合・評価・継続運用までを計画する

PILLAR 03 / DELIVERABLES

ハードウェア単体ではなく、運用できる構成を渡す

モデル・Compiler・Runtime・Kernel・監視・SLO・復旧を一つの検証済み構成として渡す

CONFIGURATION

検証済み構成

機器・ネットワーク・Runtime・Kernel・モデル版・依存関係

SLO / TCO

実負荷評価

p95・p99・Goodput・Joule / task・完了業務あたり費用

COMPATIBILITY

互換性プロファイル

対応モデル・精度差分・性能範囲・移行手順・既知の制約

OPERATIONS

運用・復旧Runbook

監視・障害切分け・交換・縮退・GPU fallback・復旧試験