review13: トークナイザ比較完了(48k 推奨・実効 6.1B トークン確定)・ダッシュボード v1 公開

作成日: 2026-08-12 対象: review12 の ⇒ 回答を受けた対応、フェーズ1 の第 1 弾報告

1. 実施内容・確認結果

1-1. nvidia-smi(確認事項 1)— 原因判明、クライアント修正済み

出力ありがとうございました。GPU・ドライバとも生きています。検出に失敗した原因は、お使いのドライバ(461.40、2021 年頃の世代)が nvidia-smi を PATH の通らない NVSMI フォルダに置くためでした。クライアントを修正し、Windows ではそのフルパスも探すようにしました(push 済み。次回 git pull で反映されます)。登録済みクライアントのスペック情報にも GTX 1050 / 2GB を反映済みです。

1 点、先々のための注意: ドライバ 461.40(CUDA 11.2)は、フェーズ2 の学習実装で使う PyTorch の対応範囲としてかなり古めです。いつか都合のよいときに GTX 1050 用の最新ドライバへ更新しておくことを推奨します(急ぎません。学習実装の直前でも OK。更新すれば nvidia-smi も PATH に入る場所に置かれます)。

1-2. 運用ダッシュボード v1 — 公開しました

管理キーを入力すると、タスク集計(種別×状態)・クライアント一覧(GPU・最終アクセス)・最新重みが表示され、30 秒ごとに自動更新されます。

1-3. フェーズ1 第 1 弾: トークナイザ比較 — 完了

サンプル抽出(57 万記事・5.5 分)→ SentencePiece BPE を語彙 48k / 64k で学習 → 学習に使っていない評価セット(言語別 1,000〜3,000 記事)で圧縮効率を計測しました。

• 実効コーパスは約 6.1B トークンで確定(48k: 6.14B / 64k: 5.96B。フェーズ0 の概算 6.5B とほぼ一致)。Chinchilla 則の計算最適は約 300M パラメータで、最終目標 L=500M は「2 エポック弱で適正」の範囲です
• 日本語も「政府は / 水曜 / 日に / 新しい / 経済 / 対策を / 発表した」のように意味単位で分割できており、増量サンプリングの効果が出ています

採用案: 48k を推奨します。64k のトークン削減はわずか 3% の一方、埋め込み層が +6.2M パラメータ(d=384 時)重くなり、S モデル(30M 級)と 2GB VRAM に不利なためです。 → 確認事項 1

2. 確認事項

1. トークナイザは 48k 採用でよいですか(1-3 の推奨どおりなら「OK」だけで結構です。採用が決まり次第、全量トークン化(約 757 万記事 → 約 120 シャード、数時間)を実行し、シャード一覧と言語構成を報告します)。

2. ダッシュボードの表示確認(任意): ダッシュボードがお手元で表示・動作するか、見ておいていただけると安心です。

3. 次の作業予定

• 確認事項 1 の回答後: 全量抽出+トークン化+シャード化(uint16 .bin + checksum/メタ情報、50M トークン/シャード、pub_date で train/val/test を時系列分離) → サーバのストレージに配置し、/api/shards で配布可能な状態に
• その後: S モデル(30M)の実装(自前 Transformer: RoPE / RMSNorm / SwiGLU)と単一 GPU ベースライン学習の準備(フェーズ1 後半)
• スモークテストのダミー行(task 5〜8・重み v1)は全量シャード投入の前に掃除します