zxell.aiフェーズ0: データ棚卸しレポート
実施日: 2026-08-11(すべて SELECT のみ・読み取り専用で実施)
省略: 生データの保存場所
1. 全体像
| 項目 | 値 |
|---|---|
| 総記事数 | 7,986,288 件(棚卸し中に増減なし = 収集は停止中と確認) |
| チャンネル数 | 803 定義 / 794 に記事あり |
| 言語 | en / de / fr / ja(feed_channels.language 先頭 2 文字で判定) |
| 記事期間(pub_date) | 1990-05-20 〜 2024-04-25(1990 年等はフィード側の異常値とみられる。実体は 2020〜2024 が中心) |
| 本文(content_text)合計 | 26.2G 文字 |
| 本文欠損率 | 全体で 1% 未満(非常に良好) |
| チャンネル集中度 | 上位 31 チャンネルで全体の 50%(最大 ドイツ語チャンネル 362,048 件、中央値 1,545 件) |
2. 言語別の分布と品質
| 言語 | ch数 | 記事数 | 構成比 | 本文文字数 | 平均本文長 | 本文欠損 | 要約欠損 | カテゴリ欠損 | img_url保有 |
|---|---|---|---|---|---|---|---|---|---|
| en | 408 | 3,984,113 | 49.9% | 17.08G | 4,311 字 | 0.6% | 5.0% | 57.1% | 12.1% |
| de | 162 | 2,036,736 | 25.5% | 6.02G | 2,963 字 | 0.2% | 4.7% | 33.7% | 51.9% |
| fr | 176 | 1,116,522 | 14.0% | 2.70G | 2,440 字 | 0.8% | 18.8% | 34.5% | 26.9% |
| ja | 48 | 848,917 | 10.6% | 0.40G | 472 字 | 1.2% | 63.2% | 100% | 0.1% |
最重要の発見: 日本語の本文が極端に短い。 平均 472 字は「見出し+リード文」程度で、日本語フィードの多くが全文を配信していないことを示します。結果として日本語は記事数では 10.6% あるのに、文字数では全体の 1.5%(3.95 億字)しかありません。第 1 期の学習配分・評価設計に直結します(→ 確認事項 3)。
その他の品質メモ:
- title は varchar(100) のため長いタイトルは切り詰め(既知・第 1 期はそのまま使用)
- category は日本語で 100% 欠損、英語も 57% 欠損 → カテゴリを使う学習(分類タスク等)は de/fr 中心か、欠損許容の設計が必要
- link/guid に改行を含む行が 11,069 件、タブを含む行が 301 件 → 前処理で正規化必須(今回の棚卸しでもダンプ行ズレの原因になった)
3. 重複(link / guid)
| 指標 | 値 |
|---|---|
| link ユニーク数 | 7,565,028(全体の 94.7%)→ link 基準の重複は 5.3%(421,260 件) |
| guid 空欄 | 1,725,457 件(21.6%) |
| guid ユニーク数(空欄除く) | 5,787,094 / 6,260,831(guid あり行の 7.6% が重複) |
前処理方針(review03 合意の具体化): 主キーは link で重複除去(→ 実効ユニーク記事約 757 万件)。guid は空欄が 2 割あるため補助キーとして使用。
4. 画像ファイル
第 1 期は学習対象外・棚卸しのみ(review03 合意どおり)。
| 項目 | 値 |
|---|---|
| 総ファイル数 | 16,495,782 |
メイン({id}_1.*) | 7,470,059 |
サムネ({id}_0.*) | 7,198,315 |
| その他の命名 | 1,827,408 |
| 言語別 | en 767 万 / de 479 万 / fr 239 万 / ja 163 万 |
記事数(798 万)に対しメイン画像 747 万 → 9 割強の記事に画像が実在します。 feed_items.img_url の保有率(12〜52%)より遥かに高いので、第 2 期でマルチモーダルを検討する際はファイル実在ベースで設計するのが正解です。
5. コーパス規模の見積もり(第 1 期・テキストのみ)
- 重複除去後の実効記事数: 約 757 万件
- 文字数: 約 26.2G 字 × 94.7% ≈ 24.8G 字
- トークン概算(多言語 BPE 想定: 欧文 ≈ 4 字/トークン、和文 ≈ 1 字/トークン): 欧文 24.4G 字 ÷ 4 ≈ 6.1G トークン + 和文 0.37G 字 ≈ 0.4G トークン → およそ 6.5G(65 億)トークン規模
小型モデルの第 1 期学習には十分な規模です(参考: Chinchilla 則なら 300M パラメータ級モデルの適正トークン数 ≈ 6G)。
省略: 6. インフラ所見(サーバのディスクに関する所見)
7. 確認事項
省略: 確認事項 1(データベースの設定変更)とその回答
- スナップショット方針の確認: 収集が停止していることを実測で確認できたので、 mysqldump などのスナップショットは取らず、前処理は feed_items を直接読む方針で進めてよいですか(今後も収集を再開する予定がなければこれが最も簡単です。再開予定があるなら、前処理開始時点の max(id) を控えて「id ≦ その値」で読みます — どちらでも対応できます)。
アーキテクト回答いったん、スナップショットは取らない、でOKです。
- 日本語の扱い(第 1 期の学習配分): 日本語は文字数で全体の 1.5% しかなく、本文も短文中心です。提案は次のとおりです:
- 第 1 期はそのまま全言語を混ぜて学習(自然比率。日本語性能は限定的になる見込み)
- 日本語だけ title + description + content_text を連結して 1 記事のテキスト量を稼ぐ(他言語は content_text のみ)
アーキテクト回答OKです。
8. 次の作業(フェーズ1 に向けて)
- 確認事項の回答を受けて: トークナイザ学習(多言語 BPE)とシャード設計の具体案を提示
- 前処理パイプライン設計: 正規化(改行/タブ除去、HTML タグ残骸の確認)→ link 重複除去 → 言語タグ付け → トークン化 → シャード化
- クライアント v1・ダッシュボード v1(review08 の確認事項の回答待ち)