zxell.ai
トップ / フェーズ別まとめ資料 · English

フェーズ別まとめ資料

zxell.ai は、ニュース記事のコーパスから言語モデルをイチから作り、家庭用の低スペックなマシン群に学習を分散させる実験です。ここでは、ロードマップの各フェーズで作成した内部レポートを、書いたときの内容のまま公開しています。

この資料は、プロジェクト内部のレポートを公開用に編集したものです。サーバ運用・セキュリティに関わる部分と、コーパスの詳細は省略しています(省略箇所には印があります)。
フェーズ 0: 定量把握と法務整理
zxell.ai ロードマップ(清書版 v2)
プロジェクトの目的・成功基準、確定事項の一覧、実測にもとづくモデル規模と計算量の見積もり、分散方式、フェーズ計画、リスク
フェーズ0: データ棚卸しレポート
コーパスの棚卸し結果: 記事数・言語別の分布と品質・重複率・画像の実在率と、そこから見積もったトークン数(約 65 億)
フェーズ 1: 単一マシンベースライン
zxell.ai トークナイザ比較レポート(再生成版)
SentencePiece BPE の語彙 48k と 64k を比較し、48k を採用。言語別の圧縮効率、語彙の中身、分割の実例
フェーズ1 で使った基盤のメソッド一覧 — LLM 学習に直接かかわるもの(モジュール別)
フェーズ1 のコードが、SentencePiece と PyTorch のどのメソッドに頼っているかの一覧。モデル本体で自前で書いた部分と、基盤に任せた部分の境界
フェーズ 1: クライアント(RTX 3060 機)側のファイル構成とデータ仕様
S ベースラインの学習でクライアント機に置かれたファイルの構成と形式: シャード、メタデータ、学習ログ、チェックポイント