zxell.aizxell.ai プロジェクト定義
次のプロジェクトの目的達成に向けて、設計方針案、課題など、ロードマップ策定に必要な事項を整理してください。結果はテキストファイルとして出力してください。
１）プロジェクト目的
誰もやったことがないくらい分散処理に特化した独自のAIモデルをイチから作る。
２）プロジェクト概要
コーパスは世界のニュースの私設アーカイブ5年分（英語が過半数、その他はドイツ語、フランス語、日本語）＋その要約。
- 記事は、タイトル、要約、カテゴリ、本文のセットで、40～45GB
- 各記事にサムネイル画像（×0または1）、メイン画像（×0または1）
それを学習させた時にどのくらいの知能になったかを試す体験をし、そこから有意・定量的な知見を得る。例えば、
- 新しい記事を要約してくれる
- 人物や出来事に関する質問に答えてくれる
３）制 約
サーバの調達についてま、下記のようなまともなスペックの環境は資金的に難しい。
- AWS EC2: p4d.24xlarge
- RTX 4090（24GB VRAM）
アーキテクト回答プロジェクトの主旨に「分散指向」を付け加える。つまり、低スペックなクライアント複数台に処理を分散してスペック差を補う。
例：Webサーバのように情報を蓄え統括しているサイトがあり、複数のクライアントがそこからデータをGETし、演算結果をPOSTする。
クライアントは外部サーバからGETしたデータの結果をこちらにPOSTしてもよいことにできればなおよい。
例：Webサーバのように情報を蓄え統括しているサイトがあり、複数のクライアントがそこからデータをGETし、演算結果をPOSTする。
クライアントは外部サーバからGETしたデータの結果をこちらにPOSTしてもよいことにできればなおよい。
４）要 件
- 最終的に処理状況を可視化できるようになっていること。 Spreadsheets are all you need.ai （https://spreadsheets-are-all-you-need.ai/gpt2/） が参考になる？