手元の構成で、大規模LLMを動かす。
ローカルLLM実験室は、自分のPCで大規模言語モデルを動かすための実験記録です。構成・費用・速度と、うまくいかなかった試みを残します。
検証している構成
Threadripper PRO 3975WX、8チャネルRAM 256GB、RTX 5070 Ti 16GB、Optaneを組み合わせ、CPUとGPUで処理を分担しています。主要部品の購入費は58万円。電源・冷却・ケース・通常SSDなどは別です。
記録すること
- 構成と費用：購入額と部品選び
- 実測記録：入力を読み終える時間と、返答を生成する速度
- 最適化：メモリ配置、入力処理、会話キャッシュ
- 失敗と復旧：速くならない設定、メモリ不足、温度停止
検証と記事の方針
実装や調査にはAIアシスタントも使用しています。自分の環境で測った結果、コミュニティの報告、未検証の仮説を区別します。比較にはモデル・エンジン・量子化・設定・測定範囲を添えます。
短い試験だけで長時間の安定性やモデル全般の品質を断定しません。購入費は購入時点の金額であり、現在の再調達価格ではありません。訂正が必要な場合は記事に追記します。
実験記事は順次準備しています。note「キース」でも発信しています。