Local LLM の履歴(No.10)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Local LLM へ行く。
  • 1 (2026-07-31 (金) 19:41:17)
  • 2 (2026-07-31 (金) 19:42:52)
  • 3 (2026-07-31 (金) 19:44:54)
  • 4 (2026-07-31 (金) 19:45:37)
  • 5 (2026-07-31 (金) 19:48:28)
  • 6 (2026-07-31 (金) 19:51:09)
  • 7 (2026-07-31 (金) 19:56:12)
  • 8 (2026-07-31 (金) 19:58:16)
  • 9 (2026-07-31 (金) 20:02:15)
  • 10 (2026-07-31 (金) 20:02:36)
  • 11 (2026-07-31 (金) 20:06:12)
  • 12 (2026-07-31 (金) 20:11:45)
  • 13 (2026-07-31 (金) 20:12:07)

Local LLM[edit]

RTX 6000[edit]

GPU[edit]

1. NVIDIA のドライバーをインストール
   • dkms status でカーネルモジュールの構築・登録状態を確認
   • nvidia-smi でドライバーの動作とGPUの認識を確認
2. カーネルの versionlock 設定
   • versionlock を設定
3. CUDA Toolkitのインストールと動作確認
   • nvcc --version で CUDAコンパイラのバージョンを確認
   • deviceQuery で CUDAプログラムの実行を確認

環境[edit]

1. LLM実行用ユーザーとグループの作成
2. LLM用ディレクトリの構成
3. Python 3.12の追加

LLM実行環境の構築と確認[edit]

1. Transformers実験用の Python仮想環境の構築
2. PyTorchの導入と GPU確認
3. Transformersによる LLM推論