Local LLM[edit]

RTX 6000[edit]

GPU[edit]
  1. NVIDIA のドライバーをインストール
  2. カーネルの versionlock 設定
  3. CUDA の動作確認
環境[edit]
  1. LLM用ディレクトリの構成
  2. LLM実行用ユーザーとグループの作成
  3. Python 3.12の追加
確認[edit]
  1. Transformers実験用の Python仮想環境の構築
  2. PyTorchの導入と GPU確認
  3. Transformersによる LLM推論

トップ   新規 ページ一覧 検索 最終更新   ヘルプ   最終更新のRSS