Local LLM
をテンプレートにして作成
[
トップ
] [
タイトル一覧
|
ページ一覧
|
新規
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* Local LLM
*** RTX 6000
**** GPU
+ NVIDIA のドライバーをインストール
-- dkms status でカーネルモジュールの構築・登録状態を確認
-- nvidia-smi でドライバーの動作とGPUの認識を確認
+ カーネルの versionlock 設定
-- versionlock を設定
+ CUDA Toolkitのインストールと動作確認
-- nvcc --version で CUDAコンパイラのバージョンを確認
-- deviceQuery で CUDAプログラムの実行を確認
**** 環境
+ LLM実行用ユーザーとグループの作成
+ LLM用ディレクトリの構成
+ Python 3.12 の追加
**** LLM実行環境の構築と確認
+ Transformers実験用の Python仮想環境の構築
+ PyTorchの導入と GPU確認
+ Transformersによる LLM推論
**** モデルの選定
- Qwen3-32B (BF16) と Qwen3-32B-FP8, Qwen3-Swallow-32B-RL...
-- 推論速度，GPUメモリ使用量，出力品質を確認
-- 通常対話用：Qwen3-32B-FP8
-- 日本語研究対話用：Qwen3-Swallow-32B-RL-v0.2
****
終了行:
* Local LLM
*** RTX 6000
**** GPU
+ NVIDIA のドライバーをインストール
-- dkms status でカーネルモジュールの構築・登録状態を確認
-- nvidia-smi でドライバーの動作とGPUの認識を確認
+ カーネルの versionlock 設定
-- versionlock を設定
+ CUDA Toolkitのインストールと動作確認
-- nvcc --version で CUDAコンパイラのバージョンを確認
-- deviceQuery で CUDAプログラムの実行を確認
**** 環境
+ LLM実行用ユーザーとグループの作成
+ LLM用ディレクトリの構成
+ Python 3.12 の追加
**** LLM実行環境の構築と確認
+ Transformers実験用の Python仮想環境の構築
+ PyTorchの導入と GPU確認
+ Transformersによる LLM推論
**** モデルの選定
- Qwen3-32B (BF16) と Qwen3-32B-FP8, Qwen3-Swallow-32B-RL...
-- 推論速度，GPUメモリ使用量，出力品質を確認
-- 通常対話用：Qwen3-32B-FP8
-- 日本語研究対話用：Qwen3-Swallow-32B-RL-v0.2
****
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
