JupyterHub のバックアップ(No.16)

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• JupyterHub へ行く。
  • 1 (2023-12-25 (月) 17:51:53)
  • 2 (2023-12-28 (木) 00:57:11)
  • 3 (2023-12-28 (木) 00:57:38)
  • 4 (2023-12-28 (木) 00:59:28)
  • 5 (2023-12-28 (木) 01:00:09)
  • 6 (2023-12-28 (木) 01:01:52)
  • 7 (2023-12-28 (木) 01:03:34)
  • 8 (2023-12-28 (木) 01:33:31)
  • 9 (2024-01-19 (金) 09:58:47)
  • 10 (2024-01-27 (土) 19:57:40)
  • 11 (2024-01-27 (土) 19:58:16)
  • 12 (2024-06-03 (月) 19:05:58)
  • 13 (2024-06-03 (月) 19:06:28)
  • 14 (2024-06-03 (月) 19:07:09)
  • 15 (2024-06-03 (月) 19:07:54)
  • 16 (2024-06-03 (月) 19:11:53)
  • 17 (2024-06-03 (月) 19:12:09)
  • 18 (2024-06-04 (火) 10:00:43)
  • 19 (2024-06-10 (月) 18:41:40)
  • 20 (2024-06-10 (月) 18:54:59)
  • 21 (2024-06-10 (月) 21:35:45)
  • 22 (2024-06-10 (月) 21:36:46)
  • 23 (2024-06-10 (月) 21:52:29)

---

JupyterHub †[edit]

• マルチユーザのための Jupyter サーバー（ユーザ認証機能つき）

• https://github.com/jupyterhub/jupyterhub
• https://github.com/gatoniel/jupyterhub 改良版

• https://jupyterhub.readthedocs.io/en/0.7.2/getting-started.html
• https://horomary.hatenablog.com/entry/2019/11/09/181614

• see also: Jupyter
• see also: Docker, Podman
• see also: Kubernetes, PodmanSpawner
• see also: configurable-http-proxy

• DockerSpawner
• LTIDockerSpawner
• LTIPodmanSpawner

• Moodle+JupyterHub
• 開発
• API

Latest Trouble Shooting †[edit]

Internal Server Error 500 †[edit]

Error starting server XXXX: 500 Server Error for　2024 06/03[edit]

Jun  3 18:07:39 castor1 jupyterhub[8182]: [E 2024-06-03 18:07:39.934 JupyterHub pages:313] 
Error starting server XXXX: 500 Server Error for http+docker://localhost/v1.41/containers/create?name=jupyterhub-XXXX-269-348-el.mml.tuis.ac.jp: Internal Server Error ("container create: creating container storage: the container name "jupyterhub-XXXX-269-348-el.mml.tuis.ac.jp" is already in use by 
156e13cd92fbcaea275b1bfb6508fff5cd46ff923012a6cc1c587468f362ed19. 
You have to remove that container to be able to reuse that name: that name is already in use")

1. volatile-containers.json のエントリ削除でもダメ
2. docker rm 156e13cd92fbcaea275b1bfb6508fff5cd46ff923012a6cc1c587468f362ed19
3. jupyterhub 再起動で直った

2023/12/27 docker.errors.DockerException: Error while fetching server API version: request() got an unexpected keyword argument 'chunked'[edit]

• エラーが出て全く繋がらん！ けしからん！ Proxy を作り直していたので，Proxyのせいかと思って半日潰した！！
• requests が 2.30.0 だと動かんらしい．

  pip install requests==2.29.0 

podman での Internal Server Error 500 †[edit]

• /var/lib/containers/storage/overlay-containers/volatile-containers.json でロックしている模様．
• ロックを外すプログラムを LTIContainerSpawner に実装（2023/12/27）

INSTALL †[edit]

Rocky Linux 8 †[edit]

• Detail Log

pip †[edit]

conda †[edit]

• conda update -c conda-forge jupyterhub -y

for CentOS 8.5 with pip †[edit]

# yum install python3
# pip3 install --upgrade pip
# yum install npm
# npm install -g configurable-http-proxy
# pip install setuptools_rust
# pip install jupyterhub
# pip install dockerspawner
# pip install --upgrade notebook
# pip install --upgrade jupyterlab
# jupyterhub --version
# jupyter --version
# jupyter notebook --version
# jupyter lab --version

2.0.0 with conda †[edit]

Change Log †[edit]

• https://jupyterhub.readthedocs.io/en/stable/changelog.html

Install †[edit]

(base) # conda install -c conda-forge conda==4.11.0 -y
(base) # conda activate jupyterhub
(jupyterhub) # conda update -c conda-forge jupyterhub -y

(jupyterhub) # jupyterhub --upgrade-db
(jupyterhub) # jupyterhub -f .....

podmanspawner.PodmanSpawner †[edit]

• おおっ class のサンプルに Podman がある！
  • と思ったら niklas netter 氏の podmanspawner じゃん

websocket モジュールが無いとのことで起動しなくなった． †[edit]

ModuleNotFoundError: No module named 'websocket'

• conda 環境で websocket をインストール

# conda install -c conda-forge websocket-client

• pip なら　pip install websockets　

データベースのスキーマが合わないとのことで，起動しなくなった． †[edit]

• jupyterhub upgrade-db してもだめなので，/var/lib/jupyterhub 以下を削除

1.4.2 †[edit]

conda を使用 †[edit]

(base) # conda create -n jupyterhub python=3.8 -y 
(base) # conda activate jupyterhub
(jupyterhub) # conda install -c conda-forge notebook -y
(jupyterhub) # conda install -c conda-forge jupyterlab -y
(jupyterhub) # conda install -c conda-forge jupyterhub==1.4.2  -y
(jupyterhub) # conda install -c conda-forge voila -y
(jupyterhub) # conda install jupyter_client -y

(jupyterhub) # git clone https://github.com/jupyterhub/nativeauthenticator.git 
(jupyterhub) # pip install -e nativeauthenticator   (認証モジュール：オプション)
(jupyterhub) # pip install dockerspawner

• ディレクトリのパーミッションの設定を忘れずに！

• nodejs: CentOS7 の場合は nodejs はバージョンが古くて，configurable-http-proxy でエラーが出るので，nodejs をバージョンアップする．

  curl -sL https://rpm.nodesource.com/setup_14.x | bash -
  yum remove nodejs npm -y
  yum install nodejs -y
  node -v

  • nodejs のバージョンがアップしない場合は，/var/tmp/yum-root-* を消す
  • https://rpm.nodesource.com/setup_##.x は非推奨となった．(2023/12/4)
    • see https://github.com/nodesource/distributions

npm install -g configurable-http-proxy
python3 -m pip install jupyterhub
python3 -m pip install dockerspawner
python3 -m pip install --upgrade notebook
python3 -m pip install --upgrade jupyterlab 

Notebook の Docker イメージ †[edit]

# docker pull jupyter/datascience-notebook
# docker pull jupyter/tensorflow-notebook

Version Up 1.0.0 -> 1.4.1 †[edit]

 # conda install -c conda-forge jupyterhub
 # conda install notebook

バージョンの確認 †[edit]

• (jupyterhub) # jupyterhub --version

LTI Authenticator †[edit]

• Moodle と連携する為の 認証モジュール（Moodleの外部サービスを使用）
• 先に authlib を入れておく．
  • conda install oauthlib or pip install oauthlib

• v1.2.0 release (2021 9/2)
  • https://pypi.org/project/jupyterhub-ltiauthenticator/1.2.0/
  • Moodle に対して Patch 不要

(jupyterhub)# pip install --upgrade jupyterhub-ltiauthenticator

設定 †[edit]

• https://zero-to-jupyterhub.readthedocs.io/en/latest/customizing/index.html
• https://zero-to-jupyterhub.readthedocs.io/en/latest/administrator/index.html

• jupyterhub --generate-config を実行すると カレントディレクトリに設定ファイル jupyterhub_config.py が生成される．
• 個人的には jupyterhub が /usr/local 以下にある場合は /usr/local/etc/jupyterhub 以下に置く．
• 設定ファイルは拡張子が .py でないと，読み込まれない場合がある？

Authenticator Class (authenticator_class) †[edit]

auth.DummyAuthenticator †[edit]

• その名の通りダミー．認証無し．
• 全てのユーザを許可する．（一応パスワード入力欄は表示される）

jupyterhub.auth.PAMAuthenticator （default） †[edit]

• 認証にPAMを使用する．恐らくサービスは login
• v1.1.0 にバグあり. Trouble Shooting 参照．

nativeauthenticator.NativeAuthenticator †[edit]

• 追加モジュール（オプション）
• 詳細は検証中

LDAP: ldapauthenticator.LDAPAuthenticator †[edit]

• LDap 認証用．
• モジュールのInstall

  (jupyterhub) # conda install -c conda-forge jupyterhub-ldapauthenticator -y

• jupyterhub_config.py

  102 # for LDAP
  103 c.JupyterHub.authenticator_class = 'ldapauthenticator.LDAPAuthenticator'
  104 #c.LDAPAuthenticator.server_address = '202.26.150.*'
  105 c.LDAPAuthenticator.server_address = '202.26.144.*'
  106 c.LDAPAuthenticator.use_ssl = True
  107
  108 ## AD: template 付き（ユーザバインド）
  109 c.LDAPAuthenticator.lookup_dn = False
  110 c.LDAPAuthenticator.bind_dn_template = [
  111     'cn={username},ou=教員,ou=ユーザー,dc=edutuis,dc=local',
  112     'cn={username},ou=学生,ou=ユーザー,dc=edutuis,dc=local'
  113 ]
  114 c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
  115 c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
  116
  117 ## AD: template なし
  118 #c.LDAPAuthenticator.lookup_dn = True
  119 #c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
  120 #c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
  121 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=ldapauth,cn=users,dc=edutuis,dc=local'
  122 #c.LDAPAuthenticator.lookup_dn_search_password = '*****'
  123 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
  124
  125 ## NSL: username から dn が探せる場合（ユーザバインド）
  126 #c.LDAPAuthenticator.lookup_dn = False
  127 #c.LDAPAuthenticator.bind_dn_template = 'cn={username},ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
  128
  129 ## NSL: ツリーを検索する場合
  130 #c.LDAPAuthenticator.lookup_dn = True
  131 #c.LDAPAuthenticator.user_search_base = 'ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
  132 #c.LDAPAuthenticator.user_attribute = 'uid'
  133 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=Manager'
  134 #c.LDAPAuthenticator.lookup_dn_search_password = '*******'
  135 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
  136

LTI モジュール †[edit]

Server Class †[edit]

jupyterhub.spawner.LocalProcessSpawner （default） †[edit]

• LocalProcessSpawner
• サーバに，各ユーザの環境でアクセスできる.
• Jupiter Notebook はサーバにインストールされている物を使用する．
• 通常作業ディレクトリは /home/{username}/notebook 　 (v1.0.0 はディレクトリ指定にバグが有る模様)
• 使用ポートは 8000/tcp, 8081/tcp

jupyterhub.spawner.SimpleLocalProcessSpawner †[edit]

• 名前がややこしい
• 詳細は不明（検証する気はあまりない）

dockerspawner.DockerSpawner †[edit]

• DockerSpawner
• https://github.com/jupyterhub/dockerspawner
• サーバでユーザ毎に Docker でNotebook コンテナを起動して接続．
• 作業ホームは /home/jovjan/work 固定（多分 Docker Image固定）
• 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp
• Install

  (jupyterhub) # pip --no-cache-dir install git+https://github.com/jupyterhub/dockerspawner.git
  or
  (jupyterhub) # pip install dockerspawner

dockerspawner.SystemUserSpawner †[edit]

• SystemUserSpawner
• https://github.com/jupyterhub/dockerspawner/blob/master/dockerspawner/systemuserspawner.py

• dockerspawner.DockerSpawner からの派生クラス
• DockerSpawner と同じパッケージ？　特にインストールしていないが，既に入っていた．
• jovyan ではなく，ログインユーザで使用可．ログインユーザのホームディレクトリをマウントする．
• ただしログインユーザの情報がローカルに取れない場合（LDAPのユーザバインドでログインした場合），ホームディレクトリ等の情報が無いので途中でエラーを起こす．
  • 作りこめば大丈夫かもしれん．

dockerspawner.SwarmSpawner †[edit]

• SwarmSpawner
• dockerspawner.DockerSpawner からの派生クラス
• DockerSpawner と同じパッケージ
• クラスタリング用．
• コンテナを Docker Compose で管理し，複数のサーバー上で実行できる．
• 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp, 2377/tcp, 7946/tcp, 7946/udp, 4789/udp

niicloudoperation/jupyterhub-singleuser †[edit]

• NII開発．自由度低し（個人的感想）．CoursewareHub 用 Server Class
• https://github.com/NII-cloud-operation/CoursewareHub-LC_platform
• Document: https://github.com/nii-gakunin-cloud/ocs-templates
• dockerspawner.SwarmSpawner からの派生クラス
• 検証中
• INSTALL

  (jupyterhub) # git clone https://github.com/NII-cloud-operation/CoursewareHub-LC_platform.git
  (jupyterhub) # cd CoursewareHub-LC_platform/jupyterhub/spawner
  (jupyterhub) # pip --no-cache-dir install .

jovyan って誰？ †[edit]

• DockerSpawner を使用すると，作業ディレクトリが /home/jovyan/work 固定なのだが？
• c.DockerSpawner.notebook_dir 辺りをいじっても変化しない？
• https://github.com/jupyter/docker-stacks/issues/358

実行 †[edit]

前準備 †[edit]

# cd /etc/pki/tls
# openssl req -new -newkey rsa:2048 -days 3650 -nodes -keyout private/key.pem -out server.csr
# openssl x509 -in server.csr -days 3650 -req -signkey private/key.pem -out certs/server.pem
# vi  /usr/local/etc/jupyterhub/jupyterhub_config.py

# mkdir /var/lib/jupyterhub

実行 †[edit]

(base) # conda activate jupyterhub
(jupyterhub) # jupyterhub -f /usr/local/etc/jupyterhub/jupyterhub_config.py

• --no-ssl は0.7で廃止された

Log †[edit]

LC_nblineage †[edit]

• https://github.com/NII-cloud-operation/Jupyter-LC_nblineage
  • lab では動かない！

LC_wrapper †[edit]

• https://github.com/NII-cloud-operation/Jupyter-LC_wrapper

情報ソース †[edit]

Notebook †[edit]

Docker Images †[edit]

* niicloudoperation/notebook †[edit]

• docker pull niicloudoperation/notebook

Spawner †[edit]

Docker †[edit]

• https://github.com/jupyterhub/dockerspawner

Podman †[edit]

• https://github.com/gatoniel/podmanspawner

Kubernetes †[edit]

• https://github.com/jupyterhub/zero-to-jupyterhub-k8s
• https://zero-to-jupyterhub.readthedocs.io/en/latest/

DB †[edit]

MySQL †[edit]

• SQLAlchemy で PyMySQL ドライバを使用する
• pool_recycle の設定を忘れずに！
• charset は urf8mb4

NVIDIA †[edit]

Driver †[edit]

nouveau ドライバ（デフォルトのグラフィックドライバ）を止める †[edit]

• lsmod | grep nouveau でドライバ確認
• /etc/default/grab のオプションに rd.driver.blacklist=nouveau を追加
• カーネル設定ファイルの作り直し
  • grub2-mkconfig -o /boot/grub2/grub.cfg (RedHat系)
  • grub-mkconfig -o /boot/grub/grub.cfg (Debian系)

Driver †[edit]

• nvidia-driver, cuda をインストール

Docker †[edit]

• nvidia-container-toolkit が必要
  • コンテナ内からホストのGPUを使う
  • nvidia-smi などのコマンドがインストールされる．

Tool Kit †[edit]

• CUDA Toolkit : https://developer.nvidia.com/cuda-toolkit-archive
• Tool Kit をインストールするとドライバもインストールされる？　（未確認）

Docker †[edit]

• docker run --gpus all nvidia/cuda:12.2.0-devel-ubuntu20.04 nvidia-smi
  • Failed to initialize NVML: Unknown Error
  • ホストの /etc/nvidia-container-runtime/config.toml を編集して，no-cgroups = false にする．

Trouble Shooting †[edit]

どうしても特定ユーザがログインできない（Podman）[edit]

• /var/lib/containers/storage/overlay-containers/volatile-containers.json [#odf3b895]

Request Failed(Internal Server Error): container create: creating container storage: the container name \".........\" is already in use by ........ You have to remove that container to be able to reuse that name: that name is already in use.

ltiauthenticator †[edit]

• https://pypi.org/project/jupyterhub-ltiauthenticator/

Jupyterhub 4.0.0 †[edit]

• 403 : Forbidden '_xsrf' argument missing from POST のエラー
  • JupyterHub で XSRFのチェックを強化したらしい

• /usr/local/lib/python3.9/site-packages/jupyterhub/handlers/base.py
  • def check_xsrf_cookie(self)
    • super().check_xsrf_cookie() で例外発生
    • 親は tornado のRequestHandlerか？
• 2023 5/29 時点でこのバグは修正されている．

JupyterLab †[edit]

JupyterHub をバージョンアップしたら Jupyter Labが起動しなくなった． †[edit]

• 起動する JupyterHub（ex. 2.0.1）とイメージ内のJupyterHub（ex. 1.4.1）が違うとデフォルトで Jupyter Labが起動しなくなるようだ．

日本語のBUG †[edit]

• 日本語のファイルやディレクトリでコピーなどを行うと errno 13 のエラーが起きる．でもコピーはちゃんと行われる．エラーを消したい．

PAM †[edit]

JupyterHub: PAM使用時に 再login するとPAMの認証エラーになる． †[edit]

• 認証モジュールに jupyterhub.auth.PAMAuthenticator を使用した場合，再Loginで失敗
  • c.JupyterHub.authenticator_class = 'jupyterhub.auth.PAMAuthenticator'
• バグだろ．
• Resolve: jupyterhub_config.py に c.PAMAuthenticator.open_sessions = False を追加する
• see: https://github.com/jupyterhub/jupyterhub/issues/486

swarm モードだと v1.1.0 でPAM認証のエラーを起こす． †[edit]

• 上記バグもこれか？
• 1.0.0 に戻す．

  (jupyterhub) # conda uninstall jupyterhub
  (jupyterhub) # conda -c conda-forge install jupyterhub==1.0.0

homeディレクトの名前を変えたら，ログインできなくなった †[edit]

• /.cache, ~/.jupyter, ~/.local ができているので消す．

Programing †[edit]

docker †[edit]

• https://docker-py.readthedocs.io/en/stable/api.html

• APIClient 呼び出しメソッド順
  • inspect_image
  • inspect_container
  • inspect_image
  • start
  • port

podman †[edit]