你有沒(méi)有過(guò)這樣的經(jīng)歷自己電腦上開(kāi)著 Jupyter Notebook 跑一個(gè)深度學(xué)習(xí)訓(xùn)練任務(wù)筆記本風(fēng)扇呼呼轉(zhuǎn)了一下午剛合上蓋帶出門(mén)回來(lái)發(fā)現(xiàn)內(nèi)核早就斷了中間結(jié)果全部作廢。數(shù)據(jù)一大光是把訓(xùn)練集傳到本地就夠折騰更別說(shuō)內(nèi)存動(dòng)不動(dòng)爆紅。后來(lái)我干脆把 Jupyter 整套環(huán)境放到 Linux 服務(wù)器上讓它自己在后臺(tái)跑。這個(gè)遷移解決了我的大問(wèn)題代碼和數(shù)據(jù)都放在服務(wù)器上瀏覽器隨時(shí)能訪問(wèn)筆記本合蓋、斷電、換網(wǎng)絡(luò)都不影響正在跑的進(jìn)程。這篇文章就圍繞如何在 Linux 服務(wù)器上穩(wěn)定后臺(tái)運(yùn)行 Jupyter Notebook / JupyterLab這件事把我實(shí)際用下來(lái)最順手的一套安裝、配置、啟動(dòng)、遠(yuǎn)程訪問(wèn)和排錯(cuò)方法完整寫(xiě)一遍。無(wú)論你是想搭個(gè)人實(shí)驗(yàn)環(huán)境還是要在團(tuán)隊(duì)服務(wù)器上提供多人開(kāi)發(fā)入口都可以直接照著操作。1. 先把方案想清楚服務(wù)器跑 Jupyter 的正確姿勢(shì)1.1 為什么要把 Jupyter 搬到服務(wù)器上我接觸過(guò)的不少朋友一開(kāi)始是在自己電腦上裝 Anaconda 然后跑 Jupyter數(shù)據(jù)量和模型小的時(shí)候確實(shí)方便。但一旦進(jìn)入真實(shí)項(xiàng)目階段問(wèn)題會(huì)接二連三冒出來(lái)第一算力不夠尤其跑大模型、處理 CSV 幾十 GB 的時(shí)候筆記本內(nèi)存直接打滿風(fēng)扇聲音大得像要起飛第二斷電、休眠、合蓋都會(huì)殺掉正在執(zhí)行的 kernel跑了一半的訓(xùn)練說(shuō)沒(méi)就沒(méi)又得從頭來(lái)第三數(shù)據(jù)分散今天在臺(tái)式機(jī)寫(xiě)明天想用筆記本看結(jié)果文件同步來(lái)同步去版本還容易亂。放到 Linux 服務(wù)器上這些問(wèn)題基本都消失了。服務(wù)器 7x24 小時(shí)開(kāi)機(jī)你可以隨時(shí)通過(guò)瀏覽器訪問(wèn) Jupyter 界面計(jì)算資源集中內(nèi)存、CPU、GPU 都好規(guī)劃多人協(xié)作時(shí)各自建目錄共用同一套數(shù)據(jù)和環(huán)境關(guān)鍵是你把 SSH 會(huì)話一斷Jupyter 還在后臺(tái)活著。整個(gè)過(guò)程里后臺(tái)運(yùn)行這四個(gè)字是核心中的核心。很多人第一步就栽在這里直接在終端敲jupyter lab看著能跑一關(guān) SSH 窗口服務(wù)就沒(méi)了。所以方案選型要從一開(kāi)始就定清楚。1.2 后臺(tái)運(yùn)行的三種方式怎么選在 Linux 下讓一個(gè)程序脫離終端持續(xù)運(yùn)行最常見(jiàn)的手段是這三種方案原理優(yōu)點(diǎn)缺點(diǎn)適合場(chǎng)景nohup讓進(jìn)程忽略掛斷信號(hào)SIGHUP配合放后臺(tái)命令簡(jiǎn)單、零依賴、一條命令搞定無(wú)法重新接回交互界面日志管理糙進(jìn)程意外退出沒(méi)人管臨時(shí)任務(wù)、快速驗(yàn)證、一次性腳本tmux終端復(fù)用器程序跑在 tmux 會(huì)話里可隨時(shí) attach/detach能重新回到交互終端適合調(diào)試多窗口管理方便需要安裝 tmux如果服務(wù)器重啟會(huì)話不會(huì)自動(dòng)恢復(fù)日常開(kāi)發(fā)、需要反復(fù)查看輸出、同時(shí)跑多個(gè)任務(wù)的場(chǎng)景systemd由系統(tǒng)初始化進(jìn)程托管服務(wù)做成 systemd unit開(kāi)機(jī)自啟、崩潰自動(dòng)拉起、統(tǒng)一日志、支持資源限制配置稍復(fù)雜需要 root 權(quán)限脫離交互式終端調(diào)試不夠直觀生產(chǎn)環(huán)境、長(zhǎng)期對(duì)外服務(wù)、團(tuán)隊(duì)共用入口我個(gè)人的建議很直接如果你只是臨時(shí)在服務(wù)器上跑個(gè)數(shù)據(jù)分析nohup足夠了如果你要長(zhǎng)期維護(hù)一個(gè)開(kāi)發(fā)環(huán)境別偷懶直接用 systemd 把它變成系統(tǒng)服務(wù)。tmux 則適合夾在中間的場(chǎng)景——想保留交互界面又不想用系統(tǒng)服務(wù)管理時(shí)tmux 是最好用的。后面我會(huì)把三種方式的具體操作都寫(xiě)出來(lái)你自己按需求抄作業(yè)就行。1.3 訪問(wèn)方式也要提前定直接開(kāi)端口還是走 SSH 隧道后臺(tái)運(yùn)行只是第一步接下來(lái)你要考慮的是我怎么訪問(wèn)它。這條路徑其實(shí)有兩個(gè)方向。方向一直接把 Jupyter 的端口對(duì)外暴露比如監(jiān)聽(tīng)0.0.0.0:8888然后通過(guò)http://服務(wù)器IP:8888訪問(wèn)。好處是瀏覽器隨便開(kāi)、手機(jī)也能連、團(tuán)隊(duì)同事也能用,壞處是服務(wù)器暴露在公網(wǎng)掃描器的視野里必須配置強(qiáng)密碼和 HTTPS否則風(fēng)險(xiǎn)很高。方向二只讓 Jupyter 監(jiān)聽(tīng)127.0.0.1訪問(wèn)時(shí)通過(guò) SSH 隧道把本地端口映射到服務(wù)器的 8888 端口。這種方式完全不開(kāi)放新端口到公網(wǎng)數(shù)據(jù)走 SSH 加密傳輸安全性最好缺點(diǎn)是對(duì)非技術(shù)同事不太友好每個(gè)人都要會(huì)一點(diǎn) SSH 命令。除此之外還有第三種進(jìn)階玩法用 Nginx 做反向代理把 Jupyter 掛到域名/jupyter路徑下外面走 HTTPS背后代理到本機(jī) 8888。這個(gè)適合團(tuán)隊(duì)統(tǒng)一入口稍后我也會(huì)給出關(guān)鍵配置。先把訪問(wèn)模式定下來(lái)后面安裝配置時(shí)就不會(huì)來(lái)回改。2. 環(huán)境準(zhǔn)備從零到能跑通 Jupyter2.1 裝一個(gè)干凈可用的 Python 環(huán)境大多數(shù) Linux 發(fā)行版自帶的系統(tǒng) Python 都比較保守版本老不說(shuō)直接pip install還經(jīng)常碰到系統(tǒng)保護(hù)限制。我的建議是裝 Miniconda用獨(dú)立環(huán)境跑 Jupyter這樣 Python 版本、依賴包都自己控制不會(huì)污染系統(tǒng)環(huán)境也不會(huì)被別人誤改掉。下載安裝 Miniconda 的命令如下wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3-b表示靜默安裝-p指定安裝路徑。裝在/opt下適合多用戶共用這臺(tái)服務(wù)器如果你只是個(gè)人使用也可以不指定路徑直接裝在~/miniconda3。裝完之后初始化一下/opt/miniconda3/bin/conda init然后新建一個(gè)專門(mén)跑 Jupyter 的環(huán)境避免和別的項(xiàng)目打架conda create -n jupyter python3.10 -y conda activate jupyter這里我選 Python 3.10兼容性很好不管是新版 JupyterLab 還是主流深度學(xué)習(xí)框架都能覆蓋。如果你有特殊需求要 3.11 或 3.12 也沒(méi)問(wèn)題把版本號(hào)換掉即可。2.2 安裝 Jupyter Notebook 和 JupyterLab環(huán)境激活后直接用 pip 安裝是最省事的。JupyterLab 是 Notebook 的新一代界面功能更全我建議兩個(gè)都裝著不沖突pip install jupyterlab notebook -i https://pypi.tuna.tsinghua.edu.cn/simple國(guó)內(nèi)服務(wù)器用清華 PyPI 鏡像速度會(huì)快很多。裝完驗(yàn)證一下版本jupyter lab --version jupyter notebook --version這里有個(gè)容易混淆的點(diǎn)Notebook 7 之后jupyter notebook命令仍然是兼容的但底層的架構(gòu)已經(jīng)和舊版不一樣了很多老配置文件里的NotebookApp不再生效要改成ServerApp。如果你在網(wǎng)上搜到老的教程看到c.NotebookApp.ip這種寫(xiě)法要注意它只對(duì)舊版起作用新版請(qǐng)用c.ServerApp.ip。我下面給的配置都以新版為準(zhǔn)。2.3 生成配置文件并設(shè)置密碼安裝完后的第一件事不是急著啟動(dòng)而是先初始化配置文件和密碼。很多人第一次跑 Jupyter 會(huì)看到一堆 token 輸出還得復(fù)制到瀏覽器里非常麻煩。我現(xiàn)在都是先設(shè)置一個(gè)強(qiáng)密碼一勞永逸。# 生成主配置文件 jupyter lab --generate-config # 交互式設(shè)置密碼 jupyter server passwordjupyter server password會(huì)提示你輸入兩次密碼然后自動(dòng)把加密后的密碼寫(xiě)入~/.jupyter/jupyter_server_config.json。這個(gè)文件內(nèi)容大概長(zhǎng)這樣{ IdentityProvider: { token: ... }, ServerApp: { password: argon2:$argon2id$v19$m65536,t3,p4$... } }之后使用密碼登錄就不需要再?gòu)?fù)制 token 了。生成的主配置文件在~/.jupyter/jupyter_lab_config.py里面全是注釋模板真正需要手工改的核心配置我用下面這幾個(gè)就足夠c.ServerApp.ip 0.0.0.0 c.ServerApp.port 8888 c.ServerApp.open_browser False c.ServerApp.password argon2:$argon2id$v19$m65536,t3,p4$... c.ServerApp.root_dir /data/workspace c.ServerApp.allow_root False說(shuō)明一下各字段的作用ip是監(jiān)聽(tīng)的地址0.0.0.0表示接受所有網(wǎng)卡上的連接port是服務(wù)端口默認(rèn) 8888 可以換open_browser必須設(shè)為 False因?yàn)榉?wù)器上根本沒(méi)有瀏覽器可彈root_dir是 Jupyter 打開(kāi)后默認(rèn)的工作目錄建議單獨(dú)建一個(gè)數(shù)據(jù)目錄allow_root保持 False除非你確實(shí)需要用 root 用戶來(lái)跑強(qiáng)烈不建議。如果你走 SSH 隧道訪問(wèn)ip應(yīng)該改成127.0.0.1這個(gè)我們?cè)诘?4 部分細(xì)說(shuō)。3. 核心實(shí)操三種后臺(tái)運(yùn)行方式手把手復(fù)現(xiàn)3.1 最快速的 nohup 啟動(dòng)先看臨時(shí)場(chǎng)景怎么用。假設(shè)你已經(jīng)配置好了現(xiàn)在想在后臺(tái)把 JupyterLab 拉起來(lái)最簡(jiǎn)單的是這樣cd /data/workspace nohup /opt/miniconda3/envs/jupyter/bin/jupyter-lab \ --config/home/jupyter/.jupyter/jupyter_lab_config.py \ /data/logs/jupyter.log 21 echo $! /data/logs/jupyter.pid拆解一下nohup讓進(jìn)程忽略 SIGHUP 信號(hào)也就是即使終端關(guān)閉它也不會(huì)被掛斷是把命令放到后臺(tái)執(zhí)行 /data/logs/jupyter.log 21把標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤都寫(xiě)進(jìn)同一個(gè)日志文件echo $!是記錄剛啟動(dòng)的后臺(tái)進(jìn)程 PID方便之后查看或 kill。驗(yàn)證是否啟動(dòng)成功cat /data/logs/jupyter.pid ps -p $(cat /data/logs/jupyter.pid) -f tail -f /data/logs/jupyter.log看到 PID 為存活狀態(tài)日志里沒(méi)有報(bào)錯(cuò)就可以瀏覽器訪問(wèn)了。要停止服務(wù)也很簡(jiǎn)單kill $(cat /data/logs/jupyter.pid)。但說(shuō)實(shí)話nohup 只適合應(yīng)急。它有幾個(gè)很尷尬的坑一是如果進(jìn)程因異常退出沒(méi)有人會(huì)自動(dòng)把它拉起來(lái)二是日志文件會(huì)越來(lái)越大要注意清理三是你沒(méi)法直接看到 Jupyter 終端里的交互輸出想調(diào)試 kernel 得靠日志猜。所以長(zhǎng)期使用的話我更推薦下面的 tmux 或 systemd 方案。3.2 最靈活的 tmux 后臺(tái)駐留tmux 是終端復(fù)用器它可以讓你在服務(wù)器上開(kāi)一個(gè)虛擬終端窗口然后把 Jupyter 跑在里面。關(guān)鍵點(diǎn)是你隨時(shí)可以再 attach 回這個(gè)窗口看到 Jupyter 的實(shí)時(shí)輸出也能執(zhí)行 CtrlC 之類的快捷鍵。這在調(diào)試 Jupyter 啟動(dòng)參數(shù)的時(shí)候比 nohup 舒服太多了。先確認(rèn)有沒(méi)有裝# Ubuntu / Debian sudo apt install tmux # CentOS / RHEL sudo yum install tmux然后建一個(gè)專門(mén)跑 Jupyter 的會(huì)話tmux new -s jupyter進(jìn)入 tmux 窗口后正常執(zhí)行啟動(dòng)命令即可cd /data/workspace /opt/miniconda3/envs/jupyter/bin/jupyter-lab --config/home/jupyter/.jupyter/jupyter_lab_config.py看到 Jupyter 啟動(dòng)日志后按Ctrlb然后松開(kāi)再按d就能從 tmux 會(huì)話中脫離detach而不中斷里面的進(jìn)程。之后你的 SSH 終端可以隨意關(guān)閉Jupyter 依然活著。下次要回去看日志執(zhí)行tmux attach -t jupyter如果想開(kāi)多個(gè)會(huì)話比如一個(gè)跑 Jupyter一個(gè)用 htop 看負(fù)載就在 tmux 里按Ctrlb后按%左右分屏或上下分屏自由切換。查會(huì)話列表用tmux ls徹底干掉某會(huì)話用tmux kill-session -t jupyter。tmux 明顯比 nohup 靈活但服務(wù)器重啟后 tmux 會(huì)話不會(huì)自動(dòng)恢復(fù)需要手工重新拉起。這其實(shí)也還好因?yàn)榉?wù)器真重啟了里面的服務(wù)本來(lái)就該由系統(tǒng)層面來(lái)管了。3.3 最規(guī)范的 systemd 服務(wù)化管理如果你和我一樣希望 Jupyter 像 Nginx、MySQL 一樣作為系統(tǒng)服務(wù)存在開(kāi)機(jī)自啟、崩潰自動(dòng)拉起那就用 systemd。它的配置看起來(lái)多一點(diǎn)但寫(xiě)完一次能舒服很久。第一步創(chuàng)建服務(wù)文件sudo vim /etc/systemd/system/jupyter.service寫(xiě)入以下內(nèi)容[Unit] DescriptionJupyter Lab Service Afternetwork.target [Service] Typesimple Userjupyter Groupjupyter WorkingDirectory/data/workspace EnvironmentPATH/opt/miniconda3/envs/jupyter/bin:/usr/local/bin:/usr/bin:/bin ExecStart/opt/miniconda3/envs/jupyter/bin/jupyter-lab --config/home/jupyter/.jupyter/jupyter_lab_config.py Restartalways RestartSec10 [Install] WantedBymulti-user.target這里面有幾個(gè)點(diǎn)值得展開(kāi)說(shuō)。User和Group我強(qiáng)烈建議指定普通用戶不要用 root。Jupyter 的用戶權(quán)限如果過(guò)高Web 端一旦被攻破整個(gè)服務(wù)器就裸奔了。我用的是叫jupyter的系統(tǒng)用戶給它分配了/data/workspace目錄寫(xiě)權(quán)限。ExecStart里我寫(xiě)了 Jupyter 二進(jìn)制文件的絕對(duì)路徑/opt/miniconda3/envs/jupyter/bin/jupyter-lab。這不是廢話而是避坑systemd 啟動(dòng)進(jìn)程時(shí)不會(huì)加載你的~/.bashrc如果你寫(xiě)的是裸命令jupyter-lab經(jīng)常會(huì)出現(xiàn)找不到命令或環(huán)境變量不對(duì)的問(wèn)題。最穩(wěn)妥的方式就是用which jupyter-lab查一下完整路徑填進(jìn)去。Restartalways表示進(jìn)程意外退出后自動(dòng)重啟間隔RestartSec10秒。這樣 kernel 崩潰、內(nèi)存被某些任務(wù)打爆導(dǎo)致 Jupyter 退出后它自己能活回來(lái)。StandardOutput和StandardError我故意沒(méi)寫(xiě)讓日志默認(rèn)走 journald。這樣查日志一條命令搞定sudo systemctl daemon-reload sudo systemctl enable --now jupyter sudo systemctl status jupyter journalctl -u jupyter -fenable --now表示設(shè)置開(kāi)機(jī)自啟并立即啟動(dòng)。之后你會(huì)看到類似Active: active (running)的狀態(tài)。如果啟動(dòng)失敗journalctl -u jupyter -f能立刻看到報(bào)錯(cuò)原因。如果確實(shí)想用文件日志也可以加這兩行StandardOutputappend:/data/logs/jupyter.log StandardErrorappend:/data/logs/jupyter.log注意append:需要系統(tǒng)版本較新老系統(tǒng)用file:也可以但每次重啟會(huì)重建日志文件。3.4 一份可復(fù)用的啟動(dòng)腳本模板為了省事我把日常啟動(dòng)相關(guān)的命令整理成一個(gè)簡(jiǎn)單的腳本模板適合放在/data/scripts/下配合 systemd 或 crontab 使用#!/bin/bash # 啟動(dòng) Jupyter Lab (systemd 托管) systemctl enable --now jupyter # 查看狀態(tài) systemctl status jupyter --no-pager # 查看最近 50 行日志 journalctl -u jupyter -n 50 --no-pager # 跟蹤日志 journalctl -u jupyter -f如果你暫時(shí)只想用 tmux 方案也可以把 tmux 啟動(dòng)命令寫(xiě)成腳本核心就是先判斷有沒(méi)有同名會(huì)話沒(méi)有就新建#!/bin/bash SESSIONjupyter if ! tmux has-session -t $SESSION 2/dev/null; then tmux new-session -d -s $SESSION bash /data/scripts/start_jupyter.sh fi tmux attach -t $SESSION這些腳本你按自己習(xí)慣改造就好重點(diǎn)是搞清楚它們背后的啟動(dòng)邏輯而不是背命令。4. 遠(yuǎn)程訪問(wèn)與安全加固4.1 綁定地址與端口的選擇Jupyter 的監(jiān)聽(tīng)地址決定了誰(shuí)能訪問(wèn)它。如果你的場(chǎng)景是我在公司內(nèi)網(wǎng)用瀏覽器直接訪問(wèn)服務(wù)器 IP那就綁定0.0.0.0。如果你的場(chǎng)景是我只通過(guò) SSH 隧道連過(guò)去那就綁定127.0.0.1這樣外部網(wǎng)絡(luò)根本連不到 8888 端口安全性提升一個(gè)級(jí)別。端口方面默認(rèn) 8888 很容易被端口掃描器盯上。我一般會(huì)換一個(gè)高位端口比如 8899 或 18088。配置里改一下c.ServerApp.port就行。端口換了之后團(tuán)隊(duì)內(nèi)部要提前同步不然同事仍然按老地址訪問(wèn)會(huì)超時(shí)。4.2 密碼、Token 與 HTTPS 配置在這件事上我踩過(guò)很大一個(gè)坑最早在云服務(wù)器上部署 Jupyter 圖省事密碼設(shè)得簡(jiǎn)單端口也直接對(duì)外開(kāi)放結(jié)果一個(gè)晚上就被掃描器爆破登錄第二天上去發(fā)現(xiàn)服務(wù)器 CPU 狂轉(zhuǎn)被人拿去挖礦了。從那以后我對(duì) Jupyter 的安全配置格外認(rèn)真。最基本的三條設(shè)強(qiáng)密碼長(zhǎng)度 16 位以上包含大小寫(xiě)、數(shù)字和符號(hào)。不要依賴 token因?yàn)?token 可能隨著重啟變化容易在多人場(chǎng)景里造成混亂。如果對(duì)外提供訪問(wèn)一定配 HTTPS。HTTPS 的配置也不復(fù)雜。先用 OpenSSL 生成一個(gè)自簽名證書(shū)sudo mkdir -p /etc/jupyter sudo openssl req -x509 -nodes -days 365 -newkey rsa:2048 \ -keyout /etc/jupyter/jupyter.key \ -out /etc/jupyter/jupyter.pem然后在配置文件里加上兩行c.ServerApp.certfile /etc/jupyter/jupyter.pem c.ServerApp.keyfile /etc/jupyter/jupyter.key重啟服務(wù)后地址就要用https://而不是http://了。自簽名證書(shū)瀏覽器會(huì)提示不安全個(gè)人使用點(diǎn)繼續(xù)訪問(wèn)就行。如果團(tuán)隊(duì)多人使用正式一點(diǎn)的做法是給服務(wù)器域名申請(qǐng)免費(fèi)證書(shū)再配合 Nginx 反向代理瀏覽器就不會(huì)報(bào)警了。4.3 局域網(wǎng)與公網(wǎng)訪問(wèn)的兩種方案方案 A直接開(kāi)放端口訪問(wèn)。適用于內(nèi)網(wǎng)環(huán)境或者云服務(wù)器且你確認(rèn)安全組規(guī)則可控的情況。操作上要注意三層防火墻系統(tǒng)層ufw或firewalld云控制臺(tái)云服務(wù)器的安全組入站規(guī)則Jupyter 自身監(jiān)聽(tīng)地址Ubuntu 用 ufwsudo ufw allow from 192.168.1.0/24 to any port 8888 proto tcpCentOS 用 firewalldsudo firewall-cmd --add-port8888/tcp --permanent sudo firewall-cmd --reload如果是云服務(wù)器還要去控制臺(tái)安全組里放行同樣規(guī)則。很多連不上的問(wèn)題其實(shí)就是安全組沒(méi)配。方案 BSSH 隧道訪問(wèn)。個(gè)人最推薦尤其只有你自己使用時(shí)。假設(shè) Jupyter 在服務(wù)器上監(jiān)聽(tīng)127.0.0.1:8888本地執(zhí)行ssh -N -L 8000:127.0.0.1:8888 user服務(wù)器IP-N表示只建立隧道不登錄遠(yuǎn)程 shell-L 8000:127.0.0.1:8888表示把本地的 8000 端口映射到服務(wù)器上的 127.0.0.1:8888。然后瀏覽器打開(kāi)http://127.0.0.1:8000就會(huì)進(jìn)入服務(wù)器上的 Jupyter。這樣瀏覽器和 Jupyter 之間的數(shù)據(jù)走的是 SSH 加密通道密碼也不在網(wǎng)絡(luò)上明文傳輸。還有個(gè)衍生技巧如果你用 VSCode 做遠(yuǎn)程開(kāi)發(fā)它自身也帶端口轉(zhuǎn)發(fā)功能可以不手動(dòng)敲 SSH 命令。接下來(lái)細(xì)說(shuō)。4.4 VSCode Remote SSH 的配合玩法VSCode 的 Remote-SSH 插件是我現(xiàn)在在服務(wù)器上寫(xiě)代碼的主要入口。安裝步驟很簡(jiǎn)單本機(jī) VSCode 裝好 Remote - SSH 擴(kuò)展然后CtrlShiftP輸入 Remote-SSH: Connect to Host填user服務(wù)器IPVSCode 就會(huì)在遠(yuǎn)端打開(kāi)一個(gè)新的窗口。連上之后你相當(dāng)于有了一個(gè)跑在服務(wù)器上的完整 IDE。打開(kāi)服務(wù)器的/data/workspace目錄新建或打開(kāi)一個(gè).ipynb文件VSCode 會(huì)提示安裝 Python 和 Jupyter 擴(kuò)展。然后在右上角選擇 Kernel選成服務(wù)器 conda 環(huán)境里那個(gè)jupyter內(nèi)核之后所有代碼執(zhí)行、變量查看、圖表展示都發(fā)生在服務(wù)器上。體驗(yàn)接近本地 IDE數(shù)據(jù)不用挪來(lái)挪去。如果你想把 Jupyter 界面也搬到瀏覽器又不想手動(dòng)開(kāi) SSH 隧道VSCode 的端口面板可以一鍵轉(zhuǎn)發(fā)打開(kāi)命令面板輸入 Forward a Port輸入8888VSCode 會(huì)自動(dòng)在本地開(kāi)一個(gè)可用端口點(diǎn)開(kāi)就是你服務(wù)器上的 JupyterLab。這個(gè)功能底層其實(shí)就是 SSH 端口轉(zhuǎn)發(fā)只是幫你省了敲命令的功夫。如果你要做 Nginx 反向代理關(guān)鍵是 WebSocket 頭要配好否則 JupyterLab 會(huì)頻繁斷線location / { proxy_pass http://127.0.0.1:8888; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; proxy_set_header Host $host; }這個(gè)細(xì)節(jié)非常容易踩坑。Jupyter 的 kernel 通信依賴 WebSocket很多教程只寫(xiě)了proxy_pass導(dǎo)致頁(yè)面能打開(kāi)但一執(zhí)行代碼就掉線。5. 運(yùn)維與排查日志、故障與優(yōu)化5.1 日志與狀態(tài)怎么查服務(wù)跑起來(lái)只是開(kāi)始后面維護(hù)才是最花精力的。用 systemd 托管的好處是所有日志都集中在 journald 里。# 查看服務(wù)整體狀態(tài) systemctl status jupyter # 查看最近 100 行日志并持續(xù)跟蹤 journalctl -u jupyter -n 100 -f # 查看某段時(shí)間的日志 journalctl -u jupyter --since 2025-01-01 00:00:00 # 按進(jìn)程關(guān)鍵詞過(guò)濾 journalctl -u jupyter | grep -i error進(jìn)程和端口查看也不能忘# 查看 8888 端口被誰(shuí)占用 lsof -i:8888 # 列出所有相關(guān) jupyter 進(jìn)程 ps -ef | grep jupyter內(nèi)存和磁盤(pán)是 Jupyter 服務(wù)器最容易出問(wèn)題的兩處。養(yǎng)成習(xí)慣free -h df -h如果 kernel 內(nèi)存占用過(guò)高頻繁 OOM日志里能看到Killed process的痕跡這時(shí)候光重啟 Jupyter 是沒(méi)用的要檢查是不是某個(gè) notebook 把數(shù)據(jù)全加載進(jìn)了內(nèi)存。5.2 常見(jiàn)問(wèn)題與排查技巧速查表我把這段時(shí)間遇到的典型問(wèn)題整理成一個(gè)速查表照著查就行?，F(xiàn)象可能原因處理方式瀏覽器訪問(wèn)超時(shí)頁(yè)面打不開(kāi)防火墻或云安全組沒(méi)放行Jupyter 綁定在 127.0.0.1檢查 ufw/firewalld/安全組調(diào)整 c.ServerApp.ip啟動(dòng)后進(jìn)程幾秒就消失配置語(yǔ)法錯(cuò)誤、路徑不存在、依賴缺失先手動(dòng)運(yùn)行 ExecStart 里的命令看報(bào)錯(cuò)再查 journalctl -u jupyter端口被占用8888 起不來(lái)其他進(jìn)程占用了端口lsof -i:8888查看占用進(jìn)程改端口或殺進(jìn)程提示 Running as root 無(wú)法啟動(dòng)用 root 用戶運(yùn)行且 allow_root 為 False換普通用戶運(yùn)行或配置 c.ServerApp.allow_root True瀏覽器打開(kāi)后要 token但不知道 token未設(shè)置密碼或 token 是隨機(jī)生成的jupyter server list查看jupyter server password重置密碼SSH 一斷開(kāi)服務(wù)就沒(méi)了沒(méi)用 nohup/tmux/systemd進(jìn)程收到 HUP 信號(hào)改用三種后臺(tái)運(yùn)行方式之一JupyterLab 頁(yè)面能打開(kāi)執(zhí)行代碼就斷線Nginx 反向代理未配置 WebSocket Upgrade加代理頭配置詳見(jiàn) 4.4kernel 執(zhí)行很慢或直接卡死內(nèi)存不足或 CPU 被他人的任務(wù)占滿free -h和htop查資源考慮限制單 notebook 的 cell 輸出大小服務(wù)器重啟后 Jupyter 沒(méi)起來(lái)沒(méi)設(shè)置開(kāi)機(jī)自啟systemctl enable jupyter除了這些問(wèn)題我特別想提醒的是不要忽視瀏覽器緩存。改完密碼、換完證書(shū)之后本地瀏覽器還留著舊會(huì)話經(jīng)常出現(xiàn)明明配置沒(méi)問(wèn)題就是報(bào)錯(cuò)的情況。這時(shí)候開(kāi)一個(gè)無(wú)痕窗口試一下能排除很多假故障。5.3 讓服務(wù)更穩(wěn)定資源限制與健康檢查很多人部署完 Jupyter 之后就不管了直到某天服務(wù)掛了才發(fā)現(xiàn)。更穩(wěn)妥的做法是給 systemd 加資源限制同時(shí)做定時(shí)健康檢查。在jupyter.service的[Service]段落里可以加MemoryMax8G CPUQuota300%MemoryMax限制整個(gè) Jupyter 進(jìn)程樹(shù)最多使用 8GB 內(nèi)存超了會(huì)被 cgroup 殺掉并自動(dòng)重啟。CPUQuota300%表示最多用 3 個(gè)核。有了這兩個(gè)限制就算某人寫(xiě)了個(gè)死循環(huán)把內(nèi)存吃光也不會(huì)拖垮整臺(tái)服務(wù)器上其他服務(wù)。資源限制需要系統(tǒng) cgroup 支持絕大多數(shù)現(xiàn)代發(fā)行版都沒(méi)問(wèn)題。健康檢查我寫(xiě)過(guò)一個(gè)簡(jiǎn)單的 bash 腳本配合 cron 每 5 分鐘跑一次#!/bin/bash URLhttp://127.0.0.1:8888/api/status if ! curl -sf $URL /dev/null 21; then echo $(date) jupyter 未響應(yīng)嘗試重啟 /data/logs/check.log systemctl restart jupyter fi然后加入 crontab*/5 * * * * /bin/bash /data/scripts/check_jupyter.sh這個(gè)腳本的原理很簡(jiǎn)單Jupyter 的/api/status接口如果返回成功說(shuō)明服務(wù)正常一旦連續(xù)訪問(wèn)失敗就觸發(fā) systemctl restart。這樣即使 kernel 或進(jìn)程偶爾出問(wèn)題也能在幾分鐘內(nèi)自愈不用你半夜爬起來(lái)手動(dòng)處理。如果你在服務(wù)器集群里跑 Jupyter思路類似每臺(tái)機(jī)器用 systemd 管理各自的 Jupyter 實(shí)例外層通過(guò)統(tǒng)一的入口或負(fù)載均衡調(diào)度再配合共享存儲(chǔ)保證每個(gè)人都能訪問(wèn)同一份數(shù)據(jù)。多節(jié)點(diǎn)環(huán)境復(fù)雜度會(huì)上去但單節(jié)點(diǎn)能踩的坑其實(shí)都差不多先把單機(jī)這套玩明白了再擴(kuò)展也不遲。最后再分享一個(gè)我自己養(yǎng)成的習(xí)慣把 Jupyter 的配置文件/etc/jupyter/目錄納入版本管理或用腳本備份一份。服務(wù)器上配置改來(lái)改去時(shí)間一長(zhǎng)很容易忘記改過(guò)什么有備份可以隨時(shí)對(duì)比。我用 systemd 托管這套方案跑了大半年基本上沒(méi)再為 Jupyter 的穩(wěn)定性操過(guò)心。最大的體會(huì)是別圖省事只開(kāi)個(gè) nohup花十分鐘把 systemd 服務(wù)寫(xiě)好后面能省下你幾十個(gè)小時(shí)的維護(hù)時(shí)間。