最近做的一個(gè)視頻，講了DeepSeek的本地部署，在全網(wǎng)取得了600萬(wàn)+的播放量，大家對(duì)DeepSeek的本地部署很熱情。視頻發(fā)出后，看到評(píng)論區(qū)還有一些疑問(wèn)，我整理了一下文字版本，補(bǔ)充了更多細(xì)節(jié)。
把大模型部署在自己的電腦上，有很多好處，但我要先潑一盆冷水。
如果你之前沒(méi)用過(guò)AI產(chǎn)品，或者平時(shí)用AI也不多，不推薦搞本地部署。有更簡(jiǎn)單的方法，可以讓你用上AI。
想用DeepSeek，可以直接在手機(jī)的軟件商城，下載DeepSeek的手機(jī)APP。
或者用瀏覽器，搜索DeepSeek的網(wǎng)頁(yè)版。這樣是最簡(jiǎn)單的，并且背后的AI都是一樣的。
本地部署適合以下情況：
① 電腦配置較高，有獨(dú)立顯卡。② 有私密的數(shù)據(jù)需要處理，擔(dān)心泄密。③需要和本地工作流結(jié)合，處理高頻任務(wù)或復(fù)雜任務(wù)。④ 日常使用量大，調(diào)用API需要收費(fèi)，本地部署能省錢(qián)。⑤ 想要在開(kāi)源模型基礎(chǔ)上，做個(gè)性化的定制版本。
這么說(shuō)有點(diǎn)復(fù)雜，我用DeepSeek總結(jié)了下，APP或網(wǎng)頁(yè)與本地部署的使用場(chǎng)景。
本地部署首先要安裝ollama，你可以把它理解為，一個(gè)裝AI的盒子，把AI裝在盒子里，方便管理。1. 首先在瀏覽器搜索ollama，會(huì)出現(xiàn)ollama官網(wǎng)，點(diǎn)擊進(jìn)入。2. 進(jìn)入官網(wǎng)后，點(diǎn)擊中間的Download。3. 根據(jù)自己的電腦類(lèi)型，選擇不同版本。蘋(píng)果電腦選最左邊（藍(lán)色框），Windows系統(tǒng)選最右邊（紅色框），之后點(diǎn)擊下載（綠色框）。如果桌面出現(xiàn)了ollama圖標(biāo)，說(shuō)明軟件安裝成功。圖標(biāo)就是下圖的羊駝。特別說(shuō)明：最好安裝在C盤(pán)，安裝在其它盤(pán)，需要重新配置環(huán)境變量。5. 還是在剛剛的ollama官網(wǎng)，點(diǎn)擊右上角紅框的位置。6. 在彈出的界面，點(diǎn)擊紅框的“Models”選項(xiàng)這里的數(shù)字越大，參數(shù)越多，性能越強(qiáng)，1.5b代表模型具備15億參數(shù)。我的電腦16G顯存，運(yùn)行14b參數(shù)模型時(shí)，需要大約11.5G顯存。如果是1.5b版本，2G以下的顯存就可以運(yùn)行，甚至不需要獨(dú)立顯卡，核顯就可以。如果是32b參數(shù)的，就需要32G顯存啦，可以根據(jù)自己的電腦性能選擇。選擇1.5b參數(shù)后，復(fù)制紅框中的命令“ollama run deepseek-r1:1.5b”。同時(shí)按下鍵盤(pán)上的Win和R鍵，彈出如下窗口。在彈出的窗口中，輸入cmd，點(diǎn)擊確定，打開(kāi)命令行，就像下面這樣。在打開(kāi)的命令行里，輸入上面復(fù)制的命令“ollama run deepseek-r1:1.5b”。點(diǎn)擊鍵盤(pán)上的“Enter”鍵，模型會(huì)自動(dòng)下載。此時(shí)大模型安裝在你的電腦上，就算斷網(wǎng)也可以繼續(xù)用，也不用擔(dān)心數(shù)據(jù)泄露。這里還有一個(gè)問(wèn)題，當(dāng)你關(guān)閉電腦后，下次再打開(kāi)ollama。會(huì)發(fā)現(xiàn)點(diǎn)擊ollama的圖標(biāo)，電腦沒(méi)反應(yīng)。因?yàn)槟泓c(diǎn)擊圖標(biāo)，只是啟動(dòng)了ollama，想要和大模型聊天，還是需要打開(kāi)命令行。13. 繼續(xù)通過(guò)命令行和大模型聊天同時(shí)按下鍵盤(pán)上的Win和R鍵，在彈出的窗口里輸入cmd，點(diǎn)擊確定打開(kāi)命令行。在命令行界面，輸入剛剛的命令“ollama run deepseek-r1:1.5b”。因?yàn)槟阒耙呀?jīng)下載過(guò)，這次無(wú)需下載，可以直接和模型聊天。注意：前面的步驟，已經(jīng)完整了。Open-WebUI只是讓交互界面更好看，可以不必安裝。且建議不熟悉電腦的朋友，先不要安裝Open-WebUI。Open-WebUI有比較多的依賴(lài)項(xiàng)，安裝過(guò)程中容易出問(wèn)題。如果安裝半天沒(méi)完成，容易打擊到學(xué)習(xí)AI的熱情，這也是為什么我做的視頻里，沒(méi)有講Open-WebUI安裝步驟的原因。可以用docker來(lái)管理操作系統(tǒng)界面，比直接安裝Open-WebUI更方便。在瀏覽器輸入docker并搜索，點(diǎn)擊進(jìn)入官網(wǎng)。15. 根據(jù)你的電腦系統(tǒng)，下載docker桌面版，并安裝運(yùn)行。安裝完成后，需要重新啟動(dòng)電腦，才能正常使用docker。重新啟動(dòng)后，如果你的桌面上出現(xiàn)了docker的圖標(biāo)，就表示安裝成功了。瀏覽器搜索Open-WebUI，進(jìn)入官網(wǎng)，并復(fù)制紅框中的命令。按照上面提到的步驟，打開(kāi)命令行，輸入復(fù)制的命令，等待安裝完成。雙擊docker的桌面圖標(biāo)，打開(kāi)軟件。點(diǎn)擊紅框端口，即可運(yùn)行Open-WebUI。初次訪問(wèn)時(shí)，需要注冊(cè)一個(gè)賬號(hào)。這些信息會(huì)儲(chǔ)存在你的電腦里。在界面左上角，選擇你的模型，就可以開(kāi)始對(duì)話啦。Open-WebUI這部分的安裝過(guò)程比較簡(jiǎn)略，如果出現(xiàn)報(bào)錯(cuò)，需要具備通過(guò)瀏覽器搜索問(wèn)題原因，并修復(fù)的能力。確實(shí)不建議，不熟悉電腦的新手嘗試。
打開(kāi)命令行，輸入：ollama list，紅框里就是對(duì)應(yīng)模型。在命令行輸入，ollama rm + 模型名稱(chēng)，例如：ollama rm deepseek-r1:1.5b，就會(huì)自動(dòng)刪除對(duì)應(yīng)模型。命令行輸入ollama，展示出ollama的其它功能。比如：輸入“ollama stop”是停止模型運(yùn)行，“run + 模型名”是運(yùn)行對(duì)應(yīng)模型。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶(hù)發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
