離線的端側(cè)AI，并非沒有用處。

好了，又到了雷科技的DeepSeek整活時間。

之前雷科技成功嘗試過在一臺沒有獨顯的筆記本電腦上，單純依靠CPU和內(nèi)存來本地部署DeepSeek，最終成功運行了一個7B參數(shù)量的Qwen蒸餾模型。

雖然部署的要求很簡單，但是7B參數(shù)量的AI模型表現(xiàn)也確實很一般，而且PC本身也可以輕松獲取到更高參數(shù)量的AI模型，所以實際意義并不大。不過，倘若可以把這個AI模型部署到手機上呢？7B的AI模型在工作等方面或許不能給我們太多的幫助，但是在手機上拿來當隨身AI助手的話，結(jié)論或許就不一樣了。

在此之前，我們首先要在手機上部署AI。網(wǎng)上有不少相關(guān)教程，小雷測試了其中的幾種，也算是幫大家提前趟趟雷了。

手機本地部署DeepSeek，還真行

如果你在百度上搜索這個問題，或許會首先看到“天極網(wǎng)”發(fā)布的教程，這篇教程是通過一個名為Termux的app，在安卓手機上模擬一個Linux終端，然后部署Ollama，再通過ollama來下載DeepSeek模型并運行。

簡單來說，就是將在電腦上部署DeepSeek的方案，直接移植到手機上，因為是通過終端模擬器來運行，所以實際效率還要打個折扣。至于詳細的部署過程，大家可以看一下小雷的幾張截圖：

圖源：雷科技

雖然全程都只是需要輸入命令就會自動進入下一步，但是多數(shù)人看到這個滿屏代碼的畫面，估計就會被默默勸退。而且，在折騰了差不多兩個小時后，我也終于確認了一件事：教程里寫的服務器出問題了。

如果按這個教程對環(huán)境部署服務器進行訪問，其實是找不到原文里提到的清華大學鏡像文件源，只剩下幾個按大洲和區(qū)域劃分的服務器可選，為了排除網(wǎng)絡因素，我還分別切換了不同的網(wǎng)絡嘗試，都只有八個服務器在線。

圖源：雷科技

隨后我分別嘗試了亞洲和中國骨干網(wǎng)絡的兩個鏡像源，都在進行到Ubuntu安裝的步驟卡死，下載速度非常慢的同時還有可能中途報錯，導致整個下載停擺。在折騰幾個小時都無法完成安裝后，我選擇嘗試另一個部署方案。

這個方案則是通過部署安裝依賴后，直接下載ollama并在本地運行，比之前的方案要更簡略，但是從實際的測試來看，如果你沒有特殊網(wǎng)絡，可能會無法開啟下載，即使開啟下載后，仍然有可能卡在軟件部署的過程中。

簡而言之，如果你想用Tremux實現(xiàn)最原始的AI大模型部署，那么或許要具備一定debug能力和良好的網(wǎng)絡支持，否則就可能像我這樣花了幾個小時，仍然看著網(wǎng)絡錯誤的提醒發(fā)呆。

不過好在現(xiàn)在AI概念非常紅火，所以github上其實有很多開源的本地AI部署app供大家選擇，我這次就測試了三款：ChatterUI、PocketPal和MNN大模型，三款app各有優(yōu)劣，大家可以根據(jù)需要自行選擇。

圖源：雷科技

其中，ChatterUI和PocketPal支持直接加載本地AI模型，并允許通過在線下載的方式遠程加載模型到本地系統(tǒng)，個人建議如果你有電腦的話，最好直接下載到電腦再復制到手機里，方面根據(jù)需要更換模型，避免一堆模型堆積在手機內(nèi)存里，擠占手機空間。

提供AI模型下載的網(wǎng)站并不少，不過大多需要魔法網(wǎng)絡才能訪問，所以我建議大家直接去魔塔社區(qū)下載即可，這是阿里達摩院運營的AI模型社區(qū)，其模型庫基本上涵蓋了大部分開源的AI模型及其衍生版本，并且對模型進行詳細分類，可以根據(jù)詞條進行快速查詢。

圖源：雷科技

注冊并登錄后，就可以開始選擇你的AI模型，個人建議內(nèi)存小于12G的朋友選擇Qwen 2.5-3B和LLama-3.2-3B兩個版本的AI模型，12G及以上的朋友則可以選擇DeepSeek-R1-7B的版本。

在下載模型并轉(zhuǎn)存到手機后，接下來做的就是安裝app，然后加載模型，過程很簡單。先來看看ChatterUI，這個app的特點是支持TTS（語音輸出），結(jié)合語音輸入可以解鎖更多的使用場景和方式。

圖源：雷科技

安裝好后點擊左上角就可以喚出側(cè)邊欄，先點擊「Formatting」在頂部選項欄里找到你下載的AI模型，比如你下的是DeepSeek那就選DeepSeek-R1。保存后退出再點擊側(cè)邊欄的「Models」，點擊右上角的添加并選擇第一條選項，即可打開手機存儲，然后選擇剛剛存入的AI模型，稍等片刻就可以完成加載，最后點擊最右側(cè)的“運行”圖標即可部署。

圖源：雷科技

接下來只要你點擊AI Bot，就可以與你選擇的AI模型對話，如果想切換模型，返回Models進行設置即可。此外，ChatterUI也支持對模型的各種推理參數(shù)進行詳細設置，點擊側(cè)邊欄的「Sampler」即可，各種參數(shù)的對應效果大家可以在網(wǎng)上自行搜索學習，這里小雷就不展開來說了。

再來看看PocketPal，這個app的用起來還要更簡單些，只是不支持TTS功能，同樣是打開側(cè)邊欄的「Models」，右下角可以直接添加本地AI模型，并且也提供一些小參數(shù)的AI模型快速下載通道，有興趣的話可以下載來玩玩。

圖源：雷科技

AI模型安裝好后，還是點擊右下角的運行進行加載，然后就可以直接回到首頁進行提問了，右上角可以進入推理設置頁面，與ChatterUI差不多。

如果說你覺得以上兩個app的英文不太看得懂，而且想要更簡單易上手，那么我的建議是MNN，這是由阿里開發(fā)的開源app，整合了多個在手機等小型移動設備上運行效果良好的AI模型，涵蓋了DeepSeek、Qwen、LLama等通用模型及一些專業(yè)模型，可以根據(jù)需要直接點擊下載。

圖源：雷科技

下載完成后點擊即可加載使用，全程傻瓜式操作，但是也有個缺陷，那就是不能像ChatterUI和PocketPal那樣直接調(diào)整模型的推理參數(shù)，只能通過對話的方式讓AI嘗試著把回答變得更具創(chuàng)意一些。

以上三個app基本可以覆蓋大多數(shù)的本地AI部署需求，不管你是單純想要個問答助手，還是想要個隨身的解悶軟件，亦或是想折騰不同的AI模型，看看其本地部署的效果，都可以輕松應對，而且比通過Termux來部署要簡單方便得多。

手機本地AI：性能不重要，隱私有保障

AI部署完了，那么就到了喜聞樂見的體驗環(huán)節(jié)，作為對比，我還下載了1.5B版本的DeepSeek-R1，理論上1.5B的版本可以被部署到8G甚至6G內(nèi)存的手機里，可以說是最泛用的。

本來我是對1.5B版本的DeepSeek不抱太大希望的，但是沒想到這玩意開局就給我來了個「驚喜」。我先是慣例的詢問AI身份，看看他能否認知自己的AI模型版本，結(jié)果AI直接給我來了一套深度分析，從“對問題感到困惑”到“AIBot是誰（就是你自己呀）”，再到“AI Bot和User（我）之間的關(guān)系”，最后他給出了一個結(jié)論：

是，AI Bot是**人工智能**。它沒有生命，也沒有意識，只是一個功能模型或程序，并非人類。當你詢問“你是誰”，AI Bot的回答其實是**沒有實體存在的**，它本身并非人來回答的問題。

這種提問方式提醒我們在使用AI技術(shù)時需要謹慎，尤其是涉及基礎(chǔ)概念的問答時。

我直接一個問號就想打出去了，好家伙，這是加載了什么參數(shù)庫？怎么上來就是哲學模式？因為回答過于抽象，以至于我反復確認加載的1.5B而非7B版本。最后通過仔細查看思考過程，我發(fā)現(xiàn)可能是app的接口設置出現(xiàn)了一些問題，導致其與AI大模型之間的交流出現(xiàn)了問題，讓AI以為這場對話有三個角色，自己正在作為旁觀者回答我的問題。

圖源：雷科技

簡單來說，當時的場景就相當于User（我）指著AI Bot（ChatterUI）問DeepSeek：你（他）是誰，然后DeepSeek對著AI Bot就是一堆分析，最后得出了結(jié)論：這就是程序。只能說，AI這玩意玩久了，依然是處處有驚喜，特別是DeepSeek這種“發(fā)散性思維”的AI，經(jīng)常能夠給出一些讓你眼前一亮（或者一黑）的回答。

不過在后續(xù)的追問下，這個只有1.5B參數(shù)量的模型很快就露出了馬腳，開始前言不搭后語，答非所問，徹底變成了被玩壞的狀態(tài)，只能說1.5B的模型確實難堪大用。而在切換成7B版本后，AI就輕松給出了正確的回答，然后我又追問了一個簡單的問題：告訴我番茄炒蛋的做法，雖然AI先是說無法給出菜譜，但是隨后也是列出了做法。

不得不說，本地部署的AI在穩(wěn)定性等方面確實存在問題，與在線模式的AI體驗有著非常明顯的區(qū)別，而且不同app出現(xiàn)的問題也會各不相同，比如PocketPal就偶爾會出現(xiàn)思考到一半無法繼續(xù)的問題，后續(xù)發(fā)現(xiàn)是思維鏈長度設置有問題，修改后就正常了。

而且，驍龍8至尊版+16G運存的手機，AI推理和生成速度都非常不錯，已經(jīng)完全滿足日常問答和使用的需求，這一點也是讓我頗為意外，事實上這個速度已經(jīng)不比一些筆記本電腦差。

圖源：雷科技

而在后續(xù)的一些提問里，7B的DeepSeek也是勉強答上了我的一些提問，比如當遇到一個癲癇癥發(fā)作的病人時該如何進行急救、在野外受傷沒有人幫助時該怎么自救等。基本上我就是設定了一個無法使用網(wǎng)絡的場景，并且我急需一些幫助，在這種情況下離線部署的AI或許就是你最后的助力了。

圖源：雷科技

畢竟如果可以聯(lián)網(wǎng)的話，非隱私問題直接問DeepSeek app或者其他第三方AI，可以得到更好更完善的回答。至于隱私性問題，我的建議是大家如果真有需求，可以去騰訊云等云服務商那里買個API接口，然后通過chatbox在本地部署一個在線滿血版AI客戶端。

如果你對自己的隱私保護非常上心，那么找一臺有20G以上顯存的電腦，或者在華為云等云服務器供應商那里租一個云服務器，用來部署自己的專屬AI模型也是可選項。

回到正題，在手機上部署AI大模型，有意義嗎？我認為是有的。如果說電腦上部署7B版AI是“多此一舉”，那么在手機上部署就不一樣了。雖然能力是相似的，但是手機上的離線AI確實有用，他可以在你無網(wǎng)且需要幫助時，給你提供最基礎(chǔ)的建議，有時候或許就是這個小小的建議，就能讓你脫困也說不定。

再給大家總結(jié)一下三個app的本地部署效果，如果你追求穩(wěn)定可用，那么MNN是最好的選擇，在測試中也是回答質(zhì)量最穩(wěn)定的，而ChatterUI和PocketPal雖然功能豐富，但是也更容易出BUG，適合有一定AI基礎(chǔ)和編程基礎(chǔ)的人使用。

最后，希望大家都可以玩得開心。

來源：雷科技

       原文標題 : 手機本地部署DeepSeek？實測真能用：AI隱私有保障了？