大家好，我是 Ai 學習的老章

我對阿里通義千問十分喜愛，單說私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，純硬件成本保底 150 萬（英偉達 H20 141GB 版），如果是國產算力，保底 200 萬了。但阿里的推理模型 QwQ:32B，只需要 4 張 4090 就行了（成本 10 幾個 w），表現非常優異，很多場景可以替代 DeepSeek。具體參看 [[2025-03-22-大模型推理引擎vllm，啟動QwQ-32B]] 而多模態大模型 Qwen2.5-VL-32B 也只需要 4 張卡，7B 只需要 1 張！

Qwen2.5-VL 簡介

Qwen2.5-VL 是阿里通義千問團隊開源的旗艦視覺語言模型，有 3B、7B、32B、72B 等不同規模。該模型在視覺理解方面表現出色，能夠識別常見物體，分析圖像中的文本、圖表等元素。

Qwen2.5-VL 具備作為視覺 Agent 的能力，可以推理并動態使用工具，初步操作電腦和手機。在視頻處理上，Qwen2.5-VL 能夠理解超過 1 小時的長視頻，精準定位相關片段捕捉事件。模型還支持發票、表單等數據的結構化輸出。

Qwen2.5-VL 在多個性能測試中表現優異，在文檔和圖表理解方面優勢明顯，7B 模型在多項任務中超越了 GPT-4o-mini。模型的推出為開發者提供了強大的工具，能夠在多種應用場景中發揮重要作用。

本文我們主要介紹 Qwen2.5-VL-7B 本地化部署

下載模型

從 modelscope 下載，畢竟 huggingface 網不通。

模型文件：https://modelscope.cn/models/Qwen/Qwen2.5-VL-7B-Instruct/files

安裝 modelscope：pip install modelscope

下載完整模型庫：modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir /home/data-local/qwen25VL

將模型下載到指定的本地目錄 "/home/data-local/qwen25VL" 中。

一共 16 個 GB

推理引擎選擇 vLLM

安裝 vllm：pip install vllm

運行大模型：

CUDA_VISIBLE_DEVICES=4  vllm serve /ModelPath/Qwen2.5-VL-7B-Instruct --port 8000  --host 0.0.0.0 --dtype bfloat16  --limit-mm-per-prompt image=5,video=5 --max-model-len 16384

我的機器前 4 張卡被占用了，所以我是用第五張卡來啟動 Qwen2.5-VL-7B，指定 CUDA_VISIBLE_DEVICES=4（第一張卡編號是 0）

使用

直接上 openweb-ui

安裝：pip install open-webui

運行：open-webui serve

瀏覽器打開 http://locahost:8080

如果是服務器部署，把 localhost 改為服務器 ip

正常注冊登陸

右上角點擊頭像，點擊管理員面板

點擊設置 - 外部鏈接，照著抄一下，api key 隨便填寫

然后回到前端，左上角添加模型那里就可以找到 Qwen2.5-VL-7B-Instruct 了

上傳圖片，隨便問個問題，回答很精準

再來一張

它的回復是： 這一張圖片是一張帶有文字的圖，描繪了兩個人的臉部，一個表情平靜，另一個表情有些驚訝或困惑。圖片下的文字寫著："產品說，做一個需求：手機搖一搖，讓周圍人的支付寶余額都轉我卡里！" 這句話的字面含義是指開發人員提出一個荒謬的需求，即通過搖手機來實現將附近人的支付寶余額轉移到他們的卡里。這種需求顯然是不現實和技術上不可行的。這幅圖可能用于表達對不臺理或無法實現的技術需求的諷刺或幽默。

卡不夠的同學，真的可以試試這個 7B 版本。開源做到這個程度，屬實無可挑剔了。

88

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！