大家好，我是 Ai 學習的老章

大家好，通義千問又發布新模型了，依然是老味道（），搶去了。

說實話，我對阿里通義千問十分喜愛，單說私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，純硬件成本保底 150 萬（英偉達 H20 141GB 版），如果是國產算力，保底 200 萬了。但是 QwQ:32B，只需要 4 張 4090 就行了（成本 10 幾個 w），表現非常優異，很多場景可以替代 DeepSeek。

具體參看

Qwen2.5-VL-32B 簡介

Qwen2.5-VL-32B 介紹，我就不幫忙吹噓了，阿里沒有給我廣告費

關鍵增強功能：

• 通過視覺理解：Qwen2.5-VL 不僅擅長識別常見的花朵、鳥類、魚類和昆蟲，而且能夠高效地分析圖像中的文本、圖表、圖標、圖形和布局。

• 具有自主性：Qwen2.5-VL 直接扮演視覺代理的角色，能夠進行推理并動態指導工具使用，具備計算機使用和手機使用的能力。

• 理解長視頻并捕捉事件：Qwen2.5-VL 能夠理解時長超過 1 小時的視頻，并且這次它新增了捕捉事件的能力，能夠定位相關的視頻片段。

• Qwen2.5-VL 能夠在不同格式下進行視覺定位：Qwen2.5-VL 可以通過生成邊界框或點來準確地在圖像中定位物體，并可以提供穩定的 JSON 輸出以供坐標和屬性使用。

• 生成結構化輸出：對于發票掃描件、表格等數據，Qwen2.5-VL 支持其內容的結構化輸出，有助于金融、商業等領使用。
  

大家可以在https://chat.qwen.ai/體驗，在Qwen Chat上直接選中Qwen2.5-VL-32B即可。

大家可以看前文：

或者可以看阿里官方博客的介紹：https://qwenlm.github.io/zh/blog/qwen2.5-vl-32b/

本文我們主要介紹 Qwen2.5-VL-32B 本地化部署

下載模型

從 modelscope 下載，畢竟 huggingface 網不通。 模型文件：https://modelscope.cn/models/Qwen/Qwen2.5-VL-32B-Instruct/files

安裝 modelscope：pip install modelscope

下載完整模型庫：modelscope download --model Qwen/Qwen2.5-VL-32B-Instruct --local_dir /home/data-local/qwen25VL

將模型下載到指定的本地目錄/home/data-local/qwen25VL中。

一共 65 個 G

vLLM

安裝 vllm：pip install vllm

運行大模型：

vllm serve /ModelPath/Qwen2.5-VL-32B-Instruct --port 8000  --host 0.0.0.0 --dtype bfloat16 --tensor-parallel-size 4 --limit-mm-per-prompt image=5,video=5 --max-model-len 16384

我只有 4 張 4090，--tensor-parallel-size指定 4

如果安裝官方建議的運行腳本，不斷報 OOM，不斷調低--max-model-len這個參數才跑起來。

使用

直接上openweb-ui

安裝：pip install open-webui

運行：open-webui serve

瀏覽器打開http://locahost:8080

如果是服務器部署，把localhost改為服務器 ip

正常注冊登陸

右上角點擊頭像，點擊管理員面板

點擊設置 - 外部鏈接，照著抄一下，api key 隨便填寫

然后回到前端，左上角添加模型那里就可以找到Qwen2.5-VL-32B-Instruct了

上傳圖片，隨便問個問題，回答很精準

速度也還行

卡不夠的同學，可以等等量化版或 7B 版本。88

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！