始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，價(jià)格實(shí)惠，靈活方便，支持在線微調(diào)訓(xùn)練模型，及和，并。

當(dāng)大家都在熱衷于發(fā)布接入了DeepSeek時(shí)，一家叫易鑫的汽車金融科技公司開源了一個(gè)款叫YiXin-Distill-Qwen-72B的推理模型。它是以Qwen2.5-72B為基座的模型，使用了自家的迭代式蒸餾技術(shù)和最近很火的強(qiáng)化學(xué)習(xí)方法做訓(xùn)練，整體感受是對數(shù)學(xué)、推理方面的任務(wù)做了深度優(yōu)化，用一句話概括的話是“小體積，高精度”，看官方的評測結(jié)果，綜合性能達(dá)到了與DeepSeek-R1相當(dāng)?shù)乃健?strong>易鑫推理模型已上線始智AI-wisemodel開源社區(qū)，歡迎體驗(yàn)。

模型地址

https://wisemodel.cn/models/Yixin_Group/YiXin-Distill-Qwen-72B

01.

模型測評

模型哪里強(qiáng)？

YiXin-Distill-Qwen-72B是一個(gè)側(cè)重于數(shù)學(xué)和推理的大模型，參數(shù)規(guī)模僅72B就幾乎達(dá)到了公認(rèn)開源王者DeepSeek-R1在這些方面的能力。

數(shù)學(xué)和推理方面很有代表性的基準(zhǔn)評測集包括這幾個(gè)：AIME2024/2025、GPQA Diamond、MATH-500、MMLU-PRO，可以看到Y(jié)iXin-Distill-Qwen-72B在以上所有評測集效果都超過了QwQ-32B，在MATH-500、AIME-25、MMLU-PRO均超過DeepSeek-R1，整體平均效果與DeepSeek-R1持平。

02.

部署教程

硬件要求

多卡配置：推薦4卡 RTX 3090/4090（24G）組合，可處理8k級上下文，當(dāng)然，顯存越大，上下文越長。

部署流程

1、環(huán)境配置：

安裝 Python 3.10、PyTorch 2.1.0 及 CUDA 12.1

2、下載模型，地址：

https://wisemodel.cn/models/Yixin_Group/YiXin-Distill-Qwen-72B

3、安裝sglang推理框架：

pip install --upgrade pip pip install uv uv pip install "sglang[all]>=0.4.4.post1"--find-links

https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

4、模型加載

python3 -m sglang.launch_server --model 
YiXin-AILab/YiXin-Distill-Qwen-72B --trust-remote-code --tp 4
 --port 8000

5、測試API

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "YiXin-AILab/YiXin-Distill-Qwen-72B",
    "messages": [
        {"role": "system", "content": "You are a helpful and harmless assistant.You should think step-by-step."},
        {"role": "user", "content": "8+8=?"}
    ]
}

能夠正常回答則代表服務(wù)正常。

6、為了方便測試和使用，可以用Gradio搭建前端，讓交互更友好，首先安裝Gradio：

bash pip3 install gradio

7、創(chuàng)建一個(gè)python文件，命名為run.py，用來啟動(dòng)前端服務(wù)：

import gradio as gr 
import openai
client = openai.Client(base_url=f"http://127.0.0.1:8000/v1",   api_key="None")
def predict(message, history):
      history.append({"role": "user",   "content": message})
    stream = client.chat.completions.create(messages=history,   
model="YiXin-AILab/YiXin-Distill-Qwen-72B", stream=True)
    chunks = []
    for chunk in stream:
  chunks.append(chunk.choices[0].delta.content or "")
        yield   "".join(chunks)
chatbot =   gr.Chatbot(type="messages",label='YiXin-Distill-Qwen-72B')
demo = gr.ChatInterface(predict, chatbot=chatbot)
if __name__ == "__main__":
    demo.launch()

8、啟動(dòng)服務(wù)

python3  run.py

9、打開瀏覽器，輸入127.0.0.1:7860即可看到以下頁面：

03.

效果展示

1、邏輯推理題

一個(gè)農(nóng)夫需要運(yùn)兩只雞過河，一次可以運(yùn)一人+兩只動(dòng)物，最少需要過幾次河?

這道農(nóng)夫與狼和羊過河的變體題目曾讓很多大模型打臉，YiXin模型回答起來一點(diǎn)問題沒有。

2、物理題

問題1：假設(shè)我從月球發(fā)射一道激光到地球，那么地球上的人大概多久能接收到?

問題2：質(zhì)量為M-0.03kg，長為l=0.2m的均勻細(xì)棒，在一水平面內(nèi)繞通過棒中心并與棒垂直的光滑固定軸自由轉(zhuǎn)動(dòng)。細(xì)棒上套有兩個(gè)可沿棒滑動(dòng)的小物體，每個(gè)質(zhì)量都為 m=0.02kg。開始時(shí)，兩小物體分別被固定在m棒中心的兩側(cè)且距棒中心各為r=0.05m，此系統(tǒng)以 n1=15 rev/ min 的轉(zhuǎn)速轉(zhuǎn)動(dòng)。若將小物體松開,設(shè)它們在滑動(dòng)過程中受到的阻力正比于它們相對棒的速度,(已知棒對中心軸的轉(zhuǎn)動(dòng)慣量為 M^2/12)求: 當(dāng)兩小物體到達(dá)棒端時(shí)，系統(tǒng)的角速度是多少?

這是一道清華大學(xué)的物理期末考試計(jì)算題，反正我是不會(huì)，對了下答案，YiXin模型完全正確。

3、數(shù)學(xué)題

2024年碩士研究生數(shù)學(xué)——已知函數(shù)f(x,y)=x^3+y^3-(x+y)^2+3，設(shè)T是曲面z=f(x,y)在點(diǎn)(1,1,1)處的切平面，D為T與坐標(biāo)平面所圍成的有界區(qū)域在xOy平面上的投影. 求T的方程

2024年碩士研究生數(shù)學(xué)考試真題，推理過程有點(diǎn)長，但是答案正確。

4、語文題

你是一個(gè)小學(xué)數(shù)學(xué)科老師，要教小學(xué)生異分母分?jǐn)?shù)加減的單元，提出跟這個(gè)單元的概念有關(guān)的同理性問題、推論性問題、評論性問題、價(jià)值性問題，各5個(gè)，請以小學(xué)生能懂得且有興趣的語言來說

角色扮演后，寫作能力出色。

本文帶大家部署和使用YiXin最新開源的推理模型YiXin-Distill-Qwen-72B，并對其效果表現(xiàn)做了開箱測試，效果很不錯(cuò)，值得在企業(yè)應(yīng)用嘗試。

04.

在線體驗(yàn)

W isemodel社區(qū)支持直接通過模型鏡像創(chuàng)建在線體驗(yàn)或者API服務(wù)，在 YiXin-Distill-Qwen-72B 模型詳情 頁 點(diǎn)擊“在線部署-部署在線體驗(yàn)”或者 “在線部署-部署API服務(wù)”按鈕。

然后選擇硬件配置，以及根據(jù)自己的需求選擇計(jì)費(fèi)方式。

提交訂單之后，應(yīng)用已經(jīng)進(jìn)入啟動(dòng)中的狀態(tài)，正常情況下大概等待1分鐘左右就正常運(yùn)營，進(jìn)行在線體驗(yàn)或者使用API服務(wù)了。

在線體驗(yàn)

API服務(wù)

編輯丨趙雅鑫

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級：

大賽報(bào)名：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看