llm-api-speedtester是一個部署在 Cloudflare Worker 上的小工具,用于測試大語言模型 (LLM) API 的調(diào)用速度和性能。它可以測量不同輸入和輸出 Token 組合下的吞吐量 (tokens/sec) 和首個 Token 的平均響應(yīng)延遲。 地址: 網(wǎng)頁鏈接
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.