原文:Threads
摘要
Perplexity 開源了一個叫 pplx-decider 27B 的模型。它不是用來回答問題的,而是專門做「分類與任務路由」:收到使用者的問題後,快速判斷該交給誰處理。這套分流邏輯原本撐著 Perplexity 每天上億次的搜尋,現在免費釋出給大家。貼文作者 @it.oppa.twhk 認為,「前面用快思模型分流、後面用慢想模型推理」已經是 2026 年 AI 應用的標配架構。
重點
- 定位是 Agent 的「接待員」:部署在 Agent 最前端,決定一個問題要用本地小模型直接答、要呼叫哪個工具,還是要交給高階大模型處理。路由(routing)指的就是這種「先分類、再派工」的動作。
- 27B 參數:被視為效能與效率的平衡點。量化(quantization,把模型權重壓成較小的數字格式以省記憶體)後可以在高階顯卡或 Mac 上本地跑。
- 分得出「快速回答」與「深度研究」:這是從 Perplexity 搜尋引擎的實戰資料學來的能力,可以避免簡單問題也動用昂貵的深度推理。
- 基準測試表現優異:貼文稱在多項分類與路由的 benchmark 上表現好,但附的三張圖表無法抓取,具體數字待查。
- 架構觀點:前置快思分流 + 後端慢想推理。用便宜的小模型擋在前面做決策,貴的大模型只處理真正需要它的請求。
個人洞見
這正是 Anthropic 建議的 Routing 工作流 的現成零件:以前要自己訓練或用 prompt 讓大模型做分類,現在可以直接拿一個專職的開源模型來做。放進 AI Agent 架構圖 來看,它站在 Planner 之前,先替整個系統決定「這題值不值得深想」。對自家服務來說,把簡單查詢攔在本地模型、只有複雜問題才打 API,是最直接的降成本手段。