打造 AI 的 Token 永动机
· 16 min read
让 AI 持续稳定地工作,不在于囤积多少 API Key,而在于架构层面把「输入」和「输出」都兜住。本文记录我用 LiteLLM 搭建的一套 Token 流水线:多 provider 容灾保障输入不断,MCP 工具网关拓展输出质量,以及如何把任意本地能力转化为 MCP 服务喂给 Agent。
让 AI 持续稳定地工作,不在于囤积多少 API Key,而在于架构层面把「输入」和「输出」都兜住。本文记录我用 LiteLLM 搭建的一套 Token 流水线:多 provider 容灾保障输入不断,MCP 工具网关拓展输出质量,以及如何把任意本地能力转化为 MCP 服务喂给 Agent。
Hermes Agent 的插件系统不算庞大,但设计得相当工整。最近为了接入一个新的图像生成后端,我把它的插件机制从头到尾走了一遍——从目录结构、注册流程,到调试时的各种踩坑。这篇文章是我沿途的记录,希望能帮你少走些弯路。