让 Hermes Agent 用上小米 MiMo：语音、搜索与工具调用

Wed, 29 Jul 2026 00:00:00 +0000

很久以前我写过一个给自己用的 Telegram bot，当时就在想，如果能让它代替语音助手接入智能家居之类的场景就太好了。但那时候做这种事难度远大于收益：大模型 API 价格高高在上，日常对话再加上工具调用和上下文积累，做 AI Agent 基本就是烧钱玩，于是一直搁置着。

后来事情起了变化。小米开放了 Home Assistant 集成，Agent 框架也逐渐成熟，DeepSeek 又把模型价格打了下来，终于到了我觉得「可以用」的心理价位。于是先玩了一阵子 OpenClaw，又注意到小米发布了 MiMo；看完定价和能力，索性订了一个 token plan。MiMo 2.5 是全模态模型，2.5-pro 在非 coding 场景里也完全够用。

不过 OpenClaw 用下来还是差点意思：记忆系统不好使，聊过的东西经常忘；自动学习的 skills 也得反复让它改才能用，折腾的时间比省下的还多。最后我切到了 Hermes Agent，它的 memory 和 skill 系统顺手不少。既然 MiMo 的 token 已经订了，光拿它当聊天模型多少有点亏，于是又折腾了几个小工具：接入 ASR、TTS 和联网搜索，再 patch 一下 Hermes，让它该查资料时别只会凭记忆张嘴。这篇就记一下过程中比较有用的坑。

MiMo Web Search：不太折腾的联网搜索方案

Hermes 自带 web_search 工具，背后是一套可插拔的搜索后端（Tavily、Firecrawl、Exa、Brave 之类的），按 API key 可用性自动选择，兜底是 DuckDuckGo。MiMo 刚好也有服务端联网搜索：请求发到 Chat Completions API 后，它自己去搜、浏览网页和提取内容，再把结构化结果返回。对大部分不想额外折腾海外搜索 API 的人来说，延迟和网络都省心不少。

接法不复杂，调用链如下：

Hermes web_search 工具调用
    ↓
MiMoWebSearchProvider.search(query, limit)
    ↓
POST {base_url}/chat/completions
    tools: [{type: "web_search", force_search: true, max_keyword: 3}]
    ↓
MiMo 服务端搜索 → 返回 annotations: [{type: "url_citation", ...}]
    ↓
解析为 Hermes 标准格式: {title, url, description, position}

搜索结果优先从 url_citation annotations 取；模型偶尔会直接在 response content 里输出结构化 JSON，插件也会顺手解析，作为 fallback。

插件以 Hermes 的 WebSearchProvider 形式实现，代码在 git.ntzyz.cn/mimo-websearch-for-hermes。接的时候有两个地方比较坑：

Prompt：为了让 MiMo 返回结构化结果而不是自由文本，prompt 里明确要求它遵循 JSON schema：

Use the web_search tool to find current information for the query below,
then respond with ONLY a single JSON object — no prose, no markdown
fences — matching this exact schema:

{"results": [{"title": "string", "url": "string",
"description": "1-2 sentence summary"}]}

配置项：在 Hermes 的 config.yaml 中可以调整：

web:
  search_backend: "mimo"
  mimo:
    model: "mimo-v2.5"       # 可选: mimo-v2.5-pro, mimo-v2-flash 等
    max_keyword: 3            # 每轮搜索最大关键词数
    timeout: 30

max_keyword 控制每轮搜索触发的关键词数量，越多结果越全但费用越高。联网搜索本身计费是国内 ¥16/1000 次，加上 token 消耗按标准价计费。

接完之后我先拿「极客湾最新热门视频」试了一下。MiMo 会返回 B 站和 YouTube 的链接、视频标题、内容摘要，甚至会带上弹幕反响和排行榜排名；看起来它是真的往下翻了页面，不只是把搜索结果凑了一下。

更有意思的是同一个问题、同一个模型，有搜索和没搜索的差异非常明显。比如问「Apple Silicon 不支持外部 GPU 是软件限制还是硬件限制」：

没有搜索时（patch 前，MiMo 从记忆回答）：

是硬件架构设计选择，不是软件限制。核心原因是 Apple Silicon 采用了统一内存架构 (UMA)……macOS Monterey 之后也确实移除了 eGPU 支持，与 M 系列芯片同步。

回答方向没错，但过于绝对了，直接否定了软件限制的因素。

有搜索时（patch 后，MiMo 做了 3 次 web_search）：

两者都有，但主要是软件/架构设计选择，而非硬件物理上不可能。……2026 年 3 月 31 日，Apple 正式批准了 Tiny Corp（George Hotz 的公司）开发的第三方 eGPU 驱动，允许在 Apple Silicon Mac 上通过 Thunderbolt/USB4 外接 AMD/Nvidia GPU。但只支持计算负载，不支持图形渲染加速。

搜完之后 MiMo 拿到了 2026 年 3 月 Tiny Corp 获批第三方 eGPU 驱动的最新进展，这是模型训练数据截止之后的事件，纯靠记忆不可能知道。

MiMo ASR：把语音消息接进来

Hermes 支持语音交互：用户在 Channel 里发语音消息，Agent 先转写成文字再处理。这套 STT（语音识别）同样是可插拔的 provider 架构，我把 MiMo ASR 接了进去。

插件代码在 git.ntzyz.cn/mimo-asr-for-hermes。

MiMo ASR 的接口比较特殊，它不走标准的 /v1/audio/transcriptions 端点，而是通过 /v1/chat/completions 接口，把音频以 input_audio 格式塞进 messages 里：

payload = {
    "model": "mimo-v2.5-asr",
    "messages": [{
        "role": "user",
        "content": [
            {"type": "input_audio", "input_audio": {"data": audio_b64, "format": "mp3"}},
        ]
    }]
}

音频 base64 编码后连同 model 和 messages 一起 POST 到 chat/completions，response 里的 choices[0].message.content 就是转写文本。只支持 wav 和 mp3，其他格式（ogg、m4a 之类的）会自动通过 ffmpeg 转成 16kHz 单声道 WAV。

最开始拿它转 Telegram 那种几十秒的语音时，完全碰不到限制。后来想拿它转视频，才发现有两个硬限制：

10MB 单次请求大小：音频 base64 编码后不能超过 10MB
8192 token context：音频 token 密度大约 1400 tokens/MB（@ 48kbps），算下来单次能处理的音频约 5-7 分钟

实际用得比较多的还是视频转写。一个 38 分钟的视频音频压缩后也有十几 MB，远超单次限制，只能切开跑。最后用了重叠切片：5 分钟一段，步长 4 分钟，相邻片段之间留 60 秒：

# 5 分钟一段，步长 4 分钟（60 秒重叠）
ffmpeg -y -ss 0   -i input.mp3 -t 300 -ar 16000 -ac 1 -b:a 64k seg_00.mp3
ffmpeg -y -ss 240 -i input.mp3 -t 300 -ar 16000 -ac 1 -b:a 64k seg_01.mp3
ffmpeg -y -ss 480 -i input.mp3 -t 300 -ar 16000 -ac 1 -b:a 64k seg_02.mp3

一开始直接硬切，句子刚好卡在边界时会丢字，后来留了重叠，问题就小很多。全部转写完后再用 LLM 去重拼接、清理口语化填充词、修正识别错误，顺手按主题加了标题。

拿极客湾那个 38 分钟的续航大横评视频试了一下。音频压缩到 64kbps mono 后约 22MB，切成 10 段分别转写，再用 LLM 合并整理。MiMo ASR 对普通话的识别准确率相当高，技术术语（电池锁容、充电降速、AI Agent 续航测试等）基本都能正确识别。

不过也有局限。部分方言效果不太好，试过一个南通话搞笑配音视频，1.7MB 的音频只识别出了几句接近普通话的内容。另外 MiMo ASR 不支持混合输入，没法在音频之外附加文字 prompt（比如让它按时间戳输出），只能发纯音频。也没有时间戳功能，不像 Whisper 那样能输出逐句/逐字的时间戳，需要对齐音视频时间轴的场景就力不从心了。

我现在主要拿它转 Telegram 语音和普通话视频，暂时够用了；而且走的是同一个 API key、同一个 token plan，不用再单独开一套服务。方言和时间戳的问题以后真有需求再说。

MiMo TTS：让它开口说话

Hermes 的 text_to_speech 工具同样采用可插拔的 provider 架构。接入 MiMo TTS 后，Agent 可以直接在 Channel 里用语音气泡回复。

插件代码在 git.ntzyz.cn/mimo-tts-for-hermes。

MiMo TTS 走的也是 chat/completions 接口，但用法和 ASR 不太一样。待合成的文本放在 assistant message 的 content 里，音色和格式在 audio 字段中指定：

{
    "model": "mimo-v2.5-tts",
    "messages": [
        {"role": "assistant", "content": "要合成的文字"}
    ],
    "audio": {"format": "wav", "voice": "冰糖"}
}

风格控制不是单独的参数，而是复用了 chat 的 message 结构：在 messages 前加一条 user message 描述想要的语气，例如「请用播音员的语气朗读」或「用讲故事的方式」。

MiMo TTS 内置了 9 个音色，中英文各 4 个加 1 个自动选择：

音色	语言	性别	说明
`冰糖`	中文	女
`茉莉`	中文	女
`苏打`	中文	男
`白桦`	中文	男
`Mia`	英文	女
`Chloe`	英文	女
`Milo`	英文	男
`Dean`	英文	男
`mimo_default`	自动	-	根据文本语言自动选择

除了内置音色，还有语音设计（voicedesign）和声音克隆（voiceclone）两个额外模型。voicedesign 可以通过文字描述生成自定义音色，voiceclone 可以用一段音频样本来克隆声音。

先听一段中文，用「冰糖」音色朗读《临江仙》：

滚滚长江东逝水，浪花淘尽英雄。是非成败转头空，青山依旧在，几度夕阳红。

再来一段轻松的，换「茉莉」音色：

下午三点，大猫猫准时跳上桌子，一屁股坐在键盘上，然后用那种「你怎么还不摸我」的眼神看着我。我试图把它挪开，它就四脚朝天地躺下来，露出肚皮。行吧，今天下午的代码是写不完了。

再听一段英文，用「Dean」音色朗读 Hermes Agent 的介绍：

Hermes Agent is a personal AI assistant that runs on your own machine. It connects to Telegram, Discord, Slack, and over twenty other platforms. It learns across sessions with memory and skills, delegates tasks to subagents, runs scheduled jobs, and drives your terminal and browser. Think of it as your own private AI butler, fully extensible through plugins and skills.

中文比我预期自然，英文也能听，至少没有一开口就想关掉的感觉。延迟没认真测，非流式模式下一段 10 秒左右的语音大概 2-3 秒合成；流式模式（stream: true，输出 PCM16 24kHz）可以边合成边播放，首字延迟会低一点。实际使用中 Hermes 会按文本长度决定要不要发语音，短的直接回文字。

Patch Hermes：别让它只会凭记忆回答

前面已经能看到搜索前后的差异。但 MiMo 明明已经拿到了 web_search 工具，为什么一开始还是不搜？问题不在插件，而在 Hermes 针对不同模型注入的系统提示。

翻了一下 Hermes 源码，关键在 agent/system_prompt.py。Hermes 的系统提示是按模型名来注入的，不同模型名关键词会触发不同的引导语。其中有一段 TOOL_USE_ENFORCEMENT_GUIDANCE，内容大概是「你必须用工具执行动作，不要光描述你要做什么」。

这段引导只注入给模型名包含以下关键词的模型：

`1`	`TOOL_USE_ENFORCEMENT_MODELS = ("gpt", "codex", "gemini", "gemma", "grok", "glm", "qwen", "deepseek")`

mimo 不在列表里，所以 MiMo 收不到「该用工具时必须用工具」的引导，遇到问题就直接从记忆答了。

源码里还有一层更严格的引导 OPENAI_MODEL_EXECUTION_GUIDANCE，里面有个 <mandatory_tool_use> 块，列出了「当前事实、新闻、版本号 → 必须用 web_search」之类的规则，但只注入给 gpt/codex/grok。

要改的地方只有两处，都在 ~/.hermes/hermes-agent/agent/ 下：

第一处：prompt_builder.py，在 TOOL_USE_ENFORCEMENT_MODELS 元组末尾加上 "mimo"：

# 改前
TOOL_USE_ENFORCEMENT_MODELS = ("gpt", "codex", "gemini", "gemma", "grok", "glm", "qwen", "deepseek")

# 改后
TOOL_USE_ENFORCEMENT_MODELS = ("gpt", "codex", "gemini", "gemma", "grok", "glm", "qwen", "deepseek", "mimo")

这样 MiMo 就能拿到「该调工具时别只回答」的提示。

第二处：system_prompt.py，在 OPENAI_MODEL_EXECUTION_GUIDANCE 的注入条件中加上 or "mimo" in _model_lower：

# 改前
if "gpt" in _model_lower or "codex" in _model_lower or "grok" in _model_lower:

# 改后
if "gpt" in _model_lower or "codex" in _model_lower or "grok" in _model_lower or "mimo" in _model_lower:

这样当前事实、算术这类场景的强制工具规则也会一并给到 MiMo。

两处都改完之后清 pycache 然后重启 gateway：

1
2
3

find ~/.hermes/hermes-agent/agent -name 'prompt_builder*' -path '*__pycache__*' -delete
find ~/.hermes/hermes-agent/agent -name 'system_prompt*' -path '*__pycache__*' -delete
hermes gateway restart

LLM on ntzyz's space

让 Hermes Agent 用上小米 MiMo：语音、搜索与工具调用

MiMo Web Search：不太折腾的联网搜索方案

MiMo ASR：把语音消息接进来

MiMo TTS：让它开口说话

Patch Hermes：别让它只会凭记忆回答