每天从官方博客、媒体、研究者与开发者社区精选 AI 资讯动态，附摘要与原文链接。
作者分享在米兰一台已 root 的 Pixel 上运行多个 AI Agent 数周的实操复盘，该手机通过 MCP + REST 暴露为工具，代理多个项目发送 WhatsApp 和短信、管理群组、浏览网页并发布 LinkedIn，原因是官方 WhatsApp Business API 对意大利小企业来说太慢太重。最先出问题的是 WhatsApp 更新后移动了“通过链接邀请”和“添加成员”按钮，群组操作失败一天才修补无障碍选择器；其他问题包括共享收件箱的所有权归属、webhook 重试导致 7 秒内重复回复（以消息 id 原子锁解决）、首次联系人需设每日上限以免封号，以及单屏多 Agent 需引入租约机制，虚拟显示器上的无头浏览器会话解决了大部分屏幕冲突。作者总结 LLM 部分只占简单的 20%，其余 80% 是所有权、幂等性、租约和 UI 变化监测等繁琐工程。
作者在 2 台 DGX Spark 上以 2.75 bpw EXL3 运行 DeepSeek-V4.1-Flash-1017，vLLM 张量并行，并由一台 EPYC 3090 主机通过 RDMA 提供 Engram 表和运行 DSpark 投机解码 drafter。256K prefill 达 2,618 tok/s，结构化输出 4 流 322 tok/s，单流 138 tok/s；KV cache 约 1.93M tokens，NVMe prefix cache 使 150K 提示词重启后首 token 从 58.6 s 降至 2.58 s。代码、启动脚本、基准工具和原始 JSON 全部公开（https://github.com/ProprietaryLegal/DeepSeek-V4.1-Flash-2xDGX-Spark-x86-offload），prefix-cache 代码待下…
OpenAI 的 Thomas Sarlandie 在 San Jose 的 AGNTCON + MCPCon（10月22-23日）上介绍了 ChatGPT 插件目录对生产环境 MCP 服务器的审核，InfoQ 于10月26日报道称 OpenAI 要求每个工具都带注解，否则拒绝上架。注解分三类：readOnlyHint 仅在工具不改变状态时为 true，destructiveHint 在产生不可逆结果时为 true，openWorldHint 在工具触达公共互联网或开放式外部实体时为 true（包括只读 web 搜索）。审核指南强调提交表单中的说明文字不能覆盖注解，需修改服务端注解后重新部署、扫描并验证。同时 MCP 规范要求客户端将注解视为不可信，OpenAI 文档指出注解不能替代服务端授权、输入校验或对重要操作的确认。
作者在 5090 加 64GB DDR 配置下对比测试 Qwen 3.8 27b 与 Qwen Flash Next。27b 的 BFCL 达 81.51%、LiveCodeBench pass@1 达 86.15%，均高于 Flash Next 的 78.19% 和 79.22%，长上下文和较难题目优势明显；Flash Next 仅在短单答类别略占优。作者保留 27b 配置，因其可运行 4 个并发 Agent 和 570k nvfp4 KV cache 池。
AWS 发布 Amazon Bedrock 成本管理 playbook，提出归因、观测、执行、优化、运营五阶段闭环。成本归因基于 IAM principal 标签写入 CUR 2.0，共享网关用 per-user 会话标签恢复用户级归因；预算执行分三级，从 AWS Budgets 告警、IAM deny 策略到网关同步返回 HTTP 429。优化集中在智能提示路由和提示缓存，文中给出 Claude Sonnet 4.6 等模型的缓存倍率与评分卡阈值，并部署了 CloudWatch Logs Insights 诊断查询示例。
作者实测单张 Intel B65（32GB）配合 XeStrata Flash-Next 4-bit 运行 Qwen3.8-Flash-Next，专家权重放主机内存，单用户吞吐中位数 62.4 tok/s，TTFT 2.1 秒。2 并发时聚合吞吐降至 48.7 tok/s、4 并发为 44.6 tok/s；对比 RTX A6000 用 llama.cpp MTP-2 的 52.8 tok/s（单用户）和 75.2 tok/s（2 并发），作者认为 Intel 方案在价格上有竞争力，值得入门用户重新考虑。完整数据和交互图表见 https://b65.thekaiser.us/by-model/qwen38-flash-next/xestrata-20261030/
SenseNova-U1.5-8B-MoT 的 llama.cpp 支持已于 10 月 21 日合并，作者自行转换官方权重后在 Mac Studio M5 Ultra 上实测，Q4_K_M 达 125 tok/s（Q8_0 为 88 tok/s，BF16 为 56 tok/s）。该模型仅支持理解（文本或图像输入、文本输出），图像生成需用 stable-diffusion.cpp。视觉测试中 Q4_K_M 通过 llama-mtmd-cli 在 16 秒内发现一张伪造收据小计多算了 $1.00，并注意到 7% 税额按错误数字计算；还无误读回菜单、白板和三张中英文标牌。作者提醒 mradermacher 的量化版缺少 mmproj 无视觉，转换报 KeyError: 'vision_config' 时可将 conversion/sensenova_u1.py 第 80 行改为 vision_…
一位用户分享亲历：从 ChatGPT Personal 账号升级到 Business 后，原有 ChatGPT Sites 仍在线但无法访问、修改或删除，其自定义域名也因仍挂在不可访问的旧工作区上而无法在新工作区复用。OpenAI 支持在等待 10 天后回复称缺少解决该问题的内部文档，目前无解决路径。作者建议：迁移前务必先断开自定义域名并删除已发布的 Sites。
作者在四台 Mac 上用相同设置跑同一套基准，测试了 Qwen3.5 4B、gpt-oss 20B、Gemma 4 26B、Qwen3-Coder 30B、Qwen3.8 27B 的解码速度和 Qwen-Image 2.1 的生图速度。结果显示 MoE 模型因每 token 只激活 3-4B 参数，36GB 的 M5 Max 速度达到或超过 M3 Ultra；稠密 27B 仍受带宽限制，Ultra 最快（37 tok/s）；生图差距最大，M5 Max 比 M4 Pro 快约 7 倍、比 Ultra 快约 2 倍。方法为 512 token 提示、生成 128、5 次取中位数，使用 MLX 引擎 Rapid-MLX，每格只跑一次。
作者用 Atomic Agent 0.6.13 云端模式通过 OpenRouter 对 10 月发布的 6 款模型各跑 5 个带隐藏陷阱的编码任务，每任务限时 10 分钟。DeepSeek V4.1 Flash、Claude Haiku 5.5、Gemini 4 Argon、Kimi K3.1 Pro、GPT-6.1 Terra 均 5/5 通过；DeepSeek V4.1 Flash 五个任务共 0.02 美元且中位耗时 14 秒，GPT-6.1 Terra 花 0.65 美元，价差约 30 倍。被热议的 Recursive Flint（免费档，厂商宣称 SWE-bench Verified 74.2）仅通过 1/5，一个任务耗时 8 分钟；作者提醒其免费端点当天频繁报错并多次返回 503，换第二个 agent 复测未能完成。
作者为黑客松构建了一个团购谈判系统，一个买家 Agent 与 8 个各自有私有底价和库存的卖家 Agent 谈判，卖家提交密封报价、互不知晓底价。资金由确定性引擎而非模型控制，200 次随机拍卖零违规。谈判模型为 Nemotron 3 Ultra（关闭思考），踩坑包括反复调用已应答的读取工具、同时群发所有卖家、以文本段落结束回合而非工具调用、小模型把价格返回为 "$39.95" 文本；对应修复是应答后移除工具、一条固定提醒、在 schema 中关闭字符串选项。每次调用使用严格 JSON schema 并由代码二次校验，设有每次谈判和每日花费上限，触发上限时播放标注的回放。一次实况运行：601 名买家、5 轮、34 秒、49 次模型调用、总成本不到 2 美分。
NVIDIA 员工分享其为万圣节搭建的 MonsterHouse：一个能听懂敲门访客、用暴躁海盗船口吻对话的车库门角色，由 Nemotron 语音智能体（Voice Agent）在单工作站上驱动。链路包括 Nemotron 3 ASR 识别语音、Nemotron 3.5 Bolt E4B 4GB（4-bit 量化）生成回复，搭配数千条多轮对话训练的 LoRA 适配器塑造性格；Magpie TTS Zeroshot 用 3-10 秒参考样本合成带七种情绪的语音；Audio2Face-3D 在 Unreal Engine 5 中驱动口型，Nemotron 3 Nano Omni、YOLO 与 ByteTrack 提供访客服装识别和计数。实测中位延迟为语音结束到出声 1.70 秒，缓存回复 0.72 秒；系统运行在 RTX PRO 6000 Blackwell Max-Q 加 RTX PRO …
作者完整拆解了从语音识别、本地小模型对话到口型动画的全链路做法和延迟数据，可迁移到类似的实时角色项目。
作者与专注于 evals、搜索和检索的 Antaripa Saha 合作发布一篇教程，讲解 AI 智能体失败如何发生、如何在 trace 中定位这些失败，以及如何把失败转化为 evals 来提升智能体在生产环境的可靠性。作者供职于一个智能体可靠性平台，教程作为教育资源放在评论区，并表示欢迎提问。
u/Marmelab 汇总 57 篇论文和自身经验，总结出构建 Agent harness 的六条实践：从过往会话提炼规则、删除无法证明有效的规则、保持指令文件精简（OpenAI 将主 AGENTS.md 压缩到约 100 行）、减少工具数量（Vercel 砍掉 80% 工具后成功率从 80% 升至 100%，延迟从 724 秒降到 141 秒）、用 git hooks 和 linter 等脚本强制执行规则（研究发现书面安全规则仅 4-16% 真正起效）、定期清理过时规则。多伦多大学研究显示同一模型因 harness 设计差异可产生最高 6 倍的性能差距。
作者引用 OpenAI 本周更新的 tasks 页面：ChatGPT 定时任务即使没有发布任何更新，也会因后台模型处理而消耗计划用量或工作区额度，建议暂停不需要的任务或降低频率。页面还说明数据导出不包含定时任务及其快照，删除或归档聊天可能暂停任务，共享链接需单独删除，锁定聊天前须先删除任务，项目内任务无法访问项目文件，不活跃任务可能自行暂停。各档位活跃任务上限为 Free/Go 3 个、Plus 5 个、Business/Edu 10 个、Pro/Enterprise 15 个，Free 任务每天最多运行一次，每小时运行和精确时间需付费计划。作者表示已暂停被遗忘的监控任务，并把重要任务指令保存在其浏览器扩展 AI Toolbox 中以便随时重建。
作者在 Online-Mind2Web 的 100 个真实网站任务上，用 Claude Haiku 5.5 作为主模型对比五种浏览器方案：OpenClaw 通过 35/100（中位 141 秒，$4.80），5dive（claude code）32/100，Claude in Chrome 29/100 但最快（中位 67 秒），5dive（pi）29/100 且最便宜（$0.65），Hermes 18/100；前列差距在配对测试中不具统计显著性。在 4 个受控常规任务中五个方案全部 12/12 通过，5dive（pi）每千任务成本最低（$0.86）。作者另开源了 5dive 浏览器插件，支持持久登录、人工接管登录与验证码，以及支付等敏感操作前的审批，可通过两条 sudo 命令在自托管 Debian/Ubuntu 上安装；文中同时列明单模型、单次尝试、单数据中心 IP 等测试局限。
作者团队两周前开启 CodeRabbit 的 slop 检测，对疑似低质量 AI 输出的 PR 自动加注和 "slop" 标签，识别出 600 行代码实现 20 行工单、重复 helper、只测 mock 等问题，70 个 PR 中标记了 9 个，作者认为其中 8 个该被标记。第 9 个是初级工程师手写为主的 PR，公开标签让他很难受，团队随后改为人工确认后才显示标签。现在团队一半人想在所有仓库启用，另一半认为公开打上 "slop" 标签等于变相羞辱。
作者团队将约 60 个自用 Agent 从一把共享主密钥迁移到每 Agent 一把独立密钥。过程中他们为每个 Agent 建立精确到路由、不含通配符的 allow-list（前 25 个中 6 个重复被合并），多数 Agent 只需读权限，越权请求返回 403；每次调用改用 60 秒、单次调用的短时 run，防止失控循环持续打 API。主密钥在扫描所有脚本和定时任务确认无引用、各 Agent 自己的密钥已承载真实流量后才最后停用。
作者在 MacBook Pro M5 Max（64 GB）上用 llama.cpp 运行 Qwen 3.8 27B Q4（关闭思考模式），在沙盒中对 10 个编码 Agent 做了 5 个带陷阱的小任务评测。全部或多数 Agent 通过率接近，但 token 消耗差异巨大：Pi 每个任务约 9.2k token 最省，Qwen Code 约 107.9k 最耗；Atomic Agent 是唯一走 llama.cpp 原生端点并用语法约束工具调用的 Agent，缓存复用 86%，全程离线并 5/5 通过。Codex CLI、Cline、goose、OpenCode 在每次运行中都尝试联网，即使已关闭 telemetry，被沙盒拦截；DeepSeek Harness 处于 alpha 阶段但仍 5/5 通过、不联网且缓存复用 83%。
Hugging Face 的开源 TTS 排行榜不仅对比 TTS 模型，还对不同推理实现进行基准测试。可查看流式性能（time to first audio）、推理速度、语音质量（WER/CER 与说话人相似度）以及 GPU 和 CPU 流式结果，作者认为这对构建本地语音智能体有参考价值。
Epsilon 的 Agentic Platform 团队基于 Amazon Nova Act 和 Amazon Bedrock AgentCore Browser Tool，将意图驱动的 UI 测试作为多租户平台服务交付，保留原有 Playwright 回归体系作为回归主干。测试步骤用自然语言编写，能抵御界面样式变化并由非工程师审阅。文章给出了平台 API、Celery 任务执行器与 CDP WebSocket 集成的核心代码，以及一个含条件逻辑的 18 步示例工作流。据其内部基准，一个 18 步工作流用 Nova Act 编写约需 5–10 分钟，而等效 Playwright 脚本（约 80–150 行代码）需 30–90 分钟，作者量提升 4–6 倍；保存的成功轨迹重放可达 100% 通过率。文章还分享了运行时隔离、轨迹重用降本和跨账号 IAM 多租户设计等实践。
作者指出 CLAUDE.md 在 Anthropic 文档中被明确定义为上下文而非强制配置。真正的强制约束应使用 permissions.deny 权限规则，或在工具调用前运行的 PreToolUse hooks（以退出码 2 阻止编辑）。作者还建议在无凭据的测试仓库中保护一个假文件并让 Claude 尝试编辑，验证执行是否真的被拦截，且注意单个工具上的检查不能默认覆盖其他工具。
MoEngage 使用 Amazon Bedrock AgentCore Gateway，将约 400 个内部 REST API 转为带权限范围的智能体工具，服务 10 个内部智能体，估计节省约六个月平台工程投入，新 API 接入从数天缩短到数小时。其方案通过 Cedar 策略在服务端按主体过滤 tools/list，避免 20,000 多 token 的工具目录进入上下文窗口；身份以 X-MOE-* 头部传递而非工具参数，全程经 VPC interface endpoint 与 Amazon VPC Lattice 托管出口，无任何公开端点。产品团队只需在 OpenAPI 规范中添加 x-moe-mcp 注解块，由 CI 自动注册目标和应用策略，无需编写 MCP 服务器代码或配置网络。
作者基于加密后端和 Agent 开发经验，提出给 AI Agent 配钱包时的护栏做法：私钥隔离在独立签名服务、限额和收款方白名单用代码而非提示词实现、发送前模拟交易、记录意图与 tx hash，并设置团队任何人可触发的支出总开关。文中提到 x402 交易量已超 1 亿，并提醒网页、邮件等内容可能通过提示词注入诱导转账，因此规则不能依赖提示词。
作者将 7 个 LLM 评测工具按代码库与平台两类对比：promptfoo 做 YAML 提示词回归测试和 red-teaming，DeepEval 适合 pytest 和 CI，Ragas 评检索质量，Langfuse 和 Arize Phoenix 提供开源追踪，LangSmith 配合 LangChain/LangGraph，Braintrust 是带免费额度的商业平台。作者建议先从真实流量中手工标注几十条样例，再信任任何自动化指标。
The article explains how to check how much context MCP tool definitions consume before a conversation starts: some harnesses register every discovered MCP tool up front and include their descriptions and input schemas in each request. The author cites a report from a DeepSeek harness repo discussion where unmounting one large MCP server dropped resident context from about 200K to about 10K tokens…
作者在开发一款人与智能体共用同一批标签页的浏览器，最大的设计难点是页面陈旧：智能体决定点击 node 42 时，页面可能已弹窗、被人工接管或导航。他们的方案是让每次智能体调用携带控制纪元（当前由谁驾驶标签页）和计划计算时的页面版本，一旦人工接管或文档变化，调用就以 stale target 错误失败，智能体必须重新读取页面，绝不会操作当前位置上的内容；开、选、关标签页仅限人工，智能体只能准备、由人提交。代价是往返次数增多，且智能体要把 stale 当作正常结果而非异常；收益是避免静默点错导致表单误提交。作者还询问基于 Playwright 或 CDP 的做法，实现链接在评论区。
作者整理了 OpenAI 迁移帮助页中关于把个人 ChatGPT 并入 Business 或 Enterprise 工作区的规则：合并不可撤销，合并后没有自助导出；Enterprise 域名下组织可强制合并并给 7 天期限。部分内容如旧对话、他人拥有的项目和 GPTs、项目级记忆、自定义插件和 Sites 不会迁移。官方导出最长 7 天才到、链接 24 小时过期，作者建议收到邀请当天就请求导出并检查；其自研浏览器扩展 AI Toolbox 可从页面直接导出单个对话（免费），批量 ZIP 及 Markdown、JSON、PDF 导出为付费功能。
检测到提示词注入不代表智能体被阻止使用该内容。以 StackOne 开源的 Defender 为例，其 README 显示 blockHighRisk 选项默认为 false，检测可以标记高风险内容但不产生“不允许”的判定。作者建议核查四点：高风险发现是否真正触发拦截、应用是执行还是仅记录判定结果、可选的 LLM 审查者拒绝回答或输出格式错误时如何处理、是否信任了清理后的文本而非判定结果。实用测试是走完整路径：提交已知恶意工具结果，检查判定，并确认应用阻止其到达智能体。
作者用一张 Tesla P40 24GB（PCIe x1）加自建 llama.cpp fork 调优 Ornith 1.5 35B-A3B（qwen3.5 MoE 架构），坚持 Q4 权重和 q8_0 KV 不再压量化，跑满 262k 上下文。有效手段包括关闭 ECC 提升约 9% decode、用 dp4a 加速 flash-attention 使 prefill 在 32k 提升 26%、100k 提升 41%，以及修正未训练 MTP head（draft 接受率从约 45% 升到 60-85%）、限制 MTP 只读 prompt 末 8k。实测无 MTP 时 decode 从 60.8 t/s（0 深度）降到 29.1 t/s（100k），MTP 实际服务器下短 prompt 65-74 t/s，101k prompt 读取约 415 t/s、生成 35-39 t/s，作者表示可分…
一位网友整理了 Artificial Analysis 页面所用评测基准的发布日期，按从新到旧排序，从 Code2Video-AA（2026 年 10 月 26 日）到 MATH-500（2023 年 5 月 31 日）等数十个评测。作者认为基准发布约 3-4 个月后就会被刷分（benchmaxxing），此后往往需要靠评测方推出新版本来应对。
一名用户成功利用 DeepSeek AI 为消费级 RTX 3080 GPU 解锁底层 Tensor Core 功能，使其性能接近 RTX A5000 级别。该显卡在 FP16/FP32 累加性能上从 60.54 TFLOPS 提升至 109.39 TFLOPS，实现了约 80.7% 的性能飞跃。该过程无需更换硬件，但需要 DeepSeek 指令辅助。
通过AI模型指令，将消费级显卡性能提升超过80%，展示了在硬件底层能力挖掘中的应用潜力。
作者用 2B 三元模型做了一个本地纪律追踪应用，摄像头拍照交由本地模型评估并生成行为报告。为解决持续推理时 GPU 满载 100W、风扇狂转的问题，他在 AMD Adrenaline 面板里降低功耗上限并固定风扇低速，整机功耗降到 25W，单次推理从平均 1.9 秒变为 2.8 秒。他质疑厂商为 NPU 投入大量硅片却没有为持续本地推理提供功耗调度接口，并询问有哪些 API 可让用户告知平台这是持续推理负载。
作者自建无人值守评测框架，在 M1 Max 64GB 上用 16 个多步工具任务和 10 个基于真实助手失误重建的任务（各跑 3 次）测试 48 个本地模型，并对 54 个模型测速。qwen3.8-27b Q4_K_M 综合最优（质量 99%、agent 100%、16.9 tok/s），追求速度可选 ornith-1.5-35b-a3b（52.4 tok/s），编码任务 lfm2.5-24b-a2b 全部通过。46/48 个模型在真实失败场景层至少出现一次严重失误，5 个模型至少一次上钩了隐藏在邮件里的提示词注入；GGUF 模型同前缀续跑的 prompt cache 冷启动快 152 倍。完整表格、评测框架和轨迹已开源在 GitHub（https://github.com/DesignwithHugo/LocalLlmBench）。
作者建立一台本地GPU基准服务器，使用双RTX 5060 Ti卡（32GB VRAM）和vLLM在Docker中，对12个本地LLM模型进行了评估。测试涵盖IFEval、IFBench等7项基准，并追踪模型实际运行的壁钟时间、Token吞吐量和时效效率得分。所有结果已发布到个人网站https://llmbenchmarks.io/local-gpu-benchmarks/。
作者在 Reddit 上次发帖讨论单智能体与多智能体取舍后，把评论中的四种搭建方式用于同一个 Python 开支追踪应用任务：Claude Code（Opus 5.5）单智能体、Codex CLI（GPT 5.5）单智能体、Paseo 智能体团队（Opus 5.5 主导），以及 Atomic Agent Fusion 模式（云端 Opus 5.5 规划、本地 Qwen 3.8 27B 执行）。统一一行提示词和同一份规格，用 38 个智能体未见过的隐藏测试评分。结果：三个智能体组均 38/38 通过（成本约 $1.13–$1.32，用时约 6 分钟），Atomic Agent 36/38、一行修复后 38/38，成本 $0.40、用时 3m11s 最快最省。Paseo 主导模型判断任务较小后未派生任何 worker 自己完成。作者认为编排的价值不在让小任务更快，而是让昂贵模型只负责思考、廉…
作者为 YC 申请录制产品演示时，用 Playwright 驱动真实 Chrome 并配合系统录屏和虚拟光标。经验包括先生成配音再录制、用 skip() 剪掉智能体 2 分钟构建和 15 到 90 秒的等待、以停止按钮消失 8 秒判断完成、昂贵的智能体步骤只跑一次后续重录用回放替代。还提醒了 ChatGPT 草稿残留、嵌套 iframe、单页应用覆写 document.title 等坑。
Mojo和MAX发布后，其本地推理开发进展顺畅。一位用户花费4天时间成功运行了手机端推理，其性能达到了或优于llama.cpp Vulcan的水平。
Property Finder 在处理房地产图像质量评估时发现，96.8% 的标签来源于现有模型的预测，导致评估严重偏向。他们构建了公正的真实数据，并采用类强化学习的进化提示优化循环，在 Amazon Bedrock 上选中 Llama 4 Maverick 17B Instruct 模型。最终，模型准确率（Micro F1）从 0.55 提升至 0.80，成本降低了 86%。
该案例展示了如何识别模型评估偏见并利用进化提示优化实现模型选型和成本降低。
AWS 与 Exowatt 联合发布案例：用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B，分别部署于边缘告警分诊和云上能源市场分析。微调后 Qwen3-1.7B 在 320 条测试上达 0.911 macro-F1，超过 Claude Sonnet 4.6 的 0.698；Qwen3-14B 达 0.975，超过 Claude Opus 4.7 的 0.625，每千次回答成本 $0.60 对 $29.26，约低 49 倍。边缘模型量化为 GGUF 后在站点现有 CPU 上离线运行，云模型经 Bedrock Custom Model Import 托管，整条流水线由 7 个 AWS 无服务器服务组成，从立项到上线最短用时 6 天。
C-BRAIN 正在利用 AI 技术改变痴呆症研究的发现速度，利用 NVIDIA 的支持构建混合集中和联邦化数据处理系统，使 AI 模型能够在不泄露患者隐私的情况下从机构的“暗数据”中学习。该研究开发了 OpenScientist（开源智能 AI 协作者）和 InsightEngine（开源研究平台）两款工具。OpenScientist 能在几分钟内完成需数周至数月的分析，单次成本低于 10 美元。C-BRAIN 目标是在三年内发现大脑衰老的新的因果机制，并构建多模态生物学基础模型。
作者在喜马拉雅山麓居住一年后，实测断网状态下用 OpenCode 连接本机 Ollama 运行的 Qwen3.5 9B 完成编码任务。她选定 Qwen3.5 9B 因其模型卡上 LiveCodeBench v6 得分 65.6、BFCL-V4 得分 66.1，下载约 6.6–7.6 GB；断网前先下载模型和依赖，用 OLLAMA_HOST=127.0.0.1:11434 等配置启动本地服务，并用 curl 验证本地 API 可用、外网不可达。离线示例中智能体把 expense_total.py 中 total = Decimal(amount) 改为 total += Decimal(amount)，请求编辑权限后运行测试，作者随后手动运行 python3 -m unittest -v 确认五个测试全部通过、程序输出 25.50。文中还总结了小任务优先、给出精确测试命令、保持原测试不变以…
作者在喜马拉雅山区实测断网运行 OpenCode 加本地 Qwen3.5 9B 修 bug，给出完整配置、内存参考和可复用的小任务操作建议。
作者在同一张 RTX 5090 32 GB 上对比 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六个引擎运行 Qwen3.8 27B，测试含 decode 吞吐、32K 长提示、并发请求、截图输入和四轮工具调用循环，均关闭 thinking、greedy 解码。结果上 NInfer 在投机解码和并发吞吐领先（488 tok/s），llama.cpp 纯解码最快（84.2 tok/s），TensorSharp 四路并发达 445 tok/s；32K 提示 NInfer TTFT 3.02 s 最快。作者提醒各引擎用量化 checkpoint 和 drafter 不同，结果反映完整配置而非引擎本身，差异小于 5% 视为不确定，velox 在 JSON-schema 检查三次均失败。
作者在自建网关中实现工具调用后发现，其本质仍是普通提示词文本。Qwen3 的聊天模板会把工具 JSON 放进 system prompt 的 <tools> 标签，模型用普通 token 写出 <tool_call> 块，服务端解析后转为 tool_calls 字段，结果再以 <tool_response> 包裹的用户消息返回。文中还提到 Anthropic 文档说明 Claude Opus 5.5 在工具定义前会增加 286 token 的隐藏系统提示词，并介绍其网关的实践：单个工具结果截断至 64 KB 并加 [cut: N more bytes] 提示、失败工具以 Error: 文本回传、最后一轮关闭工具迫使模型作答，附开源仓库 https://github.com/respanai/respan-gateway。
作者解释近期 GPU 解锁的原理：NVIDIA 通过工厂熔断将消费卡的 FP16/BF16/FP8/TF32 以 FP32 累加时的张量核心速度限制为一半，解锁工具利用 2026 年 6 月 Jon Pry 论文披露的 Booter 缓冲区溢出漏洞，以最高权限写入覆盖寄存器恢复全速。Turing、Ampere、Ada 可解锁，4090 的 FP16/BF16 FP32 累加从 165 提升到 331 TFLOPS，3090 Ti 的 BF16 GEMM 从 87 到 157 TFLOPS，2080 Ti 从 47 到 94 TFLOPS；实际 GEMM 因功耗墙增益不足 2 倍。消费级 Blackwell 因改用 FSP（RISC-V 根信任）启动、无 Booter 可利用且固件加密，目前无法解锁。作者还列出受益场景（训练 LoRA、扩散模型、LLM prefill、大批量 TG）与不受…
一位用户自建了可在房屋内常驻对话的家用 AI 系统 Ada，并刚完成基于 ESP32 的物理遥测诊断面板 BM-01。系统运行在 Lenovo ThinkCentre M720q 上，包含 GPT-Live 实时语音、ReSpeaker XVF3800 四麦克风阵列、本地唤醒词检测、持久家庭记忆、WiZ 灯光与 Samsung TV 控制及 Red Alert 应急状态。作者的主要教训是 AI 模型并非最难部分，音频链路、打断处理、记忆相关性等基础设施才是难点；迁移到 WebRTC/GPT-Live 对话核心、改用语义嵌入加分类的记忆系统、以及用 shadow mode 对比 Microsoft 与 ONNX 唤醒模型的决策都记录了具体过程。
AWS 工程师介绍在 Amazon Bedrock 上对 GPT-6 Astra 等 OpenAI 模型使用提示词缓存的模式，通过缓存 agent 每轮重复发送的工具定义、指令和历史，六轮工作负载输入成本降低约 62%。文章覆盖显式与隐式缓存、会话中途新增工具、子代理预热和缓存键设计，静态前缀最低需 1,024 token，TTL 至少 30 分钟。
原文用 agent 六轮工作负载给出了显式与隐式缓存的实测成本对比，可帮助读者为自家 agent 选择缓存策略。
AWS 官方博客发布教程，用 AWS CDK 在 Managed Amazon Bedrock Knowledge Base 与 AgentCore 上构建企业级智能体检索：每个知识库经 Gateway 以 MCP 工具暴露，推理智能体做多轮规划、语义路由和迭代检索，AgenticRetrieveStream API 返回带引用的答案。相比 2024 年单次检索方案，不再需要自建 OpenSearch Serverless 向量库和 OCU 费用，并内置两个 CloudWatch 仪表盘覆盖七层遥测，以及按需和持续两种评估。整个系统是一个 Python CDK 应用，cdk deploy --all 一条命令按依赖顺序部署四个栈。
作者基于 r/LocalLLaMA 的反馈重构了开源多智能体对冲基金架构，分享三个关键教训。一是为 11 个量化因子建立极性模式（Factor Ontology Schema），让数据在进入 Agent 前被确定性预判为 BULLISH、BEARISH 或 RISK，投资委员会的极性幻觉降为 0%。二是用 SQLite FTS5 BM25 替代 Embedding API 加向量库做反思记忆，检索延迟从 200-450ms 降至 0.35ms，且关键词命中更可靠。三是将实时风控哨兵用纯 Rust 重写（SoA 内存布局、`#![forbid(unsafe_code)]`），单仓位止损评估 3.63ns，1000 仓位批量评估 3.62 微秒，Python-to-Rust 管道 IPC 往返 2.88 微秒。结论是 LLM 只负责上下文综合与辩论，确定性任务交给严格模式、本地数据库和编译型…
Grok 在三个月前宣布制作全长“历史准确”的《奥德赛》电影后，与 Wonder Studios 和导演 Dev Walker 合作发布了七分钟的“Episode 1”。TechCrunch 作者评价个别镜头接近真实，但整体缺乏艺术性和感染力，与 Nolan 实拍版对比明显。
作者在 RTX 4090 + 48 GB 内存、Windows 上对 IQ3_S 量化版 Qwen3.8-Flash-Next 进行 Strata 引擎网格调参，200k 上下文下 prompt 处理达 2076 tok/s，解码均值 95-105 tok/s，峰值 145 tok/s。最有效的三个参数是 --adapt-async 1、--kv-resident 20480 和 STRATA_ADAPT_LAG=2，合计提升解码约 45%；同时发现 --expert-cache 单位是 MiB 而非 slots（填满显存会降 72%），Windows 无法锁定内存导致专家拷贝仍由 CPU 驱动。作者还让 Qwen3.8 自主调参并自建 pi 子智能体扩展保存 KV 状态，总计算上下文达约 450k。
作者解释了按下连接按钮时实际授权的内容：连接器不是本地程序，而是让 AI 应用调用远程服务器上的工具列表，涉及 AI 公司、连接器运营方和数据服务方三方信任。风险主要来自三处，一是 OAuth 授权范围常大于实际需要，二是提示词注入，即 AI 难以区分用户指令与外部文本中的隐藏指令，当私有数据访问、陌生文本暴露和对外发送三者同时存在时需要人工审批，三是连接器运营方的资质与数据存储方式。作者给出分级授权阶梯，从只读公共数据逐步放宽到可发送、支付或删除的权限，并以 LetsFG 和 Coinbase AgentKit 两个开源 MCP 项目为例说明内置与自建安全机制的区别。
Studio