OmniRoute：把多模型供应商、故障转移与 Coding Agent 接成一个 API
OmniRoute 是可自托管的 AI gateway，将多个模型供应商与 Coding Agent 整合到单一 OpenAI-compatible endpoint，并集中处理路由、配额、成本与上下文压缩。
LLM
LLM
共 17 篇文章
把 AI Agent 放进网页：Page Agent 如何用 DOM 让自然语言直接操作 UI
Page Agent 是一个以 JavaScript 执行在网页内的开源 GUI Agent。本文从 DOM 驱动、LLM 连接、最小整合范例与安全边界切入，拆解它如何把「请帮我完成这个网页操作」转成可执行的 UI 行动。
别再靠感觉选模型：用 Promptfoo 把 LLM 应用的评测、红队与 CI 变成可重跑流程
LLM 应用最难维护的，往往不是把模型接上，而是回答品质一变差时，你能不能快速知道原因。Promptfoo 把 prompt、模型、测试案例、评测断言与红队扫描收进同一套 CLI／library 流程，让模型比较、回归测试与安全检查可以在本机重跑，也能接到 CI/CD。本文从一个可落地的评测流程开始，拆解它适合解决的问题、导入步骤与不能忽略的限制。
AstrBot：把多平台聊天、Agent 与插件生态接成一站式 AI 应用平台
AstrBot 是一个以 Python 建构的开源多平台 Agent 聊天机器人与开发框架，将大型语言模型、多模态、MCP、知识库、插件、WebUI 与多种即时通讯平台整合在同一个可部署环境。本文从架构定位、功能边界、部署方式与安全注意事项出发，带你判断它是否适合用来打造个人助理、客服或团队知识入口。
Jan：把本机 LLM、云端模型与 MCP 收进同一个桌面 AI 工作台
Jan 把本机 LLM、云端模型、自订 assistant、OpenAI 相容 API 与 MCP 整合进桌面工作台，本文拆解它的架构、建置方式、导入试点与安全边界。
Eino：把 Go 的型别、串流与工作流组合成可控的 LLM Agent 应用框架
CloudWeGo Eino 是以 Go 打造的 AI 应用开发框架，将模型、提示词、RAG 元件、工具、Chain、Graph、串流与 callbacks 组合成可测试、可观测的 LLM Agent 工作流。本文从原始码结构出发，说明它适合的工程场景、导入顺序与安全边界。
当 LLM 服务开始遇到流量：SGLang 如何把推理效能变成可操作的工程问题
把开源模型接到 API 只是起点。SGLang 以高效能 LLM／多模态模型 serving 为核心，提供 OpenAI 相容介面、原生生成 API 与多种部署路径。本文从实际导入角度拆解它解决的问题、上手方式、效能工程边界，以及哪些团队适合先试。
AI Agent 不該只靠感覺驗收：DeepEval 如何把 LLM 評估帶進 pytest 工作流
DeepEval 是一套開源 LLM 評估框架，將測試案例、品質 metrics 與 threshold 接進熟悉的 pytest／CI 工作流。本文從官方 README 與原始碼脈絡拆解黑箱評估、RAG faithfulness、Agent trajectory、工具正確性與導入治理。
LlamaIndex 不只是 RAG：把私有资料接上 Agent 的实作框架
很多团队已经会呼叫 LLM，却仍卡在文件解析、资料切分、检索、引用与 Agent 工作流程。LlamaIndex 把资料连接器、索引、Retriever、Query Engine 与 Workflow 放进同一个 Python 生态，让私有资料真正成为可被 Agent 使用的上下文。本文从官方文件出发，拆解它的定位、上手方式、适用情境与不能忽略的限制。
bitnet.cpp：把 1-bit LLM 推论带到 CPU 与 GPU 的开源框架
Microsoft bitnet.cpp 将 BitNet b1.58 等低位元模型带入 CPU 与 GPU 推论，透过最佳化 kernel、模型格式与 benchmark 工具，探索本地 LLM、RAG embedding 与 edge AI 的效能及部署取舍。
从 RAG 到 Agent：Haystack 3.0 如何把 LLM 应用拆成可追踪的 Pipeline
Haystack 3.0 以 component 与 Pipeline 为核心，将 RAG、Agent、检索、工具呼叫与生成拆成可组合、可测试的资料流。本文从官方 source code 出发，带你理解它的设计、最小 RAG 实作与适合的落地场景。
Google LangExtract：把 LLM 抽取结果钉回原文，让非结构化文字真正可验证
LangExtract 不只让 LLM 输出结构化资料，还把每笔 extraction 对齐回来源文字的 character span，并透过 JSONL 与互动式 HTML 支援人工核对。本文拆解它的资料模型、长文件管线、provider 架构与实际上手方式。
AnythingLLM：把私有知识库、RAG 与 AI Agent 收进一个可自架工作台
AnythingLLM 是一套以 local-first 为核心的开源 AI 工作台，将文件问答、RAG、AI Agent、多使用者权限与多种模型／向量资料库整合在同一个可自架应用中。本文从架构、资料流程、部署选择与隐私边界，拆解它适合什么团队，以及导入时最容易忽略的工程细节。
RTK：把 AI coding agent 的命令列噪音压缩成可用上下文
RTK 是一个以 Rust 撰写的 CLI proxy，会在 shell 输出进入 AI coding agent 前，依命令类型进行过滤、分组、截断与去重。本文拆解它真正节省的范围、安装与 agent 整合方式，以及如何在不牺牲错误可见性的前提下导入。
LlamaFactory 實戰：用一套 CLI 與 Web UI 完成 LLM 微調、推理與部署
LlamaFactory 將 100+ 個 LLM 與 VLM 的微調流程整合成 CLI、Web UI 與 OpenAI 相容 API。本文從 LoRA／QLoRA 快速開始，拆解資料準備、訓練、推理、合併與部署的實作路徑。
Cherry Studio：300+ AI 助手一应俱全的开源桌面客户端
Cherry Studio 用一个统一的桌面应用解决 AI 工具碎片化的痛点——它同时支援 OpenAI、Anthropic、Gemini、Ollama 等 300+ AI 提供商，内建 MCP server 架构，并且完全开源。
让 AI 自己写论文：Karpathy 的 autoresearch 如何用一个周末训练出一个更好的模型
Andrej Karpathy 发了一个只有三个 Python 档案的专案，却引爆了整个 AI 社群。 autoresearch 让 AI agent 自主改代码、训练、评估、迭代——你睡一觉醒来，模型已经变强了。