OmniRoute：把多模型供應商、故障轉移與 Coding Agent 接成一個 API
OmniRoute 是可自託管的 AI gateway，將多個模型供應商與 Coding Agent 整合到單一 OpenAI-compatible endpoint，並集中處理路由、配額、成本與上下文壓縮。
LLM
LLM
共 17 篇文章
把 AI Agent 放進網頁：Page Agent 如何用 DOM 讓自然語言直接操作 UI
Page Agent 是一個以 JavaScript 執行在網頁內的開源 GUI Agent。本文從 DOM 驅動、LLM 連接、最小整合範例與安全邊界切入，拆解它如何把「請幫我完成這個網頁操作」轉成可執行的 UI 行動。
別再靠感覺選模型：用 Promptfoo 把 LLM 應用的評測、紅隊與 CI 變成可重跑流程
LLM 應用最難維護的，往往不是把模型接上，而是回答品質一變差時，你能不能快速知道原因。Promptfoo 把 prompt、模型、測試案例、評測斷言與紅隊掃描收進同一套 CLI／library 流程，讓模型比較、回歸測試與安全檢查可以在本機重跑，也能接到 CI/CD。本文從一個可落地的評測流程開始，拆解它適合解決的問題、導入步驟與不能忽略的限制。
AstrBot：把多平台聊天、Agent 與插件生態接成一站式 AI 應用平台
AstrBot 是一個以 Python 建構的開源多平台 Agent 聊天機器人與開發框架，將大型語言模型、多模態、MCP、知識庫、插件、WebUI 與多種即時通訊平台整合在同一個可部署環境。本文從架構定位、功能邊界、部署方式與安全注意事項出發，帶你判斷它是否適合用來打造個人助理、客服或團隊知識入口。
Jan：把本機 LLM、雲端模型與 MCP 收進同一個桌面 AI 工作台
Jan 把本機 LLM、雲端模型、自訂 assistant、OpenAI 相容 API 與 MCP 整合進桌面工作台，本文拆解它的架構、建置方式、導入試點與安全邊界。
Eino：把 Go 的型別、串流與工作流組合成可控的 LLM Agent 應用框架
CloudWeGo Eino 是以 Go 打造的 AI 應用開發框架，將模型、提示詞、RAG 元件、工具、Chain、Graph、串流與 callbacks 組合成可測試、可觀測的 LLM Agent 工作流。本文從原始碼結構出發，說明它適合的工程場景、導入順序與安全邊界。
當 LLM 服務開始遇到流量：SGLang 如何把推理效能變成可操作的工程問題
把開源模型接到 API 只是起點。SGLang 以高效能 LLM／多模態模型 serving 為核心，提供 OpenAI 相容介面、原生生成 API 與多種部署路徑。本文從實際導入角度拆解它解決的問題、上手方式、效能工程邊界，以及哪些團隊適合先試。
AI Agent 不該只靠感覺驗收：DeepEval 如何把 LLM 評估帶進 pytest 工作流
DeepEval 是一套開源 LLM 評估框架，將測試案例、品質 metrics 與 threshold 接進熟悉的 pytest／CI 工作流。本文從官方 README 與原始碼脈絡拆解黑箱評估、RAG faithfulness、Agent trajectory、工具正確性與導入治理。
LlamaIndex 不只是 RAG：把私有資料接上 Agent 的實作框架
很多團隊已經會呼叫 LLM，卻仍卡在文件解析、資料切分、檢索、引用與 Agent 工作流程。LlamaIndex 把資料連接器、索引、Retriever、Query Engine 與 Workflow 放進同一個 Python 生態，讓私有資料真正成為可被 Agent 使用的上下文。本文從官方文件出發，拆解它的定位、上手方式、適用情境與不能忽略的限制。
bitnet.cpp：把 1-bit LLM 推論帶到 CPU 與 GPU 的開源框架
Microsoft bitnet.cpp 將 BitNet b1.58 等低位元模型帶入 CPU 與 GPU 推論，透過最佳化 kernel、模型格式與 benchmark 工具，探索本地 LLM、RAG embedding 與 edge AI 的效能及部署取捨。
從 RAG 到 Agent：Haystack 3.0 如何把 LLM 應用拆成可追蹤的 Pipeline
Haystack 3.0 以 component 與 Pipeline 為核心，將 RAG、Agent、檢索、工具呼叫與生成拆成可組合、可測試的資料流。本文從官方 source code 出發，帶你理解它的設計、最小 RAG 實作與適合的落地場景。
Google LangExtract：把 LLM 抽取結果釘回原文，讓非結構化文字真正可驗證
LangExtract 不只讓 LLM 輸出結構化資料，還把每筆 extraction 對齊回來源文字的 character span，並透過 JSONL 與互動式 HTML 支援人工核對。本文拆解它的資料模型、長文件管線、provider 架構與實際上手方式。
AnythingLLM：把私有知識庫、RAG 與 AI Agent 收進一個可自架工作台
AnythingLLM 是一套以 local-first 為核心的開源 AI 工作台，將文件問答、RAG、AI Agent、多使用者權限與多種模型／向量資料庫整合在同一個可自架應用中。本文從架構、資料流程、部署選擇與隱私邊界，拆解它適合什麼團隊，以及導入時最容易忽略的工程細節。
RTK：把 AI coding agent 的命令列噪音壓縮成可用上下文
RTK 是一個以 Rust 撰寫的 CLI proxy，會在 shell 輸出進入 AI coding agent 前，依命令類型進行過濾、分組、截斷與去重。本文拆解它真正節省的範圍、安裝與 agent 整合方式，以及如何在不犧牲錯誤可見性的前提下導入。
LlamaFactory 實戰：用一套 CLI 與 Web UI 完成 LLM 微調、推理與部署
LlamaFactory 將 100+ 個 LLM 與 VLM 的微調流程整合成 CLI、Web UI 與 OpenAI 相容 API。本文從 LoRA／QLoRA 快速開始，拆解資料準備、訓練、推理、合併與部署的實作路徑。
Cherry Studio：300+ AI 助手一應俱全的開源桌面客戶端
Cherry Studio 用一個統一的桌面應用解決 AI 工具碎片化的痛點——它同時支援 OpenAI、Anthropic、Gemini、Ollama 等 300+ AI 提供商，內建 MCP server 架構，並且完全開源。
讓 AI 自己寫論文：Karpathy 的 autoresearch 如何用一個週末訓練出一個更好的模型
Andrej Karpathy 發了一個只有三個 Python 檔案的專案，卻引爆了整個 AI 社群。autoresearch 讓 AI agent 自主改代碼、訓練、評估、迭代——你睡一覺醒來，模型已經變強了。