Promptfoo

LLM 應用最難維護的，往往不是把模型接上，而是回答品質一變差時，你能不能快速知道原因。Promptfoo 把 prompt、模型、測試案例、評測斷言與紅隊掃描收進同一套 CLI／library 流程，讓模型比較、回歸測試與安全檢查可以在本機重跑，也能接到 CI/CD。本文從一個可落地的評測流程開始，拆解它適合解決的問題、導入步驟與不能忽略的限制。