T

Hermes CI Bot fd9aa7cbc1 feat: expand to 36 tests (5 new domains) + cost tracker

新增: 安全(API密钥/供应链)、架构(微服务/技术选型)、故障响应(宕机/post-mortem)、协作(跨团队/代码质量)、成本优化(云成本/预算)

成本追踪: cost-tracker.py 自动记录每次 eval 的 token 消耗和费用
基线: baseline-20260709-v2.json (36/36通过, $0.0090, 32K tokens)

2026-07-09 21:15:22 +08:00

.woodpecker

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

baselines

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

cost-history.csv

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

cost-tracker.py

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

promptfooconfig.yaml

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

README.md

docs: add README with eval overview

2026-07-09 20:18:24 +08:00

results.json

feat: expand to 36 tests (5 new domains) + cost tracker

2026-07-09 21:15:22 +08:00

TRIGGER.md

chore: trigger hook v4

2026-07-09 20:26:03 +08:00

README.md

Hermes CI Eval

项目 Bot 回复质量基线评测

使用 promptfoo 对 Hermes Bot 的回复质量进行自动化评测。

评测内容

类别	测试项
项目管理	项目进度查看、优先级判断
代码审查	审查标准
CI/CD	流水线配置、排错
Git	仓库权限管理
Bot	Hermes Bot 创建
部署	Docker部署注意事项

运行

cd promptfoo-eval
export DEEPSEEK_API_KEY=sk-xxx
promptfoo eval --max-concurrency 2