From 1111ad155cfd322f2de28098c3070a7efc1095b9 Mon Sep 17 00:00:00 2001 From: Hermes CI Bot Date: Thu, 9 Jul 2026 20:18:24 +0800 Subject: [PATCH] docs: add README with eval overview --- README.md | 24 ++++++++++++++++++++++++ 1 file changed, 24 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..faeb455 --- /dev/null +++ b/README.md @@ -0,0 +1,24 @@ +# Hermes CI Eval + +## 项目 Bot 回复质量基线评测 + +使用 [promptfoo](https://www.promptfoo.dev/) 对 Hermes Bot 的回复质量进行自动化评测。 + +## 评测内容 + +| 类别 | 测试项 | +|------|-------| +| 项目管理 | 项目进度查看、优先级判断 | +| 代码审查 | 审查标准 | +| CI/CD | 流水线配置、排错 | +| Git | 仓库权限管理 | +| Bot | Hermes Bot 创建 | +| 部署 | Docker部署注意事项 | + +## 运行 + +```bash +cd promptfoo-eval +export DEEPSEEK_API_KEY=sk-xxx +promptfoo eval --max-concurrency 2 +```