diff --git a/README.md b/README.md new file mode 100644 index 0000000..faeb455 --- /dev/null +++ b/README.md @@ -0,0 +1,24 @@ +# Hermes CI Eval + +## 项目 Bot 回复质量基线评测 + +使用 [promptfoo](https://www.promptfoo.dev/) 对 Hermes Bot 的回复质量进行自动化评测。 + +## 评测内容 + +| 类别 | 测试项 | +|------|-------| +| 项目管理 | 项目进度查看、优先级判断 | +| 代码审查 | 审查标准 | +| CI/CD | 流水线配置、排错 | +| Git | 仓库权限管理 | +| Bot | Hermes Bot 创建 | +| 部署 | Docker部署注意事项 | + +## 运行 + +```bash +cd promptfoo-eval +export DEEPSEEK_API_KEY=sk-xxx +promptfoo eval --max-concurrency 2 +```