docs: add README with eval overview
This commit is contained in:
@@ -0,0 +1,24 @@
|
|||||||
|
# Hermes CI Eval
|
||||||
|
|
||||||
|
## 项目 Bot 回复质量基线评测
|
||||||
|
|
||||||
|
使用 [promptfoo](https://www.promptfoo.dev/) 对 Hermes Bot 的回复质量进行自动化评测。
|
||||||
|
|
||||||
|
## 评测内容
|
||||||
|
|
||||||
|
| 类别 | 测试项 |
|
||||||
|
|------|-------|
|
||||||
|
| 项目管理 | 项目进度查看、优先级判断 |
|
||||||
|
| 代码审查 | 审查标准 |
|
||||||
|
| CI/CD | 流水线配置、排错 |
|
||||||
|
| Git | 仓库权限管理 |
|
||||||
|
| Bot | Hermes Bot 创建 |
|
||||||
|
| 部署 | Docker部署注意事项 |
|
||||||
|
|
||||||
|
## 运行
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cd promptfoo-eval
|
||||||
|
export DEEPSEEK_API_KEY=sk-xxx
|
||||||
|
promptfoo eval --max-concurrency 2
|
||||||
|
```
|
||||||
Reference in New Issue
Block a user