25 lines
546 B
Markdown
25 lines
546 B
Markdown
# Hermes CI Eval
|
|
|
|
## 项目 Bot 回复质量基线评测
|
|
|
|
使用 [promptfoo](https://www.promptfoo.dev/) 对 Hermes Bot 的回复质量进行自动化评测。
|
|
|
|
## 评测内容
|
|
|
|
| 类别 | 测试项 |
|
|
|------|-------|
|
|
| 项目管理 | 项目进度查看、优先级判断 |
|
|
| 代码审查 | 审查标准 |
|
|
| CI/CD | 流水线配置、排错 |
|
|
| Git | 仓库权限管理 |
|
|
| Bot | Hermes Bot 创建 |
|
|
| 部署 | Docker部署注意事项 |
|
|
|
|
## 运行
|
|
|
|
```bash
|
|
cd promptfoo-eval
|
|
export DEEPSEEK_API_KEY=sk-xxx
|
|
promptfoo eval --max-concurrency 2
|
|
```
|