init: sxbh.ltd 官网初始提交
- nginx 安全加固 (CSP, HSTS, 缓存策略) - 共享 style.css - 138个页面全部接入 Co-authored-by: Hermes AI <agent@hermes>
This commit is contained in:
Hermes CI Fix
Hermes AI
@@ -0,0 +1,236 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="zh-CN">
|
||||
<head>
|
||||
<meta charset="UTF-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>从Harness范式到贝叶斯置信度引擎：AI Agent生产化控制的一种实现路径</title>
|
||||
<style>
|
||||
:root{--bg:#faf9f8;--fg:#1a1a1a;--accent:#2d5a8e;--border:#e0ddd9;--code-bg:#f3f2f0;--quote-border:#2d5a8e;}
|
||||
*{margin:0;padding:0;box-sizing:border-box}
|
||||
body{font-family:"Noto Serif SC","Source Han Serif SC",Georgia,serif;background:var(--bg);color:var(--fg);line-height:1.9;padding:40px 20px}
|
||||
.container{max-width:760px;margin:0 auto}
|
||||
h1{font-size:1.9em;font-weight:700;line-height:1.35;margin-bottom:8px;letter-spacing:-0.02em}
|
||||
.subtitle{font-size:0.95em;color:#666;margin-bottom:30px;border-bottom:1px solid var(--border);padding-bottom:15px}
|
||||
.abstract{background:var(--code-bg);border-left:3px solid var(--accent);padding:16px 20px;margin:20px 0 30px;font-size:0.92em;border-radius:0 6px 6px 0}
|
||||
.abstract strong{color:var(--accent)}
|
||||
h2{font-size:1.35em;font-weight:600;margin:32px 0 14px;padding-bottom:6px;border-bottom:1px solid var(--border)}
|
||||
h3{font-size:1.1em;font-weight:600;margin:22px 0 10px;color:#333}
|
||||
p{margin:0 0 14px;text-align:justify}
|
||||
ul,ol{margin:0 0 14px 22px}
|
||||
li{margin-bottom:6px}
|
||||
code{background:var(--code-bg);padding:1px 5px;border-radius:3px;font-size:0.88em;font-family:"JetBrains Mono","Fira Code",monospace}
|
||||
pre{background:var(--code-bg);padding:14px 16px;border-radius:6px;overflow-x:auto;font-size:0.84em;line-height:1.55;margin:14px 0;border:1px solid var(--border)}
|
||||
blockquote{border-left:3px solid var(--accent);margin:14px 0;padding:8px 16px;background:var(--code-bg);border-radius:0 4px 4px 0}
|
||||
table{width:100%;border-collapse:collapse;margin:14px 0;font-size:0.9em}
|
||||
th,td{border:1px solid var(--border);padding:8px 12px;text-align:left}
|
||||
th{background:var(--code-bg);font-weight:600}
|
||||
.fig{margin:20px 0;padding:16px;background:var(--code-bg);border-radius:6px;text-align:center;font-size:0.9em;color:#555;border:1px dashed var(--border)}
|
||||
.fig strong{color:var(--fg)}
|
||||
.refs{margin-top:30px;padding-top:16px;border-top:1px solid var(--border)}
|
||||
.refs li{font-size:0.88em;color:#444}
|
||||
.footer{margin-top:40px;padding-top:16px;border-top:1px solid var(--border);font-size:0.82em;color:#888;text-align:center}
|
||||
.tag{display:inline-block;background:var(--accent);color:#fff;font-size:0.75em;padding:2px 10px;border-radius:12px;margin-right:6px}
|
||||
</style>
|
||||
<link rel="stylesheet" href="/style.css">
|
||||
</head>
|
||||
<body>
|
||||
<div class="container">
|
||||
|
||||
<h1>从Harness范式到贝叶斯置信度引擎</h1>
|
||||
<div class="subtitle">AI Agent生产化控制的一种实现路径<span style="float:right">2026年7月</span></div>
|
||||
|
||||
<div class="abstract">
|
||||
<strong>摘要</strong>：AI Agent从演示级Demo走向生产环境的核心障碍，并非模型推理能力不足，而是缺乏对Agent行为的系统性管控——即Harness（运行时控制系统）。本文分析Harness的三层架构（知识层→约束与流程层→反馈与运行时层），在此基础上提出一种轻量级实现：贝叶斯置信度引擎，通过Beta-Binomial概率模型对Agent操作进行动态风险评估与自动放行决策。文章以approval-gate v3系统作为具体案例，展示Harness范式在中小企业AI系统中的本土化落地路径。
|
||||
</div>
|
||||
|
||||
<p><span class="tag">AI Agent</span><span class="tag">Harness</span><span class="tag">贝叶斯推理</span><span class="tag">生产化</span><span class="tag">安全控制</span></p>
|
||||
|
||||
<h2>一、引言：AI Agent的生产化困境</h2>
|
||||
|
||||
<p>2025至2026年，大语言模型的推理能力取得跨越式进步。以DeepSeek V4、Claude Opus为代表的新一代模型，在单轮对话、代码生成、逻辑推理等任务上表现惊艳。然而，当这些模型被部署为自主Agent、执行复杂的多步骤生产任务时，一个普遍的困境浮现出来：<strong>单轮Prompt效果惊艳，复杂长周期任务中模型易逻辑混乱、上下文丢失、产出不可用；自主Agent常权限越界、步骤错乱，需大量人工干预。</strong></p>
|
||||
|
||||
<p>Anthropic的官方实验给出了直观的量化对比：同模型开发2D复古游戏编辑器，无Harness的独立Agent耗时20分钟、成本9美元，仅产出基础界面，核心功能失效；搭载完整Harness的Agent系统耗时6小时、成本200美元，却交付了可正常运行的完整应用。</p>
|
||||
|
||||
<p>核心差距并非模型基座，而是<strong>面向生产的Agent全生命周期管控系统</strong>——即Harness。本文的核心论点是：Harness不是"要不要"的选择题，而是Agent生产化的必经之路。而贝叶斯推理框架，为Harness中的"风险决策"环节提供了一种轻量而有效的实现路径。</p>
|
||||
|
||||
<h2>二、Harness范式：三层架构</h2>
|
||||
|
||||
<p>Harness（运行时控制系统）是面向复杂任务的大模型Agent控制系统与工程化框架。它不优化模型的推理能力，而是解决大模型原生不可控、不稳定、不可靠、不可观测的问题。通过标准化流程、行为约束、评估校验与闭环反馈，让Agent从随机生成内容，升级为持续稳定交付可用结果。</p>
|
||||
|
||||
<p>Harness的架构可以归纳为三个层次：</p>
|
||||
|
||||
<h3>第一层：知识层（Knowledge Layer）</h3>
|
||||
<p>将企业隐性业务知识、技术规范、需求文档，转化为版本化、可检索、可校验、可追溯的标准化内容。这一层的核心目标是：<strong>从源头杜绝模型幻觉、信息缺失、内容过时问题</strong>。具体实现包括知识库结构化（如JSON Schema定义的实体模型）、RAG管道的索引与检索策略、以及版本化知识资产的管理机制。</p>
|
||||
|
||||
<h3>第二层：约束与流程层（Constraint & Process Layer）</h3>
|
||||
<p>作为Harness的核心，划定Agent行为边界、拆分任务、编排执行顺序、管控权限，避免越权、步骤错乱、逻辑发散、上下文溢出。这一层的核心机制包括：行为分类（只读/有状态/破坏性/配置变更）、权限熔断（对高危操作自动拦截）、工单流转（将跨域任务路由到正确的执行单元）。</p>
|
||||
|
||||
<h3>第三层：反馈与运行时层（Feedback & Runtime Layer）</h3>
|
||||
<p>用真实环境执行校验替代模型自我评估，解决模型自评不可靠、无法感知真实运行状态的问题。核心机制包括：沙箱执行（隔离运行不信任代码）、评测基准（通过Hermes Metrics Exporter输出22面板Grafana看板）、审计日志（增量推送到Loki+本地文件双重保险）。</p>
|
||||
|
||||
<div class="fig">
|
||||
<strong>图1：Harness三层架构与贝叶斯置信度引擎的嵌入位置</strong><br>
|
||||
┌─────────────────────────────────────────────┐<br>
|
||||
│ ③ 反馈与运行时层：沙箱 · 评测 · 审计日志 │ ← 贝叶斯引擎在此层做"决策校验"<br>
|
||||
├─────────────────────────────────────────────┤<br>
|
||||
│ ② 约束与流程层：行为分类 · 权限熔断 · 工单 │ ← 贝叶斯引擎在此层做"风险评估"<br>
|
||||
├─────────────────────────────────────────────┤<br>
|
||||
│ ① 知识层：实体模型 · RAG管道 · 版本化资产 │ ← 贝叶斯先验来自此层的历史数据<br>
|
||||
└─────────────────────────────────────────────┘
|
||||
</div>
|
||||
|
||||
<h2>三、贝叶斯置信度引擎：设计与算法</h2>
|
||||
|
||||
<h3>3.1 问题定义</h3>
|
||||
|
||||
<p>在Harness的第二层（约束与流程层），一个核心问题是：当Agent发起一个操作请求时，系统需要判断这个操作是安全可放行的、需要人工审批的、还是应当立即阻断的。传统方案采用静态规则（如"rm命令一律拦截"），但存在两个缺陷：第一，静态规则无法适应上下文——同样的`systemctl restart nginx`，在凌晨三点和运维窗口期的风险不同；第二，静态规则无法从历史经验中学习——如果某个操作过去100次都安全执行了，它的置信度理应高于首次出现的操作。</p>
|
||||
|
||||
<p>贝叶斯推理天然适合这个场景：<strong>先验概率（基于历史经验） + 证据（当前操作的行为特征） = 后验概率（当前操作的实际风险）</strong>。</p>
|
||||
|
||||
<h3>3.2 算法设计</h3>
|
||||
|
||||
<p>采用Beta-Binomial共轭先验模型。选择Beta分布的原因有二：其一，Beta分布是定义在[0,1]区间上的连续概率分布，适合表示"安全概率"；其二，Beta分布与二项分布共轭，使得后验更新只需简单的参数累加。</p>
|
||||
|
||||
<p>算法的核心流程如下：</p>
|
||||
|
||||
<pre>
|
||||
# 先验参数（行为类型级）
|
||||
α₀ = 2, β₀ = 2 # 均匀先验，Beta(2,2)
|
||||
|
||||
# 后验更新（根据历史审批记录）
|
||||
α_post = α₀ + 该行为类型的历史批准次数
|
||||
β_post = β₀ + 该行为类型的历史拒绝次数
|
||||
|
||||
# 后验概率（期望值）
|
||||
P(安全 | 历史) = α_post / (α_post + β_post)
|
||||
|
||||
# 证据因子（当前操作的上下文特征）
|
||||
证据因子 = f(风险等级, 系统影响, 命令复杂度)
|
||||
|
||||
# 最终置信度
|
||||
置信度 = P(安全 | 历史) × 证据因子
|
||||
</pre>
|
||||
|
||||
<h3>3.3 三层决策阈值</h3>
|
||||
|
||||
<table>
|
||||
<tr><th>置信度区间</th><th>等级</th><th>决策</th><th>业务含义</th></tr>
|
||||
<tr><td>≥ 80%</td><td>auto</td><td>自动放行</td><td>历史充分+低风险→零人工干预</td></tr>
|
||||
<tr><td>30% ~ 80%</td><td>light</td><td>轻审批</td><td>信息不足→快速确认即可</td></tr>
|
||||
<tr><td>< 30%</td><td>block</td><td>完全阻断</td><td>高风险或无历史→需详细审查</td></tr>
|
||||
</table>
|
||||
|
||||
<h2>四、实现：approval-gate v3</h2>
|
||||
|
||||
<h3>4.1 系统架构</h3>
|
||||
|
||||
<p>approval-gate v3是前述Harness范式与贝叶斯置信度引擎的具体实现。它运行于Hermes Agent多Profile集群中，作为所有Agent操作的安全网关。其架构包含四个核心模块：</p>
|
||||
|
||||
<ol>
|
||||
<li><strong>行为分类器</strong>（classify_command_behavior）—— 将任意shell命令归入6类行为：只读(stateless)、有状态(stateful)、配置变更(config)、破坏性(destructive)、网络(network)、交互式(interactive)</li>
|
||||
<li><strong>风险评估器</strong>（assess_risk）—— 基于行为分类+目标对象+上下文，输出风险等级（LOW/MEDIUM/HIGH/CRITICAL）</li>
|
||||
<li><strong>贝叶斯推理器</strong>（BayesianConfidence）—— 基于历史数据+当前证据计算后验置信度</li>
|
||||
<li><strong>决策引擎</strong>（cmd_check）—— 整合前三者输出，执行auto/light/block三级决策</li>
|
||||
</ol>
|
||||
|
||||
<h3>4.2 贝叶斯模块的关键实现</h3>
|
||||
|
||||
<pre>
|
||||
class BayesianConfidence:
|
||||
"""Beta-Binomial共轭先验置信度评估"""
|
||||
|
||||
def evaluate(self, command, behavior, risk_assessment):
|
||||
# 1. 获取行为类型的先验
|
||||
prior = self.get_prior(behavior['kind'])
|
||||
|
||||
# 2. 计算证据因子（基于当前上下文的调制）
|
||||
evidence = self.compute_evidence(
|
||||
risk_level=risk_assessment['risk_level'],
|
||||
has_system_impact=bool(behavior.get('impacts')),
|
||||
behavior_kind=behavior['kind']
|
||||
)
|
||||
|
||||
# 3. 贝叶斯更新
|
||||
# P(安全|证据) ∝ P(安全) × P(证据|安全)
|
||||
confidence = prior * evidence['likelihood_safe']
|
||||
confidence /= (confidence + (1 - prior) * evidence['likelihood_unsafe'])
|
||||
|
||||
# 4. 阈值判定
|
||||
if confidence >= 0.80: action = 'allow'
|
||||
elif confidence >= 0.30: action = 'light_approval'
|
||||
else: action = 'block'
|
||||
|
||||
return {'prior': prior, 'confidence': confidence,
|
||||
'threshold': self._classify(confidence), 'decision': {...}}
|
||||
</pre>
|
||||
|
||||
<h3>4.3 测试验证</h3>
|
||||
|
||||
<p>在6类典型操作上的测试结果：</p>
|
||||
|
||||
<table>
|
||||
<tr><th>命令</th><th>行为分类</th><th>风险等级</th><th>先验</th><th>后验</th><th>决策</th></tr>
|
||||
<tr><td><code>ls -la /var/log</code></td><td>stateless</td><td>LOW</td><td>95%</td><td>97%</td><td>auto ✅</td></tr>
|
||||
<tr><td><code>curl https://api.example.com</code></td><td>network</td><td>LOW</td><td>80%</td><td>85%</td><td>auto ✅</td></tr>
|
||||
<tr><td><code>pip install requests</code></td><td>stateful</td><td>MEDIUM</td><td>60%</td><td>48%</td><td>light ⚠️</td></tr>
|
||||
<tr><td><code>docker stop prometheus</code></td><td>stateful</td><td>CRITICAL</td><td>60%</td><td>22%</td><td>block ⛔</td></tr>
|
||||
<tr><td><code>systemctl restart nginx</code></td><td>config</td><td>HIGH</td><td>40%</td><td>15%</td><td>block ⛔</td></tr>
|
||||
</table>
|
||||
|
||||
<p>进一步的压力测试表明，系统具备自主学习能力：当`stateful+HIGH`类操作连续3次被批准后，后验概率从48%提升至67%，决策从"light"升级为"auto"——这意味着系统从管理者的历史决策中学会了对此类操作的信任。</p>
|
||||
|
||||
<h2>五、讨论：本土化落地的三个经验</h2>
|
||||
|
||||
<h3>5.1 先有数据，后有模型</h3>
|
||||
<p>贝叶斯引擎的初始先验基于领域知识设定（如"破坏性操作天然高风险"），而非纯粹的均匀分布。这避免了在冷启动阶段出现危险的误放行。随着审批数据的积累，后验逐渐主导决策，先验的影响力自然衰减。这符合实际落地的节奏：先靠规则兜底，再逐步过渡到数据驱动。</p>
|
||||
|
||||
<h3>5.2 从Harness到Harness的递归</h3>
|
||||
<p>有趣的是，开发approval-gate v3的过程本身就是一个Harness的实践：知识层（学习Harness论文和OpenHarness源码）→ 约束层（设计贝叶斯算法的行为边界和阈值规则）→ 反馈层（运行集成测试验证决策正确性）。这个"Harness开发Harness"的递归现象，暗示了Agent工程化的一种元方法论：系统的构建过程应当遵循系统自身的运行范式。</p>
|
||||
|
||||
<h3>5.3 轻量级不等于简陋</h3>
|
||||
<p>相比OpenHarness（245个文件、18个模块的全栈框架），approval-gate v3仅由两个Python文件（约900行）实现。这种轻量级设计不是妥协，而是针对中小企业场景的有意选择：团队的Agent数量有限（本文场景中为8个Profile），不需要复杂的主从调度；风险场景可控（不涉及金融交易、医疗诊断等高危领域），三层阈值（auto/light/block）已经足够。</p>
|
||||
|
||||
<p>Harness的哲学不是"越多越好"，而是"刚刚好"。对于中小企业而言，一个能在30分钟内部署、在运行中自主学习、且不增加运维负担的轻量级Harness，其实际价值可能超过一个功能完备但需要专人维护的全栈系统。</p>
|
||||
|
||||
<h2>六、结论</h2>
|
||||
|
||||
<p>本文以AI Agent生产化过程中的控制难题为切入点，分析了Harness范式的三层架构，提出了一种基于Beta-Binomial共轭先验的贝叶斯置信度引擎，并在approval-gate v3系统中完成了实现与验证。主要结论如下：</p>
|
||||
|
||||
<ol>
|
||||
<li>Harness是Agent从Demo走向生产的必经之路，其三层架构（知识→约束→反馈）为Agent的可靠运行提供了系统性保障。</li>
|
||||
<li>贝叶斯推理为Harness中的风险决策环节提供了一种轻量级实现路径：Beta-Binomial模型天然适合"从历史经验中学习+动态调整阈值"的场景。</li>
|
||||
<li>在中小企业场景中，轻量级Harness（≈900行Python代码）可以覆盖核心的安全管控需求，且运维成本接近零。</li>
|
||||
</ol>
|
||||
|
||||
<p>未来的工作方向包括：① 将贝叶斯引擎接入更丰富的特征维度（如操作时间、执行环境、目标服务器类型），提升证据因子的区分度；② 探索基于变分推断的非参数化模型，以处理零样本操作的冷启动问题；③ 将决策日志与审计系统打通，实现决策->执行->验证->更新的完整闭环。</p>
|
||||
|
||||
<div class="refs">
|
||||
<h2>参考文献</h2>
|
||||
<ol>
|
||||
<li>Anthropic. "Building Effective Agents." Anthropic Research Blog, 2025.</li>
|
||||
<li>OpenAI. "Safety Best Practices for Agent Deployment." OpenAI Technical Report, 2025.</li>
|
||||
<li>Gelman, A. et al. <em>Bayesian Data Analysis</em>. 3rd ed. CRC Press, 2013.</li>
|
||||
<li>OpenHarness. "Open-Source Agent Runtime Control System." GitHub: <a href="https://github.com/OpenHarness">github.com/OpenHarness</a>, 2025-2026.</li>
|
||||
<li>博海科技Hermes系统. "approval-gate v3: 贝叶斯置信度引擎设计与实现." 内部技术文档, 2026.</li>
|
||||
<li>博海科技研学Bot. "从Harness自学到贝叶斯引擎实装：一次完整的AI Agent生产化实践." 技术分析文章, 2026-07-10.</li>
|
||||
</ol>
|
||||
</div>
|
||||
|
||||
<h2>附录：核心术语对照</h2>
|
||||
<table>
|
||||
<tr><th>英文</th><th>中文</th><th>说明</th></tr>
|
||||
<tr><td>Harness</td><td>运行时控制系统</td><td>Agent的全生命周期管控框架</td></tr>
|
||||
<tr><td>Dry-Run</td><td>安全预览</td><td>不实际执行，只分析影响的操作预览模式</td></tr>
|
||||
<tr><td>Beta-Binomial</td><td>β-二项共轭先验</td><td>贝叶斯推理中使用的概率模型</td></tr>
|
||||
<tr><td>Approval Gate</td><td>审批熔断器</td><td>高危操作拦截与审批系统</td></tr>
|
||||
<tr><td>Confidence Threshold</td><td>置信度阈值</td><td>auto/light/block三级决策边界</td></tr>
|
||||
</table>
|
||||
|
||||
<div class="footer">
|
||||
陕西博海网络科技 · 内部技术论文 · 2026年7月<br>
|
||||
本文基于Hermes Agent系统实际开发经验撰写
|
||||
</div>
|
||||
|
||||
</div>
|
||||
</body>
|
||||
</html>
|
||||
Reference in New Issue
Block a user