sxbh_admin/cma-management
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
451 Commits 6 Branches 0 Tags
0824efc8edefb0f30c44522b717f33b7773d4335
Commit Graph
15 Commits
Author SHA1 Message Date
wecom-fullstack 0824efc8ed feat(data-quality): 规则配置可编辑入口 + 经营口径排除接线（ASK-20260928-05 尾项）
ci/woodpecker/push/main Pipeline failed
Details 
依据：任总 2026-09-29 08:49「P1和P2批」放行 P1-cma-dq-rule-config-approval-20260923 ①③
     （派单件 0-P1-project-20260929-qrc-write-entry-and-demo-exclusion-fullstack）

三处尾项（本单）：

1) 前端可编辑入口（补拍板件 ① 未被上轮覆盖的部分）
   - frontend/src/views/DataQuality.vue：规则配置 Tab 由「只读」改为
     ceo/it 可编辑、finance/business 只读（角色口径与 router/index.ts:45 及
     系统设置页一致）；新增「操作/编辑」列（平台级项仅 it 可点、演示账套禁用）；
     编辑走 MyDialog（业务弹窗铁律），必填变更理由（>=10 字），取值区间/枚举
     由后端返回字段呈现，越界/非法一律如实回显后端 detail，前端不自造校验通过。

2) scope.excluded_entities 接线 + 出厂默认 [3,4,5,6]（拍板件 ③-2「排除」）
   - app/dq_rule_config.py：默认由 [] 改为 [3,4,5,6]；新增单一事实源
     EXCLUDED_ENTITIES_KEY / EXCLUDED_ENTITIES_FIELD、normalize_entity_ids()、
     excluded_entities_from_resolution()、excluded_entity_ids()、
     is_excluded_from_business_caliber()。
   - app/api/data_quality.py：新增 _excluded_clause()（仅全账套口径 eid=0 生效，
     COALESCE(col,1) NOT IN (...) 参数化，NULL 归属不吞行）与 _business_excluded()；
     七条规则的明细查询与 _detail_count 全部叠加排除子句；_plan_id_set /
     _pending_alert_plan_links 支持 excluded（播报口径同源）。
   - 响应新增 business_caliber{caliber,exclusion_applied,excluded_entities,included}
     与 scope_excluded_entities；单账套查询保持展示、仅标注不计入经营口径。
   - PUT /rule-config：平台级项改写全账套模板行（entity_id=0），审计 detail 与响应
     增 target_entity_id；GET 增 scope_note 与 write_contract{roles,platform_roles,
     min_reason_len,entity_config_entities,bot_channel_write,endpoint}。

3) 修复两处实现缺陷（本单测试新增用例的 RED 驱动）
   - excluded_entities_from_resolution() 取键与 resolve()["scope"] 的归组形态不一致
     （配了 scope. 全名去取已归组后的短名字典）⇒ 恒返回空集，接线静默失效；
     改为短名优先、全名兼容（EXCLUDED_ENTITIES_FIELD）。
   - upsert_param() 全局项 before 取值多一层 rule_key 查找 ⇒ before 恒 None；
     改为全局项直接以 param_key 为键。

4) 测试：tests/test_dq_rule_config_20260928.py 3 处既有断言按新口径更新 +
   新增 E 类 8 例（排除默认/单一事实源、全账套与单账套两种口径面、A/B 聚合差异
   只来自被排除账套、明细计数同源、平台级项改名单即时生效、平台级写落模板行）。

不改：判定表达式本体 / 级别归属 / 评分函数 / 规则集（DAMA §4 锁死 10 类）、
      unit_check.amount_threshold（保持 10000）、virtual_pollution 关键词表与来源白名单。

边界：本提交只含 4 文件（backend/app/dq_rule_config.py、
      backend/app/api/data_quality.py、backend/tests/test_dq_rule_config_20260928.py、
      frontend/src/views/DataQuality.vue）；未裹挟他人在制件
      （audit_log.py / migrate_subjects_entity_id_20260923.py / package.json）。

证据：pending-tasks/_evidence/ask5-tail-20260929/
      （pytest 全量 1 failed/1516 passed + 失败项归因 A/B、vue-tsc rc=0、
       ab-exclusion-pre-write.json 只读 A/B 原始输出、gate dry-run 等）
 2026-09-29 13:00:48 +08:00
wecom-fullstack 36f4f54799 feat(data-quality): 财务七规则可配置化最小实现（ASK-20260928-05）
ci/woodpecker/push/main Pipeline failed
Details 
任总 2026-09-28 13:38 放行「4 和 5」→ 落笔最小实现：
- 新表 quality_rule_config（39 项：37 规则级 + 2 全局）= 唯一配置源
- 三层解析：账套行 → 全账套模板(entity_id=0) → 代码内置默认（=清单 §7 建议值，零行为差异）
- 端点 /api/cma/data-quality/rule-config（GET/PUT）+ /history + /meta：写入仅 ceo/it，
  platform 级仅 it，演示账套(functional)写禁，变更落 operation_logs 同事务
- 数据质量页新增「规则配置」只读 Tab（懒加载）
- 唯一行为变更：污染判定去掉 sync —— 酣客 zxt-sync 系统迁入数据不再被误判（口径可配置）
- 出厂默认落库脚本 scripts/seed_dq_rule_config.py（--check/--apply/--rollback，幂等 39/0）
- 回归：新套件 35 例 + 存量 1508 passed（唯一 FAILED 为他人未完成
  migrate_subjects_entity_id_20260923.py 改动所致，HEAD 干净树同例通过）

生产写（DDL/seed）与 push 均走审批门：DDL=54434656 push=3bd00774
 2026-09-28 13:56:16 +08:00
Hermes CI Fix 242f3cf5ec fix(fetch-caliber): 取数层排除半年/预测伪期间 + subjects 响应补 entity_id 
R3 期间口径（仅 YYYY-MM）延伸到取数层：新增 alert_entity_scope.month_period_clause()（跨库可移植 SQL 等价式），应用到 15 个文件 26 处「按 period 倒序取最新值/最近N期」位点；dashboard 原 MySQL-only REGEXP 正则收口到同单一事实源。

GET /api/cma/subjects 响应增补 entity_id（NULL=全局标准准则科目 / N=账套私有明细），既有 10 字段语义与名称不变。

证据：pending-tasks/_reports/yanxue-20260924-cma-fetch-caliber-fixes-fullstack.md（改前/改后 A/B：F_NET_PROFIT 2026-H2/-55.0 → 2026-08/-10.46）。新增 7 例回归测试；全量 1 failed(预存在) 1473 passed，基线同项。
 2026-09-26 02:42:04 +08:00
wecom-fullstack 9b6184ce05 fix(data-quality): 陈旧预警阈值落 30 天（任总 2026-09-24 00:35 拍板，唯一取值来源） 2026-09-24 17:27:23 +08:00
Hermes CI Fix 72d4d97c83 fix(data-quality): KPI质量监控页 — 账套口径收口 + 环图颜色真值 + 天数单一来源 + 异常数下钻
ci/woodpecker/push/main Pipeline failed
Details 
1) 跨账套混算修复（最高优先）：/stats 的 total_logs/open_logs/severity_counts/type_counts
   原先直查 kpi_data_quality_log 无任何账套过滤（全库数），而同页 /logs 已按账套收口，
   导致「卡片数字与下方列表对不上」。现四项与 /logs 共用 _scoped_quality_log_query
   （kpi_id join kpi_definitions，内连接，孤儿日志不计）。零 DDL：不给该表加 entity_id 列。
2) /logs 服务端分页（page/page_size，默认 50、上限 200）+ total 改真实 COUNT(*)
   （原为截断后行数 len()，且 limit=100 静默截断）。
3) 新增只读端点 GET /missing-data-kpis：「无实际值 KPI」清单（服务端分页 + 真实 total，
   口径与 /stats.data_missing 逐字一致），供「无实际值 KPI 占比」卡片下钻。
4) 环图黑块修复：ECharts 走 canvas，不解析 CSS 变量，原 itemStyle.color 传 CSS 变量会回退黑色。
   改合法 HEX 实值（与主题色同值 #F56C6C / #E6A23C）。全仓同类写法扫描：33 处 CSS 变量命中，
   仅此 2 处在 ECharts 上下文（已修）；ReportCenter.vue:848-849（经 bscScoreColor() 流向 :style）、
   KPIDetail.vue:244/267（el-timeline-item :color 落 inline style）均为 CSS 上下文，非缺陷，未改。
5) 阈值文案单一来源：新增 STALE_THRESHOLD_DAYS = 180，接口 threshold_days 与之同源，
   后端注释同步修正；阈值本身保持 180 不动（改阈值属口径变更，须另行拍板）。
6) 前端 DataQuality.vue：卡片标题加维度限定词（KPI元数据完整度评分 / 无实际值 KPI 占比 /
   超 N 天未更新预警由接口渲染）、顶部四项加层级标注（记录数 vs 实体数）、三张异常卡 + 无实际值
   KPI 可点击，用 MyDialog 打开明细（0 值置灰不可点，服务端分页 50/页，导出 CSV 全量）、
   质量异常日志列表改服务端分页（显示 total，与卡片同口径）。未新增 el-dialog、未改 api/index.ts。

未动：KPI 检查算法 / 检查类型集合 / 异常判定阈值；未回退「财务七规则」标签页既有下钻
（govDetail* 与 rule-detail 端点）。
 2026-09-24 00:40:11 +08:00
Hermes CI Fix 0b3a8aa111 feat(data-quality): anomaly-count drilldown to full detail + real COUNT(*) caliber
ci/woodpecker/push/main Pipeline failed
Details 
backend: GET /api/cma/data-quality/rule-detail (COUNT(*) total, structured items, server-side paging, scope=manual); governance seven-rule counts use real totals instead of len(LIMIT-ed rows). frontend: clickable anomaly count -> MyDialog detail (no new el-dialog) + full CSV export.
 2026-09-23 18:49:57 +08:00
Hermes CI Fix 42ff836309 fix(cma): entity isolation batch5 (budget writes, kpi objectives scope, quality logs join, growth-quality db source, expenses scope)
ci/woodpecker/push/main Pipeline failed
Details
2026-09-21 10:36:02 +08:00
Hermes CI Fix a0762b367f fix(cma): entity isolation batch4 (cash plan writes, budget ownership, read leaks, okr template) 
P0-A cash.py: scope api_update_plan / api_delete_plan / api_complete_plan /
api_register_payment to session entity (cross-entity id -> 404, aligning with
the file's existing get_entity_id endpoints).
P0-B budget.py: write entity_id on BudgetPlan creation + require the KPI to
belong to the session entity; scope /comparison, /comparison/kpi/{id} and
/deviation-report reads to the session entity.
P1 notifications.py: explicit field whitelist (name/config/enabled) on
update_channel to close mass-assignment.
P1 read leaks scoped to session entity: bot_kpis list, data_quality check/stats
(KPI calibre only; quality-log table has no entity_id column), kpis causality
chain + associate-map (KPI and map ownership), dashboard my-kpis,
customer_dashboard list, kpi_governance audit, budget_generate candidates,
driver_budget history (+ entity_id on its write path), expenses stats
(+ entity_id on its write path).
P2 okr_templates.py: write entity_id on the StrategicMap created by apply.

tests: tests/test_cross_entity_isolation_batch4_20260921.py (30 cases;
RED before fix = 22 failed, GREEN after = 30 passed; full suite 1302 passed /
1 xfailed / 0 failed).
 2026-09-21 09:37:38 +08:00
Hermes CI Fix aac1bd1df1 fix(security): retire check-governance + scope /reports/dupont to session entity 
- data_quality.py: remove GET /check-governance (no caller repo-wide; its
  entity_id param had no session auth -> cross-tenant read; duplicate of
  governance-check) -> the path now returns 404
- reports.py: /reports/dupont resolves the analysis target from the session
  account (assert_entity_slug_scope / resolve_session_slug); explicit
  cross-entity entity param -> 403, illegal value -> 400; the 2026-08-31
  cross-entity exemption is revoked (docstring updated)
- frontend: drop the checkGovernance api definition; DupontAnalysis.vue
  entity radio group -> read-only session entity tag, request without param
- tests: TestCheckGovernanceRetired (404 x2), TestDupontSessionScope (3),
  TestDupont reworked to account-bound tokens (8 tests)
- docs/api-verification-split.md: drop the retired row, note 334/404 -> 333/403

pytest: 10 failed / 957 passed / 1 xfailed vs HEAD baseline 10 failed /
951 passed / 1 xfailed (identical failure set -> zero regression)

(cma-residual-cross-entity-cleanup-20260914)
 2026-09-14 12:09:04 +08:00
Hermes CI Fix 115a0ec755 fix(security): 4端点补跨租户鉴权 — 实体1会话读实体2数据(200)→403 (cma-cross-entity-endpoints-auth-20260914) 
背景（项目Bot 补充复验 §四#2）：以下 4 个只读端点未做会话账套鉴权，
用 entity=1(酣客) 会话 token + 显式 entity 参数可读到 entity=2(博海) 数据（HTTP 200）：
  - GET /data-quality/governance-check?entity_id=2   → 200 score=88（对照 entity1=72）
  - GET /products/matrix?entity_id=2                 → 200
  - GET /alerts/risk-matrix?entity=bohai             → 200 博海风险矩阵
  - GET /action-plans/coso-checklist?entity=bohai    → 200 博海 COSO total_score=55
另：risk-matrix / coso-checklist 在非法实体值下静默回落酣客数据，UI 标签与数据不一致。

改动：
1. deps.py 新增统一防护入口 assert_entity_scope / assert_entity_slug_scope /
   get_session_entity / resolve_session_slug（文案对齐 get_entity_id：无权访问企业 entity_id=X（当前账套: Y））
2. governance-check / products/matrix：entity_id 须等于会话账套，否则 403；
   缺省按会话账套（governance-check 原缺省 0=全部 → 登录态下按账套收敛）
3. risk-matrix / coso-checklist：entity 须等于会话账套，否则 403；
   非法值 → 400 显式报错（不再静默回落酣客）
4. P3：POST /auth/switch-entity 加 DEPRECATED 注释（前端已无调用，保留不删）
5. 测试：tests/test_security_multitenant.py 新增 TestCrossEntityEndpointAuth 15 例
   （跨实体 403 / 同实体 200 / 缺省按账套 / 非法显式报错 / 参照端点行为不变）

验证：pytest tests/ -q → 951 passed（10 项失败为改动前既有基线，已 stash 对照确认）；
      真实后端冒烟 19/19 PASS（entity=1 会话 4 端点跨实体全 403）。
 2026-09-14 11:19:05 +08:00
Hermes CI Fix 74dc9baff5 fix(security): 多租户隔离全量修复 security-fix multi-tenant (OpenCode审查P0) 
- bot_bridge 18数据端点全部 entity_id 隔离（Depends(get_entity_id)/body），/ping /risk-levels 豁免
- alert_rules 11端点 entity_id 隔离 + KPIAlert/DynamicThresholdCache 写入 entity_id
- reports 17端点隔离 + generate_report 写 ReportHistory.entity_id + history 按 entity 过滤
- ai_analysis 移除硬编码默认key，改 _require_deepseek_key() 强制 env 缺失 503
- budget auto-decompose 硬编码 entity_id==1 改请求 entity
- kpis update_kpi 加 UPDATE_KPI_WHITELIST 白名单（status/important_flag 不可越权改）
- data_quality 收敛：删 MySQL JSON 版 _run_rule_checks，check-governance 复用 _run_governance_checks（SQLite 兼容）
- _eval_threshold invert 参数修复（>=↔< 等取反），red 分支不传 invert 保持行为
- 新增 test_security_multitenant.py 13条（bot_bridge/alert_rules/reports 隔离 + invert + SQLite governance）
- models 6表加 entity_id 列；生产库已 ALTER + 按真实归属回填（kpi_alerts 472行中216行属entity≠1）
 2026-08-31 10:14:22 +08:00
Hermes CI Fix 974ec48564 feat(data-quality): 财务七规则 governance-check 端点+前端Tab（最终方案） 2026-08-30 07:33:20 +08:00
Hermes CI Fix c36ed35348 feat: DAMA数据治理规则检查（财务七规则）— 后端/check-governance + 前端数据质量中心升级 
后端 backend/app/api/data_quality.py:
- 新增 GET /api/cma/data-quality/check-governance?entity_id= 端点
- 7条规则: unit_check单位校验/dup_alert重复预警/orphan_check孤儿预警/virtual_pollution虚拟污染/entity_check实体归属/kpi_completeness KPI完整性/reconciliation勾稽验证
- 质量评分: error扣10/warning扣5, 每条规则最多扣一次, 最低0分
- 兼容实体筛选(0全部/1酣客/2博海), 向后兼容既有/check端点

前端 frontend/src/api/index.ts + views/DataQuality.vue:
- dataQualityApi.checkGovernance() 新增
- 页面新增治理规则区: 质量评分仪表盘 + 7规则红黄绿状态表 + 异常明细展开 + 重新检查按钮 + 实体筛选
 2026-08-30 07:26:59 +08:00
Hermes CI Fix 748c2da43f feat: 数据治理 — 入库约束+元数据卡片+编码清洗+审计看板 2026-07-22 12:06:52 +08:00
Hermes CI Fix 6218a7d2db fix: 战略地图P0修复 — KPI code统一+放开同层连线+数据迁移 2026-07-14 16:02:33 +08:00