 youpaishidifu
|
fd147862c7
|
修复关键词打分器自拦截：时间比较排除刚插入的自身记录
根因：
should_skip_message 先 record_message_score 落库(时间=now)，
再 _should_skip_by_time 按 message_hash 反查最后一条 → 命中的是
刚插入的自己 → db_time=now → '当前<=DB+5分' 永远拦截。
新消息首次出现即被拦，5分钟窗口永远走不完。
例：'那服务器有哪些基本信息，L ~' score=2(命中共用词'服务'/'务器')
时间比较命中自己 id=54(14:40:15) → 拦截，消息丢失。
修复：
record_message_score 返回 lastrowid，
_should_skip_by_time 增加 exclude_id 参数，查询排除自身。
验证：
- 新消息首次出现 → 放行(不再自拦截)
- 同文本5分内重现 → 拦截(去重仍生效)
- 同文本5分后重现 → 放行(时间超窗)
- 真实库下游测3/3 全部符合预期
|
2026-08-19 14:50:23 +08:00 |
|
|
youpaishidifu
|
50474db1c7
|
修复关键词打分器：时间比较逻辑 + OCR时间源选择
1. 修复 _should_skip_by_time 方法调用参数缺失 text 的问题
2. 实现三源时间比较逻辑：
- DB落库时间：历史记录的最后处理时间
- OCR时间：从消息文本提取的时间戳（如'22:54:16'）
- 系统时间：当前机器时间
3. 时间源选择规则：
- |OCR时间 - 系统时间| ≤ 10秒 → 使用OCR时间（更准确）
- 否则 → 使用系统时间
4. 重复判断规则：
- 当前时间 > DB落库时间 + 5分钟 → 放行（新消息）
- 否则 → 拦截（重复消息）
5. monitor.py 前置 OCR 时间戳提取，传递给打分器
6. 修复 threshold 默认值从 2 改为 1，确保 ≥1 分进入时间比较
参考：Task #1558, #1559
|
2026-08-18 23:51:57 +08:00 |
|
|
youpaishidifu
|
c3f12cd6dc
|
fix(Task #1558): 重构消息去重：用关键词打分替代OCR时间戳判断
核心变化:
1. 完全移除OCR时间戳丢弃逻辑（_is_timestamp_old不再用于丢弃消息）
2. 改为关键词打分+时间感知去重:
- 得分≤1 → 直接放行（新消息）
- 得分≥1 → 检查最近一次打分时间:
* 最近300秒内有同类记录 → 丢弃（同一用户重复）
* 超过300秒或无记录 → 放行（不同用户的新提问）
3. 修复问题:
- 旧消息被陈旧时间戳继承导致误杀（如13:32:36继承给14:42:57的消息）
- 不同用户相同问题的误过滤（如"php管理员密码"被统一丢弃）
4. OCR时间戳仅作为参考，±10秒容差，超时用本地时间
修改文件:
- _keyword_scorer.py: 新增时间感知去重逻辑
- monitor.py: 移除时间戳丢弃分支
|
2026-08-18 15:12:51 +08:00 |
|
|
youpaishidifu
|
c7afa13bc5
|
feat: 实现关键词打分去重系统 (Task #1556)
|
2026-08-18 12:45:04 +08:00 |
|