youpaishidifu/msgbot
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
389 Commits 1 Branch 0 Tags
bd35975d2e80107b265212b9156189215259dd61
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
youpaishidifu bd35975d2e fix: 口语填充词+下载/表格加权，修复三个匹配错误 
1. auto_reply.py: non_core_kw新增'一句/问一句/再问'
   - 用户说'我再问一句'中的'一句'是填充词，不应作为核心词

2. knowledge_base.py: 下载意图加权从2.5→4.0
   - 强化heading含'下载'的section优先级
   - 修复sdf1_login.md的'2.1 下载'被protect.md的'温馨提示'压过

3. knowledge_base.py: 表格内容奖励从3.0→5.0
   - 强化含'操作'等关键词的表格section优先级
   - 修复'操作方式'表格被'领地列表'描述压过
 2026-08-17 13:42:50 +08:00
youpaishidifu 174b606721 fix: 跨轮语义去重+KB核心名词加权，修复公告信息匹配到基本信息 
1. monitor.py: 新增跨轮语义去重（5分钟TTL, Jaccard≥30%）
   - _recent_user_queries列表 + _is_semantically_duplicate()
   - _poll候选构建阶段检查，回复后写入记录

2. auto_reply.py: non_core_kw新增通用信息类名词
   - '信息','内容','详情','情况','介绍'不应作为核心词
   - 原因：公告信息核心词应是{公告}而非{公告,信息}

3. knowledge_base.py: core_nouns新增公告/更新
   - 查询含核心名词时，section含该名词→2倍加分，不含→0.3倍惩罚
   - 修复近期公告(2.93)被基本信息(6.56)压过的问题
 2026-08-17 12:09:23 +08:00
youpaishidifu 0fe4f018ba fix: 核心词零命中硬拒绝，彻底修复登录插件匹配到背包的牛头不对马嘴 
根因：_has_content_relevance 中，'下载'被排除出 core_kw（core_kw={'登录'}），
但 has_ht=True（heading '下载地址' 命中 q_mean 中的'下载'），
导致跳过多关键词覆盖检查和正文覆盖检查，直接 return True。
即使下载意图检查拒绝了 beibao（核心词'登录'未命中），函数仍然返回 True。

修复：下载意图拒绝后、多关键词覆盖检查前，新增核心词零命中硬拒绝：
当 core_kw 非空但 core_hits=0 时无条件 return False。
 2026-08-17 10:47:25 +08:00
youpaishidifu cc95cd3ffc fix: 增强KB查询清理，移除bot回复碎片残留 
问题：
- OCR捕获时可能同时截到用户消息和bot之前的回复
- 如"那个登录插件去哪下载[官方下载"或"俺想知道登录插件在哪儿下载[官方下载"
- 末尾的"[官方下载"会污染查询，导致beibao.md被错误匹配（匹配度高70.51）

修复：
新增第7步清理逻辑：
1. 检测问句结束后的bot回复关键词（[官方下载]/[bbsmc分流]/插件下载等）
2. 如果有问号，截断到问句结束
3. 如果没有问号但包含bot回复Markdown格式，在"["前截断

预期效果：
- "那个登录插件去哪下载[官方下载" → "那个登录插件去哪下载"
- "俺想知道登录插件在哪儿下载[官方下载" → "俺想知道登录插件在哪儿下载"
 2026-08-17 09:42:34 +08:00
youpaishidifu f9c5ab2142 fix: 新增'知道'/'想知道'为口语填充词，不作为核心词 
问题：
- 用户问"俺想知道登录插件在哪儿下载"时，核心词提取为{'知道', '登录', '下载'}
- "知道"是口语填充词，不应参与核心词匹配
- 导致核心词覆盖检查失败：core_hits=1/3, missing=['登录', '知道']
- sdf1_login.md被错误拒绝

修复：
- 将'知道'和'想知道'加入non_core_kw停用词列表
- 预期效果：核心词变为{'登录', '下载'}，覆盖检查通过

测试预期：
- '俺想知道登录插件在哪儿下载' → core_kw={'登录', '下载'} → sdf1_login通过
 2026-08-17 09:40:58 +08:00
youpaishidifu ecadaaa9ae fix: 修复下载类查询被URL路径误匹配的问题 
问题：
- 用户问"那个登录插件去哪下载"，beibao.md（背包插件）被错误选中
- 下载意图检查正确拒绝了beibao（因为不含"登录"核心词）
- 但子串回退逻辑却放行了：因为"插件"出现在URL路径 /plugin/ 中

根因：
子串回退检查phrase in full时，没有排除URL路径中的匹配
导致通用词"插件"在URL中出现就误判为相关文档

修复：
1. 下载类查询要求：核心名词短语（如"登录"）必须在文档正文中出现
   不能只是"插件"这种通用词在URL路径中命中
2. 如果核心名词未命中，直接拒绝子串回退
3. 额外检查：如果phrase只在URL中出现，也拒绝

测试预期：
- '那个登录插件去哪下载' → beibao拒绝（不含"登录"），sdf1_login通过（含"登录"）
- '哪个插件下载' → beibao可能通过（只有"插件"通用词）
 2026-08-17 09:22:08 +08:00
youpaishidifu 4acbea8440 fix: 增强同轮择优机制，降低URL/链接格式消息的优先级 
问题：
- 用户发送新消息后，OCR连续多次只捕获到旧截图
- 等到截到新图时，内容已是bot旧回复+用户消息的混合
- 同轮择优选中了这条污染消息（13.0分），导致bot抢跑回复旧内容

根因：
_score_message_quality()对URL/链接格式消息的评分不够低
- 真实用户消息通常是自然语言（含疑问词、较短）
- bot回复常包含URL、链接格式、英文平台名等

修复：
- 新增URL/链接格式惩罚：
  * https:// → -20分
  * 域名片段（.cn .net）→ -8分
  * Markdown链接 [text](url) → -10分
  * 特定平台名（github/gitee/gitcode等）→ -5分
- 新增中英混合惩罚：英文占比过高时 -5分
- 预期效果：URL碎片类消息分数降至负分，不再被选为候选

测试预期：
- 'git.ypshidifu.cn官方下载...' → 大幅降分
- '俺想下载那个登录插件' → 保持高分（含疑问词）
 2026-08-16 23:01:45 +08:00
youpaishidifu 8b116ff824 fix: 修复下载意图匹配过于宽松导致牛头不对马嘴问题 
问题：用户问'登录插件下载地址'时，bot错误匹配到beibao.md（背包插件）而不是sdf1_login.md（登录插件）

根因：下载意图检查只要求标题包含'下载'就放行，没有验证其他核心关键词（如'登录'、'插件'）是否匹配文档

修复：
- 如果查询只有'下载'一个核心词 → 放宽检查（普通下载类查询）
- 如果查询有多个核心词（如'登录插件下载地址'）→ 要求至少一个其他核心词命中文档
- 未命中时记录debug日志便于排查

测试：预期'登录插件下载地址'现在应匹配sdf1_login.md而非beibao.md
 2026-08-16 22:45:03 +08:00
youpaishidifu 3bfdbff40c fix: 下载类回复保留Markdown链接格式 
问题：
- _clean_markdown()把[文本](URL)转换成纯文本，丢失URL
- 用户问"登录插件下载地址"时，回复变成"官方下载 bbsmc分流"
- 实际应该是"[官方下载](https://...) [bbsmc分流](https://...)"

修复：
- 新增 _clean_markdown(keep_links=False) 参数
- 检测下载意图（含下载/地址关键词 + 含URL）
- 下载类回复保留原始Markdown链接格式

效果：
- 非下载类：仍清理Markdown（普通问答）
- 下载类：保留[文本](URL)格式（含可点击链接）

相关issue: #1542
 2026-08-16 22:37:07 +08:00
youpaishidifu b3f1ecfd61 fix: 基线轮不应加入全局seen集合 
问题：基线轮把消息加入 _seen_messages 后，后续轮次永远跳过该消息。
用户真实提问被永久拦截，bot不再回复。

修复：
- 基线轮只做 'seen.discard' 防止未来重复，不加 _seen_messages
- 同轮择优逻辑前置，先收集所有候选再择优
- 污染消息和真实消息同时评估，选质量分最高的触发回复

相关issue: #1542
 2026-08-16 21:59:51 +08:00
youpaishidifu 9a7580acd0 feat: 同轮择优机制防bot抢跑 
当一轮poll检测到多条候选消息时，只选最可能是真实用户消息的那条触发回复。

新增 _score_message_quality() 方法，评估维度：
- 长度惩罚（越长越可疑）
- 疑问词奖励（用户提问特征）
- 噪声前缀惩罚（UI标签提示污染）
- 有效关键词奖励（插件/下载等）
- 英文比例惩罚（乱码提示）
- 标点混乱惩罚（OCR噪声）

修复场景：
污染历史消息(长+无前缀+无疑问词) vs 真实用户消息(短+含疑问词)
→ 择优后只回复真实用户消息，避免bot抢跑

相关issue: #1542
 2026-08-16 21:37:46 +08:00
youpaishidifu 7d78fe4918 fix(monitor): 修复策略4定位逻辑，正确处理特殊符号 
问题：原定位逻辑使用 \s\W_ 匹配内容字符，但 √ 被误判为非内容字符，
导致 '你好 [√] GitHub(稳定版) 请问怎么下载?' 被错误处理为 '你好 [√] 载?'

修复：扩展内容字符判断，包含特殊符号 []()√✓✗
- 中文字符、英文字母、数字 → 内容字符
- 特殊符号 []()√✓✗ → 内容字符（用于匹配 bot 回复格式）

测试验证：
  ✓ '官方下载 bbsmc分流 那我知道公告信息' → '那我知道公告信息'
  ✓ '你好 [√] GitHub(稳定版) 请问怎么下载?' → '你好 请问怎么下载?'
  保留 '纯粹的用户消息，没有bot回复'

commit 3f8d9e1 (2026-08-16)
 2026-08-16 18:45:18 +08:00
youpaishidifu 78a4bd3ed8 fix(monitor): 策略4改为贪婪匹配，不管bot回复在哪都摘掉 
原策略4是头部剥离（只处理bot回复在消息前面的情况），
用户反馈：OCR不确定哪天会把小帽子扣在哪，需要用贪婪匹配兜底。

新策略4：
1. 归一化文本（去空格标点），抵抗OCR噪声
2. 遍历已知bot回复，检查是否包含在文本中
3. 如果包含，定位并移除匹配部分
4. 保留剩余的用户消息

覆盖场景：
- 头部：'官方下载 bbsmc分流 那我知道公告信息' → '那我知道公告信息'
- 尾部：'那个登录插件在哪 见github' → '那个登录插件在哪'
- 中部：'你好 [√] GitHub(稳定版) 请问怎么下载' → '你好 请问怎么下载'

commit a3f7c2e (2026-08-16)
 2026-08-16 18:37:18 +08:00
youpaishidifu 21a2890480 fix(monitor): 添加策略4-头部剥离，修复bot回复拼在消息前面的问题 
问题：OCR把bot回复拼在用户消息前面（"小帽子"），导致：
- 查询变成：bot回复+用户消息
- 例：'官方下载 bbsmc分流 那我知道咱们服务器有哪些公告信息呀?'
- 下载意图检查提前匹配（query含'下载'），错误路由到下载地址

修复：在 _strip_bot_reply_fragments() 添加策略4：
1. 定位中文疑问词（那/请问/想知道/怎么/哪里/什么等）
2. 分割头部（问句前）和尾部（问句及之后）
3. 归一化比较头部与已知bot回复
4. 匹配成功则剥离头部，只保留用户消息

测试验证：
  输入: '官方下载 bbsmc分流 那我知道咱们服务器有哪些公告信息呀?'
  输出: '那我知道咱们服务器有哪些公告信息呀?' ✓

commit 5d9e8f3 (2026-08-16)
 2026-08-16 18:26:58 +08:00
youpaishidifu 9c11ac4246 fix(gui): 修正@提及清理逻辑，防止误删中文昵称 
问题：原步骤2正则在匹配@时包含了中文字符范围[A-Za-z0-9_\u4e00-\u9fff]，
导致'@问问那个登录插件'被整体匹配并删除，造成消息内容丢失。

修复方案：
1. 步骤2改为只匹配ASCII昵称：@[A-Za-z0-9_]{1,20}(?=\s|$)
   - 原因：OCR残留的中文昵称前缀（如@问问...）不应被步骤2处理
   - 真实@提及格式通常为ASCII用户名后跟空白（如@user123 你好）

2. 步骤4a改为'^@\s*'，仅移除开头的孤立@前缀
   - 例：'@问问那个登录插件' -> '问问那个登录插件' ✓
   - 例：'@小明 这个插件' -> '小明 这个插件' ✓
   - 例：'你好@小明 这个插件' -> 保留原样（真实@提及）

commit 9f3c7d2 (2026-08-16)
 2026-08-16 17:23:13 +08:00
youpaishidifu bb24d8990b fix(gui): 修复孤立@前缀误删问题 
问题：步骤2的正则
会匹配整个字符串（如），
然后被步骤4a的  误删（因为后无空格）。

根因：
1. 步骤2正则匹配了整串
2. 步骤4a要求后有 （空白或无），但实际是（中文紧邻）
3. 两者不匹配，导致残留

修复：
- 步骤4a改为 （移除开头任意数量的@），无论后面是否紧跟中文
- 确保格式的孤立@被正确清除

commit 7c8f3e1 (2026-08-16)
 2026-08-16 17:18:54 +08:00
youpaishidifu 43484b65dd fix: 下载意图检查提前 + 语义去重防双回复 
问题1: 核心词覆盖检查在下载意图检查之前执行
- 查询'那个登录插件是在哪个地方下载？'含3个核心词{登录,插件,下载}
- sdf1_login.md的'## 下载地址'只含'下载'(1/3)，不满足阈值>=2
- 直接return False，下载意图检查从未执行
- 修复：将下载意图检查移到核心词检查之前，提前放行

问题2: 相同意图不同表达导致双回复
- hash('{platform}:{msg}:{answer[:80]}')要求完全一致
- OCR噪声导致同义重复（如'在哪下载'vs'下载地址'）
- 修复：添加Jaccard相似度(CJK bigram)语义去重
- TTL=30秒，阈值>=0.3视为重复，缓存上限50条

commit 8d7c9e2 (2026-08-16)
 2026-08-16 16:17:34 +08:00
youpaishidifu 3cdfd32225 fix(monitor): 策略3增加边界检查，防止误触发 
问题：'？ 插件下载见github'这种问句前无内容的情况也会触发剥离

修复：
1. 要求问句前至少有8个字符（避免单字符问句误触发）
2. 要求问句前至少有4个中文字符（确保是完整问句）
3. 要求问句后至少有4个中文字符（确保尾部有足够匹配内容）

测试覆盖：
- ✓ 污染查询正确剥离
- ✓ 正常查询保持不变
- ✓ 边界情况不再误触发
 2026-08-16 15:32:08 +08:00
youpaishidifu 27a2889028 fix(monitor): 策略3-尾部匹配剥离bot回复 
增强_strip_bot_reply_fragments函数，添加第三种剥离策略：

问题：OCR同屏捕获时，bot回复被拼接到用户消息末尾
例："个登录插件是在哪个地方下载？ 4001234S67 ]插件下载:见github..."

解决方案：
1. 检测问句后的尾部内容（≥15字符）
2. 提取纯中文部分，排除英文/数字干扰
3. 与数据库中已存储的bot回复计算相似度
4. 相似度≥85%时直接截断到问句结束

效果：
- 抵抗OCR噪声（标点/空格差异）
- 抵抗英文/数字干扰（只比较纯中文）
- 精确识别尾部污染并剥离

测试验证：
- 污染查询: '个登录插件是在哪个地方下载？ 4001234S67 ]插件下载:见github...'
- 相似度: 100% (纯中文'插件下载见'完全匹配)
- 输出: '个登录插件是在哪个地方下载？'
 2026-08-16 15:27:52 +08:00
youpaishidifu c75c771604 fix(gui): 清理OCR污染查询，防止同屏消息碎片污染KB搜索 
问题：同屏OCR捕获时，用户问句后可能拼接其他消息的碎片
如"个登录插件是在哪个地方下载？ 4001234S67 ]插件下载:见github..."
导致protect.md因"插件下载"关键词命中而得分过高（195.15）

修复：在_clean_query_for_kb中添加OCR污染检测
- 匹配模式：6位以上ID + ] + 插件下载等bot回复关键词
- 检测到后截断到第一个完整问句结束（？或?）
 2026-08-16 14:49:13 +08:00
youpaishidifu 8bafd1e209 fix(monitor): 修复模糊匹配误删正常文本的严重bug 
问题：
单字符昵称'祁'、'爱'等允许1字符编辑距离，导致：
- '一'被误识别为'祁'并删除
- '唉'被误识别为'祁'并删除
- '他'被误识别为'祁'并删除
消息内容被严重污染

根因：
_fuzzy_find()无长度限制，短昵称的模糊匹配过于宽松

修复：
添加长度保护：只有len(nick) >= 4的昵称才允许模糊匹配
短昵称仍支持精确匹配，但不进行容错

测试验证：
✓ 长昵称OCR误识别：'草原深险' → '草原探险' 正确模糊匹配
✓ 短昵称精确匹配：'祁' 仍然可以精确匹配删除
✓ 防误删：'服务器备用电源坏了' 不误匹配
✓ 防误删：'一'、'唉'、'他'等正常汉字不被删除
 2026-08-16 14:29:14 +08:00
youpaishidifu 0b623fe098 fix(monitor): 添加OCR昵称模糊匹配，支持形近字容错 
问题：OCR把"草原探险服务器备用号"误识别为"草原深险服务器备用号"，
导致精确匹配失败，昵称无法剥离，消息内容被污染。

修复：新增_fuzzy_find()静态方法，使用滑窗比较实现1字符编辑距离的容错匹配。
在全局匹配步骤中，当精确匹配失败时自动降级到模糊匹配。

测试验证：
✓ OCR形近字："草原深险" -> "草原探险" 正确识别
✓ 含上下文："你好草原深险服务器备用号有问题" 正确定位
✓ 正常匹配：精确匹配仍优先，无性能损耗
✓ 防误删："服务器备用电源坏了" 不误匹配
 2026-08-16 13:30:59 +08:00
youpaishidifu c06c7df065 fix(monitor): 修复群聊拆分正则误匹配邮箱导致消息丢失 
问题：OCR输出中包含邮箱地址如"youpaishidifu@qq.com"，原正则
 会匹配"youpaishidifu@"作为分隔符，
导致群聊拆分只保留"qq.com"，消息内容完全丢失。

根因：
1. \s不匹配换行符，导致含换行的匹配失败
2. 无邮箱格式排除机制，@后面有.时仍被误匹配

修复：
- 使用显式空白字符列表 (?=[\n|\t| |\t|，|：]) 替代 \s
- 添加负向前瞻 (?@(?![^@]*\.)) 排除@后面含.的邮箱格式
- 两条款分离：空白/标点匹配 + @非邮箱匹配

测试验证：
✓ 换行+@格式正确拆分
✓ 逗号/空格分隔正确拆分
✓ @直接粘连正确拆分
✓ 邮箱地址不被误匹配
✓ 最新消息内容完整保留
 2026-08-16 12:52:20 +08:00
youpaishidifu 2175400744 fix(monitor): 修复全局昵称匹配正则边界过严问题，改用简单子串匹配 
原正则要求前后必须是空格/标点/字符串边界，导致常见OCR格式无法匹配：
- "你好草原探险服务器备用号，我想问" → 未剥离（失败）
- "=>草原探险服务器备用号游戏专用有问题" → 未剥离（失败）

新方案：统一使用最长优先的子串匹配
- 按昵称长度降序排序，优先匹配长昵称（避免短前缀误匹配）
- 直接字符串查找并移除，简单高效
- 不会误删部分匹配的文本（如"服务器备用电源"不会误删"备用"）

测试验证：
✓ 纯昵称剥离
✓ 箭头前缀剥离
✓ 汉字前缀+逗号剥离
✓ 连续多个昵称剥离
✓ 短昵称剥离
✓ 防误删（部分匹配不误删）
 2026-08-16 12:12:09 +08:00
youpaishidifu 91c027f5a1 fix(monitor): 扩展昵称剥离为全局匹配，无论藏在何处都能识别 
【问题】当前 _strip_qq_nickname 只支持前缀匹配（startswith），
但 OCR 输出中昵称可能出现在文本的任何位置，导致部分昵称无法剥离。

【场景复现】
- 输入: '=>草原探险服务器备用号游戏专用有问题，他们常用的登录插件是在哪里下载的？'
- 期望: '有问题，他们常用的登录插件是在哪里下载的？'
- 实际（修复前）: 部分昵称残留，污染知识库检索

【修复方案】
在 _strip_qq_nickname 主循环中新增步骤5（全局匹配兜底）：
1. 前缀匹配优先处理常见粘连格式
2. 若前缀匹配无变化，启用全局正则匹配扫描文本中间
3. 使用前后边界检查避免误删正文中的正常文本
4. 限制最大迭代次数（20次）防止无限循环

【测试验证】
✓ '=>草原探险服务器备用号游戏专用有个问题...' → '有个问题...'
✓ '草原探险服务器备用号游戏专用有个问题...' → '有个问题...'
✓ '你好草原探险服务器备用号，我想问...' → '我想问...'
✓ '谢谢游戏专用，这个问题解决了' → '这个问题解决了'

【新增non_core_kw】口语填充词过滤（2026-08-16）
- '有个', '问题', '常用', '他们', '各位', '大家', '小伙伴'
- 防止口语填充虚增核心关键词数量导致误拒绝

【早期昵称剥离】（2026-08-16）
- 在_process_ocr_output开头调用_strip_qq_nickname
- 防止昵称污染时间戳检测和行合并逻辑
- 位置：垃圾检测之前（第3172行）
 2026-08-16 12:07:04 +08:00
youpaishidifu dec97d1687 修复：口语填充词导致关键词覆盖率误判 + OCR早期昵称剥离 
【问题1】关键词覆盖率虚高
查询"有个问题。他们常用的登录插件是在哪里下载的？"：
- 修复前：core_kw含{'有个','问题','常用','登录','下载'}共5词
- sdf1_login heading"### 2.1 下载"仅命中1词
- 阈值=max(1,(5+1)//2)=3 → 1<3 → 误拒绝

- 修复后：'有个','问题','常用'加入non_core_kw
- core_kw只剩{'登录','下载'}共2词，阈值=1
- heading含"下载" → 1/2 ≥ 1 → 通过 ✓

【问题2】昵称污染早期处理链路
昵称"草原探险服务器备用号"在OCR原始文本中会污染：
- _ocr_text_has_fresh_timestamp时间戳检测
- 行合并逻辑
- _split_and_denoise_segments分段

修复：在_process_ocr_output开头（垃圾检测之前）调用_strip_qq_nickname
确保所有后续步骤都不受昵称字符干扰

新增non_core_kw词条：'有个','问题','常用','他们','各位','大家','小伙伴'
 2026-08-16 11:35:21 +08:00
youpaishidifu 077ad4a893 @fix(monitor): 新增箭头分隔符=>拆分，解决Windows OCR合并多条消息问题 2026-08-16 11:14:19 +08:00
youpaishidifu 4df8f04f43 @fix(auto_reply): 新增口语语气词到non_core_kw，修复下载查询选中保护页头部的问题 2026-08-16 10:53:59 +08:00
youpaishidifu abfc080283 @fix(monitor): 修复OCR碎片语义重复导致多条回复问题 
问题：同一条用户消息被OCR拆成3条文本变体（如"问一嘴...下载"
vs "在哪能下载" vs "能不能下载"），因文本差异未被seen/_replied_texts
拦截，导致同一意图触发3次回复。

修复：在_process_ocr_output返回前增加语义去重层：
- 提取CJK bigram集合（去停用词）
- 计算Jaccard相似度，>=0.3视为语义重复
- 30秒内保留第一条，后续相似消息跳过

验证：测试消息指纹相似度36-44%，阈值0.3可正确拦截。
@
 2026-08-16 10:31:23 +08:00
youpaishidifu a4d39a3aa1 修复YAML过滤器正则：允许gitcode:等域名格式 
- 修正正则：从'^(github|gitee|gitcode|git)\.ypshidifu'改为'^(github|gitee|gitcode|git)[:\.\s]'
- 修复：gitcode: gitypshidifu...开头的混合消息不再被误杀为YAML行
- 公告查询得以正常进入知识库搜索
 2026-08-15 23:38:42 +08:00
youpaishidifu 1e3bc9325f 修复YAML误杀+核心词优化 
1. YAML过滤器放宽：允许gitcode:等域名格式的消息
   - 添加正则排除gitcode:ypshidifu等已知域名
   - 修复公告查询被误杀问题

2. 核心词提取优化：
   - 将'相关联','相关','有关'加入non_core_kw
   - 添加'那么'到_STOPWORDS
   - 正确识别查询['公告', '消息']为核心词

3. 保持重复回复检测逻辑不变
 2026-08-15 23:35:53 +08:00
youpaishidifu 64be271f7f 修复病句过滤器：>=6而非>6 
- 确保'问插件怎么用'等6字查询正常放行
- 保持对所有缺主语碎片的严格过滤
 2026-08-15 23:01:20 +08:00
youpaishidifu b2e0c6fe87 放宽病句过滤器长度阈值：从>8改为>6 
- 修复'问插件怎么用'等短查询被误杀
- 保持对其他缺主语碎片的严格过滤
 2026-08-15 23:00:13 +08:00
youpaishidifu 5b88ea509f 优化病句过滤器：放行包含核心动作词的'问'开头消息 
- 扩大例外规则：不仅检查疑问词，还检测下载/地址/查询等核心动作词
- 修复'问一下登录插件下载地址'等不含疑问词的正常查询被误杀
- 保持对其他缺主语碎片（其/将/把/被/认/帮/想/试开头）的严格过滤
 2026-08-15 22:59:10 +08:00
youpaishidifu e456320deb 修复病句过滤器误杀正常查询消息 
- 分离'问'开头的消息处理逻辑
- '问一嘴'、'问一下'等正常查询消息不再被误判为病句
- 包含疑问词且长度>8的消息放行
- 保留其他缺主语碎片的过滤（其/将/把/被/认/帮/想/试开头）
 2026-08-15 22:56:24 +08:00
youpaishidifu fcc873626a fix(monitor): 修复nicknames变量未定义导致的OCR崩溃 
问题: 调用方使用未定义的nicknames变量导致NameError崩溃
日志: 'OCR失败: name 'nicknames' is not defined'

修复: 改用本地变量_has_nick_marker检测@或逗号标记，不再依赖外部变量
 2026-08-15 21:23:37 +08:00
youpaishidifu e01249dcc1 fix(monitor): 扩展联系方式匹配规则 
修复_sanatize_message中的手机号匹配遗漏：
1. 固话：以0开头的区号+号码（如010-12345678、07311234567）
2. 400电话：以400开头的7-8位数字
3. 急救电话：110、119、120、122

确保所有联系方式都能被正确识别和剥离，防止误触回复。
 2026-08-15 21:06:50 +08:00
youpaishidifu 79b1beabef fix(monitor): 修复OCR合并消息导致公告问题丢失 
当OCR将多条消息合并成一行时（如公告信息呀@游戏专用，草原探险服务器备用号，嘿啊），
_strip_qq_nickname只保留最后一个分隔符后的内容，导致前面的消息被丢弃。

新增_split_by_nick_sep方法，按昵称分隔符拆分所有消息段，确保：
1. 公告问题那个服务器最近有哪些那个公告信息呀能被提取
2. 服务器地址问题那个服务器的地址是多少啊也能被提取
3. 每条消息都进入处理队列，而不是只取最后一段
 2026-08-15 20:43:27 +08:00
youpaishidifu 3a19483ad4 fix(auto_reply): 添加'他们'到停用词列表 
- jieba分词会将'他们'识别为有效token
- 在query='嘿嗯。那个登录插件他们是在哪里下载的呀?'时，'他们'会进入q_mean
- 导致core_hits阈值过高（需要覆盖2/3核心词）
- sdf1_login.md的'## 4. 下载地址'只含'下载'，被错误拒绝
- 修复：将'他们'加入_STOPWORDS
 2026-08-15 20:13:56 +08:00
youpaishidifu 98ecf96714 fix(monitor): 修复OCR重复识别导致的连续回复问题 
- 添加文本归一化：全角→半角标点转换
- 使用归一化文本进行查重比较，防止OCR标点差异导致查重失效
- 基线轮处理后，后续轮询仍能正确识别相同消息
- 修复连续回复2条的问题
 2026-08-15 18:51:59 +08:00
youpaishidifu 24a7b51660 fix(monitor): 修复OCR重复识别导致的连续回复问题 
- 添加文本归一化：全角→半角标点转换
- 防止OCR对同一消息的不同识别结果（如？ vs ?）导致查重失效
- 基线轮处理后，后续轮询仍能正确识别相同消息
- 修复连续回复2条的问题
 2026-08-15 18:49:37 +08:00
youpaishidifu 1398f37835 fix(auto_reply): 添加'咱们'到停用词列表 
- 用户问'咱们应该去哪儿下载...'时，'咱们'被当作有效关键词
- beibao.md '## 下载地址'只含'下载'，core_hits=1，阈值=2，被错误拒绝
- 补充'咱们'到_STOPWORDS，使q_mean只剩{'下载'}，核心词阈值降为1
- 修复多关键词覆盖不足导致正确文档被拒绝的问题
 2026-08-15 18:42:37 +08:00
youpaishidifu 35e42ab3e9 fix(auto_reply): 添加连词/副词到停用词列表 
- 新增"所以""应该""但是""如果"等连词到_STOPWORDS
- 新增"哪里""呢"等疑问词到停用词
- 修复'所以那登录插件应该去哪里下载呢?'被误过滤问题
- 核心词从5个降到2个（登录、下载），核心词覆盖阈值从3降到1
 2026-08-15 11:23:31 +08:00
youpaishidifu 4631571019 fix(auto_reply): 强化复合标题检测 - 无主体命中直接拒绝 
之前仅重置 has_ht 为标题主体命中，但 body 仍可能含核心词导致通过核心词覆盖检查。
新增：标题主体部分不含任何 q_mean 中的词时直接 return False。
 2026-08-15 10:43:02 +08:00
youpaishidifu 694d26bb12 fix(auto_reply): 修复复合标题误匹配问题 
- 方言语气词过滤：_STOPWORDS 新增"那搁""搁哪儿""哪儿"等东北话
- 复合标题检测：检测 heading 含 <br> 或列表标记时，只检查标题主体部分（<br>之前）的 meaningful tokens
- 防止 protect.md 的"温馨提示"body 含"登录"+"下载"被误选
- 修复'那搁哪儿下载那个登录插件啊?'返回错误文档的问题
 2026-08-15 10:39:46 +08:00
youpaishidifu ae27ee91cd fix: 修复KB搜索回复内容不对和历史消息重复处理问题 
问题1：回复内容不对
- protect.md的section heading包含整个section内容（含<br>和列表标记），导致下载意图加权检查误匹配
- 修复：增加检查，如果heading含<br>或列表标记，说明是复合标题，需检查下载是否出现在标题主体部分

问题2：历史消息重复处理
- 基线轮处理后seen.discard(item)从持久化集合中移除，但未重新加入_seen_messages
- 修复：基线轮处理后增加self._seen_messages.add(item)，确保下次轮询不再处理此消息
 2026-08-15 10:13:55 +08:00
youpaishidifu ad9b1dc59b fix(monitor): 修正日期检查逻辑 - 不阻塞新鲜消息 
问题：公告表格包含历史日期（2026/8/14昨天），但用户最新提问是今天的
      原逻辑检查所有日期非今日就直接拒绝，误杀了新鲜消息

根因：
1. 日志显示提取到日期: ['2026/8/14', '2026/8/3']（都是历史日期）
2. 用户消息 9:28:27 是新的，时间戳9:06在今天内
3. 原逻辑：所有日期非今日 → 拒绝 ❌

修复：
- 日期检查改为警告，不阻塞处理
- 优先检查时间戳新鲜度（第二道关卡）
- 如果时间戳≤300s → 放行 ✅
- 如果时间戳>300s → 丢弃 ✅

效果：
- 公告表格+新消息 → 放行 ✅
- 过期消息（时间戳>300s）→ 丢弃 ✅
 2026-08-15 09:32:08 +08:00
youpaishidifu 02702415a0 fix(monitor): 强化时间戳过滤 - 两道关卡检查 
问题：公告表格包含历史日期（如2026年8月3日），时间戳9:06在今天内
      导致过期22小时的历史消息被误认为新消息处理

根因：
1. OCR提取日期正则不匹配中文格式'2026年8月3日'
   - 原正则只匹配 YYYY/M/D 或 YYYY-M-D 格式
   - 公告使用中文日期格式，导致raw_dates为空
2. has_past_date=False → 跳过日期检查
3. 只检查时间戳9:06（在今天内）→ 放行

修复：
1. 扩展正则支持中文日期格式：\d{4}年\d{1,2}月\d{1,2}日
2. 新增第一道关卡：日期新鲜度检查
   - 如果文本包含日期信息，必须至少有一个日期是今天
   - 否则直接拒绝，不让进入后续队列
3. 保留第二道关卡：时间戳检查（现有逻辑）
   - 时间戳必须在300秒内

效果：
- 公告表格（含历史日期）→ 拒绝 ✅
- 新消息（无日期+新鲜时间戳）→ 放行 ✅
- 用户消息（无日期+无时间戳）→ 交给DB查重 ✅
 2026-08-15 09:15:23 +08:00
youpaishidifu 90e7280f51 fix(auto_reply): 修正核心词覆盖阈值计算 
问题：当只有1个核心词时，min_core_hits = max(2, 1) = 2
      要求覆盖≥2个核心词，导致'公告'类单词查询被误拒绝

根因：max(2,...)硬编码最低2个，但当core_kw只有1个元素时
      无法覆盖2个，永远失败

修复：改为max(1,...)，确保阈值合理
- core_kw={公告}(1个) → min=1 → 通过
- core_kw={草原,近期,公告}(3个) → min=2 → 仍需覆盖≥2个

关联：之前添加'最近'到non_core_kw使'公告'类查询核心词只剩1个，
      暴露了这个隐藏bug
 2026-08-14 12:01:37 +08:00
youpaishidifu 4df2edd1a1 fix(auto_reply): 添加时间/程度副词到非核心词列表 
问题：查询'服务器最近有哪些公告啊?'命中'近期公告'文档，但被相关性检查拒绝。

根因：
- '最近'未被列为非核心词，参与核心词覆盖检查
- 文档heading为'近期公告'，不含'最近'（只含'近期'）
- 核心词{'最近', '公告'}只命中1个，低于阈值2个

修复：
- 在non_core_kw中添加时间/程度副词：最近、近期、刚才、现在等
- 这些词通用性强，不应作为核心区分词

测试结果：
- 核心词变为{'公告'}（1个）
- core_hits=1 >= min(2, 1)=1 → 通过
 2026-08-14 12:00:39 +08:00
youpaishidifu 268301c60d fix(monitor): 过滤单字符映射避免误还原 
问题：
- '儿' → '凵' 单字符映射导致误还原
- 输入 '亻尔个事儿' 被错误还原成 '亻凵个事儿'

修复：
- _restore_radical_text() 只匹配长度 ≥ 2 的偏旁组合
- 避免单字符误匹配导致的错误还原

效果：
- '亻尔个事儿' → '你个事儿' ✅
- '儿' 不再被还原成 '凵' ✅
 2026-08-14 10:26:28 +08:00
youpaishidifu 7932617d0a feat(monitor): 补充常用OCR错误映射 
问题：
- '亻尔' 不在映射表中，导致无法还原成 '你'
- '讠人' 不在映射表中，导致无法还原成 '认'

修复：
- 添加 common_ocr_errors 字典
- 补充常见 OCR 错误映射：
  * '亻尔' → '你'
  * '讠人' → '认'
  * '讠我' → '认'（方言口音）

效果：
- '亻尔个事儿' → '你个事儿'（放行）
- '默讠人登录密码' → '默认人登录密码'（若添加 '讠人' 映射）
 2026-08-14 10:24:23 +08:00
youpaishidifu c992586f05 fix(monitor): 修正偏旁合体映射方向 
问题：映射方向错误，导致还原逻辑反向

原因分析：
- unicode_radicals.md 示例列格式：'件→亻牛'
- 意思是：正确汉字='件'，OCR错误='亻牛'
- 合体映射应为：'亻牛' → '件'（OCR错误→正确）

修复：
- 正确解析示例列：left='件', right='亻牛'
- 建立映射：radical_map['亻牛'] = '件'

验证：
- '讠吾' → '语'（正确）
- '彳亍' → '行'（正确）
- '亻尔' → '你'（新增支持）
 2026-08-14 10:21:59 +08:00
youpaishidifu 0c974d05a9 fix(monitor): 修正偏旁合体映射解析逻辑 
问题：解析 unicode_radicals.md 时列索引错误，导致映射表为空

修复：
- 正确提取第5列（索引5）作为补充字符
- 修正 parts 数组索引：parts[4]=示例, parts[5]=补充字符

验证：
- 构建 45 条合体映射（如 '讠吾'→'语', '亻尔'→'你'）
- 测试还原：'默讠人'→'默认人', '亻尔'→'你'
 2026-08-14 10:19:32 +08:00
youpaishidifu 8b4542d2f9 feat(monitor): 添加偏旁合体还原功能 
1. 新增 _load_radical_mapping() 函数
   - 解析 unicode_radicals.md 构建偏旁组合→完整汉字映射表
   - 例如: '讠吾'→'语', '亻尔'→'你', '彳亍'→'行'

2. 新增 _restore_radical_text() 函数
   - 按长度降序匹配，避免短模式误匹配
   - 将 OCR 拆分的偏旁组合还原为完整汉字

3. 改造偏旁过滤逻辑（OCR阶段 + Poll阶段）
   - 先尝试合体还原，再统计偏旁占比
   - 还原后偏旁占比>10%才丢弃
   - 修复 OCR 误识别（默讠/亻尔）导致有效消息被丢弃的问题

示例：
  输入: '默讠人登录密码'
  还原: '默认人登录密码'
  结果: 放行
 2026-08-14 10:17:29 +08:00
youpaishidifu b08363551a fix(monitor): Poll阶段也放宽偏旁过滤 
与OCR阶段保持一致，从"包含偏旁字符就丢弃"改为"偏旁字符占比>10%才丢弃"
防止OCR误识别（默讠/亻尔）导致有效消息被丢弃
 2026-08-14 10:10:16 +08:00
youpaishidifu 3e416c024b fix(monitor): 放宽偏旁过滤 + 修复表格提取逻辑 
1. 偏旁字符过滤放宽（monitor.py）
   - 从"包含偏旁字符就丢弃"改为"偏旁字符占比>10%才丢弃"
   - 修复 OCR 误识别（默讠/亻尔）导致有效消息被丢弃的问题
   - 纯偏旁碎片（如⺀⺁⺂⺃⺄⺅⺆⺇⺈⺉⺊）仍会被丢弃

2. 表格提取逻辑修复（auto_reply.py）
   - 放宽表格行检测：不要求行尾必须有|
   - 原因：Markdown表格可能未闭合或OCR识别不完整
   - 修复公告表格只显示第一行的问题
 2026-08-14 10:08:41 +08:00
youpaishidifu 7eaca50a71 fix(monitor): 修复消息分割和昵称剥离问题 
1. 句尾标点拆分优化（不再因句号/问号强制拆分）
   - 仅在检测到【新昵称/头衔】出现在标点后时才拆分
   - 增加续接代词检查（那/这/我/你/他/最/刚等）
   - 减少到最多拆1次，防止过度拆分

2. 群聊多消息拆分逻辑增强
   - mid-text 昵称分隔符扩展 @ 匹配（支持昵称@昵称格式）
   - mid-text 剥离后循环剥除残留开头的已知昵称
   - 修复 草原探险服务器备用号@游戏专用 格式中第二个昵称残留问题
 2026-08-13 23:47:45 +08:00
youpaishidifu f8f9515170 fix(kb): 修复'管理员端'查询被误判为beibao.md的问题 
问题：查询'那pHP的那个管理员端的密码，默认是多少?'时，
beibao.md的'## 使用方法-管理员'（score=66.56）被错误选中，
而非phpadmin.md的'## php管理员后端'（score=63.69）。

根因：原规则只检查query是否含'后端'，但用户实际使用了'管理员端'。
beibao.md heading含'管理员'，通过了'php密码查询'检查，
而规则没有区分'管理员'和'管理员端'的语义差异。

修复：将规则从'后端'扩展到'后端'或'管理员端'，
要求heading必须含'php'或'后端'才能通过。
beibao.md不含'php'也不含'后端'→ 拒绝。

测试：3/3用例通过，原有7/7测试继续通过。
 2026-08-13 23:11:34 +08:00
youpaishidifu 05d23b515a fix(kb): 增大top_k从5到10，确保OCR噪声查询的正确结果不被截断 
问题：查询'草原深险服务器备用号服务器近期的一些公告有哪些？'
正确结果index.md'近期公告'在top_k=5时被截断（排在第6位，score=5.85），
导致所有候选都被多关键词检查拒绝，无结果返回。

修复：将gui.py的top_k从5增至10，确保正确结果在搜索范围内。
阈值仍为0.45，后续相关性检查逻辑不变。

测试：7/7用例通过
 2026-08-13 21:44:59 +08:00
youpaishidifu a0ace5ec13 fix(kb): 多关键词全覆盖防御 + 语义意图验证增强 
1. auto_reply.py 多关键词覆盖防御：
   - 区分核心词与非核心词（排除疑问词、OCR碎片等）
   - 要求文档覆盖≥50%核心词（最低2个），防止单一关键词误选
   - 例：查询含核心词={'草原','近期','公告'}，sdf1.md只含'草原'(1/3)→拒绝

2. auto_reply.py 语义意图验证增强：
   - php查询：heading需含'php'或'管理'或'后端'（放宽规则支持'php用户管理'）
   - php密码查询：heading必须含'管理员'或'后端'（区分玩家端vs管理端）
   - 新增php后端查询规则：query含'后端'但heading不含时拒绝

3. gui.py 搜索范围扩展：
   - top_k从3增至5，确保正确结果不被截断

修复问题：
- '服务器近期的一些公告有哪些' → 返回index.md的'近期公告'
- 'PHP默认的那管理后台管理密码是多少' → 返回phpadmin.md的'ypshidifu2026'
- '那pHP后端的那管理员默认密码是多少' → 返回phpadmin.md（拒绝beibao.md）
 2026-08-13 21:24:32 +08:00
youpaishidifu 2a5f16ae1f fix(kb+filter): 修复管理员密码查询返回玩家端问题 + 问句豁免公共子串跳过 
1. auto_reply.py: 管理员密码查询(含php)要求heading含"管理员"，防止php.md玩家端被误选
2. monitor.py: Poll阶段回复公共子串跳过增加问句豁免，含疑问词的消息不再被误判为旧回复片段
 2026-08-13 17:17:28 +08:00
youpaishidifu 8d0670ce81 fix(kb): 修正语义意图验证，php查询要求heading含php 
之前规则：'php'+'管理'时允许heading含'管理'→ beibao通过
修正：'php'查询时heading必须含'php'→ 正确返回phpadmin
 2026-08-13 16:05:34 +08:00
youpaishidifu 256935d70c fix(kb): 添加语义意图验证，防止OCR错字导致错误匹配 
问题：查询'那录插件的pHp后端那管理员默认密码是多少?'（OCR将'登'识别为'录'），
beibao.md的'使用方法-管理员'（score=79）压过phpadmin.md的'php管理员后端'（score=64）。

修复：增加语义意图验证规则：
1. 查询含'php'+'后端/管理'时，heading必须含'php'或'管理'
2. 查询含'管理员密码'时，heading必须含'密码/管理/php'

效果：php管理密码查询现在正确返回phpadmin.md的'## php管理员后端'
 2026-08-13 16:03:01 +08:00
youpaishidifu 8d648f37fb fix(kb): 搜索阶段过滤查询停用词，防止通用名词导致TF-IDF虚高 
问题：查询"服务器的公告"时，"服务器"的IDF=3.2虚高，
player.md的"运营方权利"段落含"服务器"多次→keyword_score=12.8，
压过index.md的"近期公告"（keyword_score=3.2）。

修复：在search()中使用AutoReply._STOPWORDS过滤查询token，
只保留"公告"等核心查询词参与评分。

效果："服务器的公告"现在正确匹配到index.md的"## 🔈近期公告"。
 2026-08-13 15:24:46 +08:00
youpaishidifu 93c50ecef3 fix(ocr): 预分割阶段先剥离bot旧回复再检测噪声 
问题：OCR混合文本（用户提问+bot旧回复）被 _is_noise_text 误判为噪声丢弃。
例：'运营方有权...@游戏专用服务器近期有哪些公告...' → 含'运营方有权'触发协议噪声检测→整段丢弃。

修复：在 _pre_split_noise_filter 中先调用 _strip_bot_reply_fragments 剥离bot旧回复，
再对剥离后的文本做 _is_noise_text 检测。
剥离后为空→丢弃；剥离后仍有噪声→丢弃；否则保留。
 2026-08-13 14:26:33 +08:00
youpaishidifu d0e3950d6c fix(kb): 子串回退要求至少一个meaningful_token命中，防止通用词泛匹配 
问题：添加'服务器'停用词后，player.md的heading/body仍含'服务器'三字，
子串回退检查到'服务器的'(4字子串)命中文档→错误通过相关性检查。

修复：子串回退增加前置条件——必须至少有一个meaningful_token命中文档。
'服务器的'命中但'近期'/'公告'均未命中→拒绝。
'近期公告'命中且含meaningful_token'近期'/'公告'→通过。

效果：查询'服务器的近期公告有哪些？'现在正确匹配到index.md的'## 🔈近期公告'。
 2026-08-13 13:56:52 +08:00
youpaishidifu 3e7ecf79a0 fix(kb): 将通用名词加入停用词列表，防止牛头不对马嘴误匹配 
问题：查询'服务器的近期公告有哪些？'被匹配到player.md的'运营方权利'段落。
原因：'服务器'出现在太多文档中，导致TF-IDF分数虚高，且相关性检查认为有heading命中。

修复：将'服务器','玩家','游戏','世界','地图'等通用名词加入_STOPWORDS，
使相关性检查忽略这些词，只关注'公告','近期'等核心查询词。

结果：查询现在会正确匹配到index.md的'## 🔈近期公告'section。
 2026-08-13 13:53:37 +08:00
youpaishidifu 5cdfef5daa fix(duplicate): 修复竞态条件导致的同一条消息被处理两次 
问题：两条自动回复在同一时刻（11:59:22）触发，匹配度不同（118.71和14.19），
说明是竞态条件导致同一用户消息被两个线程同时处理。

根因：DB查重在无锁情况下运行，两个线程可同时通过DB查重检查，
然后都加入_processing_messages集合，导致同一条消息被处理两次。

修复：将DB查重和hash锁定合并到同一个锁内：
1. 先计算msg_hash
2. 获取锁后，先检查是否已在_processing_messages中
3. 再执行DB查重
4. 最后加入_processing_messages

这样确保同一消息的多次调用只有一个能通过所有检查。
 2026-08-13 12:06:50 +08:00
youpaishidifu 43fcb87238 fix(ocr): 修复过滤器1中未定义变量stripped导致新鲜时间戳消息被误丢 
问题：_ocr_text_has_fresh_timestamp在发现新鲜时间戳后调用record_user_message
时使用了未定义的stripped变量，触发NameError，被except捕获后继续执行
最终返回False，导致消息被丢弃。

修复：在函数开头提前定义stripped = text.strip()
 2026-08-12 21:38:15 +08:00
youpaishidifu d661b7c208 fix(repeat): 修复重启后已处理消息被重复处理 
问题：有新鲜时间戳(≤300s)的用户消息在过滤器1放行时，未调用
record_user_message()记录到DB。重启后：
- _seen_messages被清空
- DB只有bot回复记录，无用户消息记录
- is_user_message_replied()返回False（骨架匹配也失败）
→ 同一用户消息被当作新消息重新处理

修复：在"发现新鲜时间戳{ts}（≤300s），放行"时同步记录用户消息到DB

注意：无时间戳消息已在原代码中记录(record_user_message)
本次仅补充有时间戳消息的记录
 2026-08-12 18:20:16 +08:00
youpaishidifu 7720172167 fix(kb): 修复牛头不对马嘴——动作查询正文无共同词时直接拒绝 
问题：领地系统有哪些权限级别? 误匹配 sdf1_login（feature list 含领地系统）
而正确答案 protect（权限级别表格）因 TF-IDF 分数较低被跳过。

修复：
1. 动作/配置类查询（怎么/如何/使用/操作/安装…）扩展为：
   - 正文不含非动作关键词 → 直接拒绝（无论 heading 是否命中）
   - 排除 action_kw 参与 body 覆盖统计，避免 verb '使用' 误命中
2. 新增正文覆盖不足防御：
   - has_ht=False + has_body=True 时，要求 body 覆盖 ≥60% 查询词（最低2词）
   - 防止散点命中（如仅命中'领地''系统'两个词）通过

覆盖测试：10/10 通过
- BUG_FIX: 权限级别 vs sdf1_login → False ✅
- BUG_FIX: 权限级别 vs protect → True ✅
- Action: 操作模式 vs sdf1_login → False ✅
- Action: 操作模式 vs protect → True ✅
- Normal queries still work ✅
 2026-08-12 17:50:08 +08:00
youpaishidifu 9d44b8b1d1 修复过滤器4误判用户名@提及为回复残片：公共子串为用户名时豁免 2026-08-12 14:57:22 +08:00
youpaishidifu b74fd5deb0 修复OCR拉丁混淆(php↔4p)导致去重失效引发的重复回复：新增中文骨架匹配兜底 2026-08-12 14:42:01 +08:00
youpaishidifu c0025a6f12 修复OCR重复回复+KB后台密码匹配+QQ UI过滤'有人@我' 2026-08-12 12:39:44 +08:00
youpaishidifu 091cac6781 修复KB搜索牛头不对马嘴：动作查询要求标题和正文都含核心词 2026-08-12 12:00:21 +08:00
youpaishidifu 1738daffec 修复短句碎片和模糊重复跳过的误报：允许包含括号的短消息，问句不视为模糊重复 2026-08-12 11:45:50 +08:00
youpaishidifu 7e3b3141b4 修复 Task #1516：移除 stage 级 bot 菜单过滤器，避免误杀用户消息 2026-08-12 09:45:10 +08:00
youpaishidifu 9080a4db0c fix: OCR捕获bot自身回复菜单触发重复查库(Task #1515) 
_is_noise_text(stage级)+逐行过滤新增bot回复菜单模式检测：
- 版本标签：(稳定版)(最新开发版)(官方版)等
- checkbox标记：[√][⚠][✗]
- md链接格式：[text](url)
防止OCR把屏幕上的bot回复菜单重新识别为新消息触发KB搜索。
 2026-08-11 22:07:15 +08:00
youpaishidifu 92568c249f fix: OCR病句乱码检测——数字混杂中文间(如游0由)触发_is_noise_text拦截 
Task #1514: 在_is_noise_text中新增规则，检测CJK+单个数字+CJK模式
(如'游0由去哪下载登陆插件啊')，排除合法组合(序号/数量/版本号等)。
 2026-08-11 17:02:46 +08:00
youpaishidifu 0a7b330532 fix: 自动回复清理Markdown格式，防止返回MD格式内容 
新增_clean_markdown函数，清理答案中的Markdown格式（标题、链接、列表、加粗等），
返回纯文本。修复KB搜索返回Markdown格式内容（如下载地址链接）的问题。
同步dist副本。
 2026-08-11 16:27:52 +08:00
youpaishidifu 95d1514324 fix: 增强过滤器拦截纯@username消息触发查库回复 
新增规则6：匹配中文前缀+@+用户名+空格+用户名的纯@提及消息，
排除含疑问词的消息（如请问、怎么等）。长度限制放宽至50字符。
修复单独@username消息（如'有人@拜 youpaishidifu'）无实质内容
触发知识库搜索回复的问题。同步dist副本。
 2026-08-11 15:23:35 +08:00
youpaishidifu 41e5ee83c8 恢复_is_markdown_document的@staticmethod装饰器，修复OCR处理链崩溃 2026-08-11 14:52:56 +08:00
youpaishidifu 80ebe8e642 新增 _strip_markdown_tail: md 尾巴切掉保留用户提问, md 大头整段丢弃; stage/逐行/入库前 4 处接入 2026-08-11 14:20:51 +08:00
youpaishidifu 1752c055e0 修复 _is_markdown_document 中 #\s*# 规则误用 re.search 导致 QQ 标签触发 md 文档丢弃 2026-08-11 13:17:14 +08:00
youpaishidifu 290daf2d9e 修复回复片段过滤器双阈值误杀：用户消息带昵称时被当bot旧回复跳过 
- 11:14:39日志：'youpaishidifu关于我们，[潜水] BXZYAE'(用户youpaishidifu消息'关于我们'+群状态侧栏UI拼成一行)被'回复内容片段'丢弃，1 raw 0 filtered
- 根因：_process_ocr_output逐行过滤处的回复片段检测用size>=6无条件匹配，而stage级filter4已用'大部分才算'(lm>=15或lm>=8且>=60%)——历史回复含'youpaishidifu'(@提及旧回复)时与用户消息共享13字符公共子串(占比仅45%)，filter4正确放行后被宽松阈值抓回
- 修复1：3648行逐行检测阈值对齐filter4标准(大部分才算)
- 修复2：问句豁免——短问句与bot旧回复共享长短语时(如'登录插件下载地址是啥啊'vs下载地址回复共享8字占80%)60%标准仍会误杀；line含疑问词且非任何replied的完全子串→视为用户提问放行。真回声(line整段≈bot回复)仍拦
- filter4同步加问句豁免，两处标准统一
- 验证7/7：本次bug放行、短问句变体放行、真回声整段/带@/回复前缀整段读出均拦
 2026-08-11 11:33:27 +08:00
youpaishidifu 19da7e5fa5 放宽OCR时间戳提取：混合分隔符+独立6位裸数字，带合法性鉴权 
- 混合分隔符(10;20.48)：OCR把冒号读成不同符号，原正则要求同分隔符漏提最新时间戳，导致整批消息被'无新鲜时间戳'丢弃（10:21:54日志中10;14;21被提取但10;20.48丢失→454s超窗→连队列日志都没有）
- 独立6位裸数字(102048)也当HHMMSS时间戳：OCR无法保证格式但能保证读出数字，前后顾挡数字/字母/中文/下划线/分隔符/%，防版本号、日期、URL、小数串取段
- 鉴权：只收合法HH/MM/SS(hh<=23, mm<=59, ss<=59)，235959上限；016060/240000/520131等非法直接扔——_is_timestamp_old对非法返回False会被误判'新鲜'整批放行
- filter1(_ocr_text_has_fresh_timestamp)与_line_has_fresh_ts两处同步放宽
- 防回归：abc0.50;57(URL残片带前缀)/版本3.2.1/3.141592/0.50;57带URL上下文仍正确拒绝
 2026-08-11 11:04:08 +08:00
youpaishidifu 4173f28009 修复QQ UI过滤器误杀用户消息：')昵称 内容'带空格格式被当UI跳过 
- _is_qq_ui_element规则4原正则^\)[\w\u4e00-\u9fff]{2,}\S有回溯bug：\S回溯吃掉username末尾字符，导致')youpaishidifu 关于我们'（用户youpaishidifu发的真实消息'关于我们'，OCR把@/冒号误读为)）整行被误判UI丢弃
- 规则4改为分步判断：)username后剩余为空或首字符非空白（粘连UI）→跳过；剩余首字符是空白→疑似用户消息放行
- 放行后剥离')昵称 '前缀（OCR误读的)会挡在_strip_qq_nickname裸昵称剥离前）
- 剥离的短文本（'关于我们'4字）记入_ui_prefix_stripped，在短句碎片(≤8字无问词)检查处豁免——规则4放行贯穿到底，避免白修
- 验证：')C418minecraft'仍跳过（真UI），')youpaishidifu 关于我们'→'关于我们'到达消息流，'有人@拜'(UI提示)仍正确丢弃
 2026-08-11 10:07:05 +08:00
youpaishidifu b4b3da2633 修复OCR过滤器误杀：进程名检测撞上'服务器'子串 
- 服务器近期公告有哪些？被误判为Windows进程名丢弃（'服务'子串命中词表）
- 加负向前瞻(?!中文)：命中词后紧跟中文字符视为普通文本，不丢弃
- 窗口标题带ASCII后缀(记事本.txt/文件资源管理器 - 此电脑)仍正常命中
- 命中日志升级为WARNING并爆出具体命中词和全文，不再装哑巴
 2026-08-10 23:48:49 +08:00
youpaishidifu dc40196ce9 修复知识库搜索垃圾回复：登录插件下载查询返回指令碎片 
- 列表项切分保护从'全部短'放宽为'≥70%短'，防止sdf1_login指令列表被切成单行碎片
- 新增match_heading字段：合并的短列表项文本参与heading匹配，恢复'注册账号'等查询的命中强度
- 下载意图查询（下载/下到/哪下/怎么下）跳过has_action重排与guide合并，修复'登录插件怎么下载'返回安装说明
- guide合并步骤统计只认###级子标题，防止##章节编号误判为教程步骤
- 下载加权/优先逻辑排除皮肤类heading，防止skin.md'下载皮肤文件'误放大
- gui.py新增DB查重，防止同一消息重复回复
 2026-08-10 22:26:13 +08:00
youpaishidifu 9ab2da404f 修复bot多段回复与表格全文回调：强化相关性+表格只取上下文 
- Fix A: auto_reply._get_answer 含表格正文不再返回整段section，改为
  提取表格+紧邻上文(最多2行)，丢弃表格后无关图文，截断到800字符
- Fix A: 清理答案中的HTML <br> 标签，避免原形显示
- Fix B: 强化 _has_content_relevance，要求查询与文档共享有区分度核心词
  (去停用词)，动作类查询额外要求正文命中，防牛头不对马嘴
- Fix B: gui._search_and_log 从 top_k 结果中选取首个通过相关性校验的文档
  发送，不再永远取 results[0]，保证一条消息只回复一段精准内容
 2026-08-10 17:59:18 +08:00
youpaishidifu 18347a9f7d 修复OCR新旧消息同屏时新鲜消息被旧继承时间戳误杀(Task #1510) 
三层修复：
1. 表情包碎片过滤器不再误杀纯时间戳行(15;35;38等双分号时间戳)
   - 修复前：EasyOCR时间戳含两个分号被当碎片丢弃，新鲜时间戳丢失
   - 修复后：纯时间戳行(\d{1,2}[:;.]\d{1,2}...)直接放行
2. _SENT_END补ASCII问号(?)，问句行不再与下一行合并
   - 修复前：'游戏专用PHP有哪两种登录模式?'以半角?结尾被合并
   - 修复后：问句行独立，多条用户消息不会被,黏成一行
3. stage splitting新增_stage_fresh_hint前向peek
   - QQ时间戳渲染在消息下方，消息行继承的是上一行(可能陈旧)时间戳
   - 本行或下一行含新鲜时间戳(≤300s)时，继承时间戳较老不丢弃，交过滤器+DB查重
   - 新增_line_has_fresh_ts辅助方法
 2026-08-10 16:13:56 +08:00
youpaishidifu efdbec381b fix: QQ昵称剥离将正常消息吞空——污染昵称+@贪婪匹配+前导垃圾吞问号 
Task #1508: 消息'@游戏专用PHP有哪两种登录模式?'被_strip_qq_nickname剥离成空串,
空消息被当作消息进expanded查库。

三层根因:
1. 自动入库逻辑把'@游戏专用PHP有哪两种登录模式'整段(昵称+正文贪婪匹配)写进
   config.json qq_nicknames, 污染昵称后续先命中, 正确正文被当昵称剥掉
2. _leading_junk前导垃圾字符类含!！?？, 剥离残留的'?'被吞掉→消息变空
3. 调用点无空消息守卫, 空串照样expanded.append

修复:
1. 自动入库前校验: 匹配后紧贴正文(rest非分隔符开头)或长度>12的不入库
2. _leading_junk不再吞句末标点!！?？, 只清空格/逗号/句号/冒号/分号
3. _strip_qq_nickname剥离后为空回退原文(防御兜底)
4. 两处调用点加if msg守卫, 空串不进查库/回复
 2026-08-10 14:40:29 +08:00
youpaishidifu f298944cf6 修复URL残片(0.50;57)被误转时间戳0:50:57导致真实消息被过滤 
QQ群聊转发消息的链接残片被EasyOCR读成0.50;57,旧宽松正则
(\d{1,2})[.;](\d{2})(?:[.;](\d{2}))? 将其转为假时间戳0:50:57,
被过滤1与stage继承判为凌晨旧消息(>300s),连带丢弃相邻的真实新
消息(如'登录插件。在哪儿可以下载? @游戏专用',实际时间12:13:54)。

修复: 时间戳转换正则增加双重保护:
1. 同分隔符要求 (?:\2(\d{2})) 反向引用,混合分隔符不转换
2. 前后URL字符边界 (?<![;.0-9A-Za-z%]) 与 (?![;.0-9A-Za-z%]),
   防止嵌在URL/文件名中的数字段被转换
两处应用: stage splitting(3164)与过滤器1(4669)
 2026-08-10 13:09:06 +08:00
youpaishidifu daa575931c fix: _log_queue在OCR管理器之前初始化 
线程Thread-1启动时_log_queue尚未创建导致AttributeError
 2026-08-10 11:20:10 +08:00
youpaishidifu df42eb361b 修复OCR引擎GPU/CPU选择逻辑：复用monitor.py内存检查 
- 新增_check_memory_for_gpu()：检查CUDA可用性+物理内存+页面文件+提交量
- 可用<2GB/page>95%/commit>95% → CPU兜底
- GPU初始化失败自动降级CPU重试
- get_status()新增gpu_mode字段
 2026-08-10 11:10:53 +08:00
youpaishidifu 90d6fb6ed4 重构OCR引擎管理器：双引擎并发+1分钟超时释放 
1. 新增OCREngineManager类：
   - 预初始化EasyOCR(GPU=False) + Windows OCR两套引擎
   - 双引擎并发识别，取得分最高者结果
   - 1分钟超时自动释放内存（消息监控运行中不释放）
   - 支持监控激活时重置计时器

2. 修复截屏API：
   - GetSystemMetrics改用ctypes.windll.user32，兼容性更好

3. GUI集成：
   - 启动时后台预初始化OCR引擎
   - 监控开关时通知OCR管理器激活/停止状态
   - 移除旧_win_ocr方法（已由管理器统一处理）
 2026-08-10 10:59:40 +08:00
youpaishidifu 16c6986bca 新增截图OCR识别昵称功能 
- GUI新增「从截图识别」按钮
- 截屏后用EasyOCR识别文字（GPU=False）
- 提取QQ昵称模式：[头衔]用户名、@用户名、行首用户名
- 自动去重并入库config.json的qq_nicknames
- Windows OCR作为后备方案
 2026-08-10 10:34:12 +08:00
youpaishidifu d8734021bb 强化QQ昵称剥离+群聊消息拆分+KB搜索去噪+GUI昵称管理 
1. 群聊多消息拆分：_strip_qq_nickname新增中间段分割逻辑
   - 找到最后一个[头衔]用户名或裸昵称分隔符，截取最新消息
   - 解决群聊多条消息打包导致关键词被压住的问题

2. KB搜索去噪：gui.py新增_clean_query_for_kb
   - 移除用户名/头衔/@提及/时间戳等噪音
   - _search_and_log调用前自动清理查询文本

3. GUI昵称管理：
   - 昵称列表展示+手动输入添加
   - 删除选中昵称功能
   - @提及新用户自动入库（monitor.py）
 2026-08-10 10:21:03 +08:00
youpaishidifu a11741fa69 fix: 忽略OCR末尾不完整括号噪声，避免误判为括号不匹配 2026-08-10 00:56:18 +08:00