youpaishidifu/msgbot
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
264 Commits 1 Branch 0 Tags
09ea05fc7942e5e91287a0a14b3fc29538b93135
Commit Graph
264 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
youpaishidifu 718f67804c 修复KB搜索3项：疑问词不当降权 + 文档聚合tiebreaker + section弱匹配不计入 2026-07-29 00:09:22 +08:00
youpaishidifu 4da415f9c5 修复KB匹配：action_verbs_all去掉怎么/如何等疑问词，避免sdf1_login含'怎么办'被惩罚更少反超beibao 2026-07-29 00:01:28 +08:00
youpaishidifu 0452246c73 修复多发+剪贴板安全 4项：模糊阈值0.85→0.75/CJK子串8→6/同poll只处理第一项/设剪贴板后回读校验/读剪贴板时检查发送锁防竞争 2026-07-28 23:37:01 +08:00
youpaishidifu e2a1fe2a68 修复OCR 3项：微信裁切左移到34% + 颜色像素检测(蓝=QQ绿=微信=仅bot跳过) + bot回复残留因颜色检测一并隔离 2026-07-28 23:11:19 +08:00
youpaishidifu a093528888 修复2个问题：微信OCR hash碰撞(aHash→dHash+5秒强制刷新) + KB搜索动词+对象精准匹配防误召回 2026-07-28 22:28:29 +08:00
youpaishidifu 1ccaa926fd 4项修复：CJK比例乱码过滤/跨平台冷却30s/SequenceMatcher加强(原始文本匹配+CJK阈值6)/split阶段回复残片预检；加_reply_fragment复用方法；回复前缀后缀变体追踪 2026-07-28 21:48:55 +08:00
youpaishidifu 768b3da214 修复3个bug：加import sys修复子进程崩溃；加消息漫游到UI子串黑名单；加结构化数据面板过滤拦截QQ指令面板（3+中文冒号键值对）；同步到Poll过滤层级 2026-07-28 21:19:47 +08:00
youpaishidifu 7102821127 EasyOCR GPU crash隔离：子进程隔离GPU推理，崩溃只杀子进程不冻电脑；新增easyocr_worker.py常驻worker；主进程降级到Windows OCR 2026-07-28 19:24:33 +08:00
youpaishidifu 94cf619f3d OCR截屏JSON/YAML配置块剥离：新增_strip_json_yaml_blocks方法在切行前剥离JSON对象块/key-value行/YAML列表；OCR行过滤和Poll过滤加JSON/YAML语法兜底；修复微信右侧配置面板与用户消息搅合导致消息丢失 2026-07-28 18:58:54 +08:00
youpaishidifu f3cdb142b8 OCR行过滤加*开头和*配对残片丢弃，修复*如有错误、*x但不衢...x*漏网 2026-07-28 18:42:10 +08:00
youpaishidifu 06ead20a6d 增强md语法过滤：全面拦截**加粗/###数字标题/编号列表/引用块/分隔线/表格行；提取函数过滤**残片；OCR行过滤兜底md语法；轻量化前台操作避免截图卡顿 2026-07-28 18:23:46 +08:00
youpaishidifu d3d35ceb55 修复OCR自我回环：无中文乱码过滤、微信唤前台截图、SequenceMatcher阈值10 
1. 无中文乱码过滤：非中文且长度>10且非/开头的行一律丢弃。
   解决URL-only因OCR吃掉https://前缀漏网（如hpsllimgypshidifu...）

2. 微信OCR加唤前台：在截图前调用_ensure_foreground，
   避免终端窗口遮挡导致OCR读到自身日志文字。

3. SequenceMatcher阈值12→10：
   与已回复文本公共子串11字，旧阈值12差一字漏网。10字安全覆盖。
   OCR/Poll双重部署。正常用户消息公共子串≤1字，无影响。
 2026-07-28 17:57:33 +08:00
youpaishidifu 30d2b497a8 Fix OCR self-feed loop: bold md detect, repeat-char garbage, SequenceMatcher reply fragment catch 
- _is_markdown_document: add bold **text** detection before len<10 gate
- Garbage filter: 5+ consecutive same char detect (LLLLL/11111)
- OCR filter + Poll filter: SequenceMatcher longest common CJK substring >=12 chars
  vs replied_texts. Catches TTTT八X1r以...工单]、**使用**权 fragments
  that exact/substring/fuzzy match miss due to OCR noise prefix.
 2026-07-28 17:42:07 +08:00
youpaishidifu ba139113b1 修复OCR md碎片漏网：短列表项/- 玩家义务/漏过、尾部#草残留 
- _is_markdown_document: 行首列表项(- /*)、checkbox([V])、
  md链接缺括号([text]( )检查移到len<10之前，短碎片不漏
- 时间戳分割else分支: 新增尾部#标题清理(\s+#[\u4e00-\u9fff]...$)
- 提取后重检: extraction出的文本再走_is_markdown_document，
  纯md碎片丢弃
- 过滤循环兜底: line进入texts.append前再扫一次尾部#标题+
 2026-07-28 16:48:56 +08:00
youpaishidifu 42db2ad5b8 新增三层OCR过滤: URL-only/UI子串黑名单/浏览状态去锚 
- URL-only: 无中文+含https? → 拦截OCR面板图片URL碎片（含OCR乱码httpsLlimgypshidifu）
- UI子串黑名单: 启用监控/数据看板/债券总和/应用设置/php管理员 → 含任一即丢弃
- 浏览状态去锚: ^(浏览|...) → (?:浏览|...) 拦截"启用监控浏览243个文档"等混合碎片
- 黑名单补充: 手机（Smart-Dump漏网）
- FutureWarning修复: [[\d] → \[\d
- Poll级安全阀同步新增URL-only+UI子串过滤
 2026-07-28 16:31:38 +08:00
youpaishidifu 4895379d6d 修：微信UI元素过滤 + 发送失败冷却防卡死 
问题1：微信OCR读左侧会话列表按钮（游戏中心/视频号/通讯录等），
触发KB匹配→尝试回复→窗口切换→Ctrl+C都响应很久。

修复1：
- 微信截图左边界从32%移到40%（跳过左侧UI按钮列）
- 新增微信UI元素黑名单正则：游戏中心|视频号|直播|看一看|搜一搜|朋友圈|通讯录|收藏|设置|发现|我|摇一摇|小程序|支付|卡包|表情|公众号|服务

问题2：UI文本触发回复→发送失败→下一轮OCR又读到相同文本→
又触发→又失败→无限循环卡死。

修复2：
- 新增_failed_send_cooldown字典（msg_hash→失败时间）
- 失败后60秒内不重试同一条消息
- 失败文本立即加入seen_messages防止OCR重新触发
- 清理过期冷却条目（TTL 60秒）
 2026-07-28 13:11:43 +08:00
youpaishidifu f5bfcb56eb 修：OCR随机字符垃圾（如544UUJ1W H V=YJ~JL:e）漏过过滤 
问题：EasyOCR对头像/表情/特殊UI区域输出无意义字母数字符号组合，
_is_ocr_console_garbage对无中文文本阈值>20，刚好漏过20字符的乱码。

修复：
1. 无中文阈值从>20降到>15
2. 新增随机字符检测：无中文+特殊字符>15%+字母数字混杂→垃圾
3. _process_ocr_output逐行过滤同步添加该检测
 2026-07-28 12:30:08 +08:00
youpaishidifu ababfc88ad 修：PostMessage键盘导致QQ NT发送乱码字符 2026-07-28 11:30:28 +08:00
youpaishidifu 3a7a05f973 修：OCR全角括号md碎片导致KB死循环 
问题：OCR将英文括号识别为全角（（）形式，[官方下载]（？https...
此类碎片漏过 _is_markdown_document 检测，进入KB匹配触发回复。

修复：
1. _is_markdown_document: 新增 ]（ 和 [text]（ 检测（全角括号md链接）
2. OCR行级过滤: 新增 ]（ 碎片丢弃
3. _extract_user_text_from_md_fragment: 新增全角括号md标记分割
4. KB scoring: 短查询（≤3分词）降权，防碎片得分反超真实消息
 2026-07-27 21:48:44 +08:00
youpaishidifu 8d5e9b7e17 修：OCR md 残留死循环 - checkbox/[V]残片 + 断链检测 
问题：bot md回复被OCR识别后再次进入自动回复管道，形成死循环。
[V] GitHu [V] gitee... 等checkbox碎片和 [text](url 断链碎片
未触发现有 md 检测，导致自言自语。

修复：
1. 行级OCR过滤：含2+个 [V] 标记的行直接丢弃
2. _is_markdown_document 加两条：
   - checkbox 标记 [V]/[v]/[x]/[V ] 等 → md 残留
   - 断链 [text]( → QQ群聊不用此语法
 2026-07-27 21:22:35 +08:00
youpaishidifu 25073c35f1 requirements.txt: 添加 easyocr/torch/torchvision 依赖 2026-07-27 20:52:09 +08:00
youpaishidifu 79b739f59d md表格细胞值提取加固+replied子串包含过滤 CUDA Torch 安装 2>&1 2026-07-27 19:47:39 +08:00
youpaishidifu 17bfe35520 _poll: qq找窗去子线程，纯Win32直接跑在_run_loop线程 2026-07-27 19:27:22 +08:00
youpaishidifu e723ce582e OCR checkbox残片过滤 + EasyOCR GPU自动检测 2026-07-27 19:02:58 +08:00
youpaishidifu dc2e1f4105 EasyOCR:主线程预加载+torch.set_num_threads(1)防段错误 2026-07-27 18:52:31 +08:00
youpaishidifu 906c89f2f9 加faulthandler+OCR阶段心跳日志排查崩溃 2026-07-27 18:28:31 +08:00
youpaishidifu 5ecfa09017 窗口查找改纯PID+OCR垃圾过滤+md短标题修复 2026-07-27 18:18:36 +08:00
youpaishidifu a0e932276a 替换：文本指纹→截图像素签名(8x8感知hash)，屏幕不变整轮跳过+跳过fallback+不计空读 2026-07-27 17:06:56 +08:00
youpaishidifu e90cea7343 修复：OCR环路五个靶点—①##中文(md检测)②位置0##不提取③跨轮指纹去重④引擎标签⑤回复标题去##追踪 2026-07-27 16:30:37 +08:00
youpaishidifu 24146f34d9 重大：新增微信OCR读取 + 提取_process_ocr_output共用方法 + 导航噪声过滤 + 垃圾计数改为dict 2026-07-27 15:55:55 +08:00
youpaishidifu ec06e48926 修复：KB同义词(权力→权利) + 微信"关闭"按钮过滤(NFKC标准化+行尾跳过) 2026-07-27 15:36:14 +08:00
youpaishidifu 12759cabfc 修复：OCR md片段中提取用户消息（_extract_user_text_from_md_fragment） 2026-07-27 14:50:47 +08:00
youpaishidifu 8894124b0a fix(kb): section级搜索+意图排序+分词级匹配修复短查询与跨section排序 
1. knowledge_base.py:
   - 文档按 ## 标题切分为独立 section 后索引，每个 section 独立 TF-IDF
   - 分词级匹配（避免"定义"子串匹配"自定义"的假阳性）
   - 文档级优先排序：先按文档聚合，取最高 section 分决定最佳文档
   - 定义类查询（版号/版本号/定义）：自动降权无定义类 section 的文档
   - 动作类查询（怎么/如何/用法）：按优先级找"参数/指令/使用"→"方法"→"安装" heading
   - 预计算 heading/body 分词集合，避免每次搜索重复 jieba
   - 修复 SYNONYMS 重复 key

2. auto_reply.py:
   - 精简答案提取：section 级搜索后 doc['content'] 即最相关片段
   - 移除冗余的 _extract_relevant_snippet（重复 jieba 分词+section 切分）

3. monitor.py:
   - 增加微信/QQ UI 噪声过滤（通讯录、发现、朋友圈等）
 2026-07-27 14:17:51 +08:00
youpaishidifu 1441278082 fix(kb): 混合评分策略修复短查询匹配失败 
TF-IDF 余弦相似度单独使用对短中文查询过于严格（3-5 个词 vs 数百个词的长文档）。
改为混合评分：0.4×TF-IDF + 0.6×关键词命中率，让短查询只要命中关键词就能返回结果。

同时降低 auto_reply_min_score 从 0.35→0.30，适配混合评分的数值范围。
 2026-07-27 12:30:31 +08:00
youpaishidifu 81419b82fd fix: QQ消息末尾O~/C~/0~状态标记清理更宽松正则 
旧正则 \s*O~O~\s*$ 只匹配 O~O~，漏掉 O~、C~、0~ 等变体。
新正则 \s*(?:[A-Za-z0-9]~)+\s*$ 覆盖所有单/多字符+波浪线组合。

三处同步更新归一化函数:
1. _normalize_ocr_text (全局字符清理)
2. OCR原始行分割前 (split前整行清理)
3. 剪贴板行过滤 (clipboard路径清理)
4. 时间戳分割后逐片段清理 (关键修复:之前只清了分割前行,分割后片段漏了)
 2026-07-27 11:38:59 +08:00
youpaishidifu 135da38760 fix: 清理 QQ 消息末尾 O~O~ 状态标记 + md 检测移到分割后 
1. 剪贴板/OCR 行末尾 '0~O~' 状态标记污染 KB 匹配 → 用正则清理
2. md 文档检测从分割前移到分割后逐片段执行，避免 bot md 片段误杀同条 OCR 行里的用户消息
3. easyocr 导入移到 COM 模块之前，避免 c10.dll 初始化冲突
 2026-07-27 10:33:29 +08:00
youpaishidifu 0d375ab230 chore: gitignore 屏蔽 nul 文件（Shell 重定向产物） 2026-07-26 23:26:11 +08:00
youpaishidifu d6b2f21dcd fix: easyocr 导入 OSError 改为捕获降级 2026-07-26 23:25:04 +08:00
youpaishidifu 948af558ea 新增: 双 OCR 引擎（Windows OCR + EasyOCR 备用）+ 对比选择机制 
Windows OCR 保持主力，EasyOCR 作为备用对比引擎：
1. 条件导入：easyocr/numpy 可选，缺省时优雅降级到纯 Windows OCR
2. 引擎对比：_score_ocr_text 打分（CJK 量、垃圾字符、空格率、时间戳）
   _pick_ocr_text 选高分者，日志记录引擎胜负统计
3. 每轮 OCR 两张多跑一次 EasyOCR（CPU 模式），结果对比后选优
4. _pick_ocr_text 引入后，日志格式变化：
   [ocr] 引擎对比: win=xx.x vs easy=xx.x → 选 XX (胜率XX%, N轮)
 2026-07-26 22:19:04 +08:00
youpaishidifu 20cdeeb15c 修复: OCR 图像预处理 2x 放大+锐化+对比度 + 增强 normalize 纠错 
1. 图像预处理（截图保存后、OCR 前）：
   - 2x LANCZOS 放大：Windows OCR 对高 DPI 输入识别更好
   - 锐化 1.8x + 对比度 1.4x：字符边缘更清晰，减少 CJK 空格/字符混淆
   预期：减少《→<错误、减少 CJK 间空格残留、减少字符分裂（什→亻牛）

2. 增强 _normalize_ocr_text：
   - 《》→ <> 修复：Minecraft 聊天 <player> 被 OCR 误读为中文书名号
   - l→| 管道分隔符修复：|quiz| 误读为 lquizl，使用 (?<=\s)l(...)l(?=\s) 模式
   - ．→ . 全角点→半角数字小数点（0．45 → 0.45）
   这些修复只在非 md 文本上运行（md 被 pre-split check 提前过滤）
 2026-07-26 21:55:55 +08:00
youpaishidifu 5d0cedcab4 修复: OCR cap_top 跳过群名头栏 + 行级群名头栏过滤 
1. cap_top 从 max(40, 4%)→max(80, 6%)：跳过 TIM 聊天面板
   顶部群名+角色标签头栏（~70px），之前只跳过了 Windows 标题栏
2. 行级内容过滤：行首匹配 '名称（角色〕' / 【名称】等 header 模式
   （闭合括号为 〕」】 等非日常聊天用符号）—— cap_top 残余的二次防御
3. 防止 OCR 将群名头栏+消息预览混成一条无时间戳的乱码”新消息
 2026-07-26 20:46:31 +08:00
youpaishidifu 643619453d chore: gitignore 屏蔽 ocr_debug_*.png 并移除跟踪 2026-07-26 20:17:03 +08:00
youpaishidifu 953f1da797 修复: OCR 右裁剪边界 95%→78% 排除群成员侧栏 + 内容过滤二次防御 
1. cap_right 从 win_w*0.95 收窄到 win_w*0.78，排除右栏群成员列表(~80%+ 区域)
   防止群成员列表混入聊天消息 OCR 导致"新消息"乱码触发 bot 回复
2. 加 "群成员"/"索群成员"/"搜索成员" 行级内容过滤，裁剪残余的二次防御
 2026-07-26 20:16:06 +08:00
youpaishidifu fd077e343c 修复: OCR md文档预检 + 日志显示完整文本 
1. 分割前 md 预检：在时间戳分割前用 _is_markdown_document 检查整行，
   避免分割打断 md 链接/标题语法导致碎片漏过_BqDgv_过滤
2. 强化 _is_markdown_document：新增 .md) 文件引用模式
   （如 gin.md) 分割后残缺链接）+ 内联 # # 标题标记
3. 调试日志不再截断：normalize/clean 显示前120字符+长度，
   split parts 显示前60字符，定位问题不靠猜
 2026-07-26 20:04:54 +08:00
youpaishidifu 2ccb677abf OCR截屏前点击消息面板设焦点(TIM默认焦点在会话列表,VK_END只滚滚会话列表)+加详细OCR处理日志(stage normalize/clean/split) 2026-07-26 19:35:54 +08:00
youpaishidifu 54d474a6c5 裁剪退回c9acd7e版: cap_left=0.25, cap_top=0.04, cap_bottom=0.10. 42%+45%只截到bot自身消息右侧, 对方消息被切; md过滤+滚底保留负责拦截md内容和避旧堆 2026-07-26 19:24:44 +08:00
youpaishidifu 59e3657684 加_is_markdown_document过滤: bot回复是md格式(%23标题、[链接](url)、-列表、反引号代码、|表格), 用户聊天框不用md语法, 借此区分bot旧回复vs用户新消息 2026-07-26 19:19:37 +08:00
youpaishidifu 3602ad6ef3 OCR裁剪cap_top 62%->45%放宽避免切消息+PostMessage VK_END兜底滚底(怕keybd_event被TIM忽略) 2026-07-26 19:12:53 +08:00
youpaishidifu 8c71412600 OCR截屏前Ctrl+End滚底+cap_top改为底部38%: 避免历史堆积+bot旧回复混入OCR, 只截最新消息区域 2026-07-26 19:01:24 +08:00
youpaishidifu 4307d5743f TIM裁剪左边界从25%调到42%: 25%截到会话列表的文档预览(混入OCR), 42%从消息面板左边缘开始, 避免文档预览混入, 保留对方消息 2026-07-26 18:54:26 +08:00