修复微信端知识库答非所问 + QQ OCR 漏消息(双 bug 修复)

knowledge_base.py(问题2:微信端答非所问):
- 文档级标题语义匹配改为 token 级(原仅字面子串匹配),OCR 丢失"php"只剩"管理员端默认"也能正确命中 phpadmin
- 新增"管理员+默认"组合强偏好:无"领地"时 phpadmin ×3.0、protect ×0.4,避免退化查询误选 protect/全局配置
- section 级重排新增 bonus +30:查询含"管理员+默认"时,偏好正文真正含"密码/登录/ypshidifu"的 section,压过"## 目录"目录项

monitor.py(问题1 + 问题2 上游):
- 新增 _split_and_denoise_segments:按消息边界预分割 + 分段噪声隔离,修复 Windows OCR 大杂烩把用户消息当噪声整段丢弃(QQ 漏消息)
- 候选行剥离 bot 自身旧回复文本:OCR 把用户新提问与屏上 bot 旧回复拼成一行时,先剥离旧回复再走过滤,消除答非所问的上游拼接根因

测试:新增 debug_kb.py 复现退化查询、test_kb.py 回归;跨主题回归全部正确,py_compile 通过
This commit is contained in:
youpaishidifu
2026-08-03 20:52:08 +08:00
parent 8ed93382e0
commit d87e482e1e
4 changed files with 235 additions and 21 deletions
+31 -20
View File
@@ -466,30 +466,35 @@ class KnowledgeBase:
# 弱匹配(score < min_score*2)不计入 doc_count,防低分堆叠
# ⭐ 文档标题语义匹配奖励:查询词与文档标题语义相关 → 巨幅奖励
# 如"php管理员"应优先返回phpadmin文档,"领地"应优先返回protect文档
title_query_map = {
'phpadmin': ['php管理员', 'phpadmin', 'php端管理员'],
'protect': ['领地', 'protect', '保护'],
'login': ['登录', 'login', '账号'],
'beibao': ['背包', 'beibao', '仓库'],
# 改为 token 级匹配(而非字面子串),OCR 丢失"php"只剩"管理员端默认"也能命中 phpadmin
DOC_TOPIC_TOKENS = {
'phpadmin': {'php', 'php管理员', '后端'},
'protect': {'领地', 'protect', '保护'},
'login': {'登录', 'login', '账号', 'sdf1'},
'beibao': {'背包', 'beibao', '仓库', '云背包'},
}
query_lc = query_stripped.lower()
# 查询 token 统一小写,与 DOC_TOPIC_TOKENS 对齐(OCR 常把 PHP→php/Php)
query_token_set2 = set(t.lower() for t in jieba.cut(query_stripped) if len(t) >= 2)
q_has_admin = '管理员' in query_token_set2
q_has_default = '默认' in query_token_set2
for doc_title in doc_best:
# 精确匹配(文档标题在查询中)
if doc_title.lower() in query_stripped.lower():
if doc_title.lower() in query_lc:
doc_best[doc_title] *= 5.0
else:
# 语义匹配:查询词包含文档标题的同义词
title_keywords = title_query_map.get(doc_title, [doc_title])
# 精确短语匹配(如"php管理员"在查询中)
exact_phrase_match = any(kw in query_stripped.lower() for kw in title_keywords)
if exact_phrase_match:
# 精确短语匹配 → 高权重
doc_best[doc_title] *= 4.0
else:
# 部分匹配(如查询包含"php"但不包含"php管理员")
# 这种情况下,更具体的文档(如phpadmin)应该比泛泛的文档(如php)权重更高
partial_match = any(kw.split('_')[0] in query_stripped.lower() for kw in [doc_title] if '_' in kw)
if partial_match:
doc_best[doc_title] *= 1.5
continue
# token 级语义匹配:文档主题 token 命中查询 → 加权(命中越多权重越高)
topic_tokens = DOC_TOPIC_TOKENS.get(doc_title, set())
hits = topic_tokens & query_token_set2
if hits:
doc_best[doc_title] *= (2.5 + 1.0 * len(hits))
# ⭐ 管理员 + 默认 组合 → 强偏好 phpadmin 文档
# 此时 protect/全局配置 虽含"管理员+默认",但主题是领地;查询无"领地"时应让位
if q_has_admin and q_has_default:
if 'phpadmin' in doc_best and '领地' not in query_token_set2:
doc_best['phpadmin'] *= 3.0
if 'protect' in doc_best and '领地' not in query_token_set2:
doc_best['protect'] *= 0.4
sorted_docs = sorted(
doc_best.items(),
key=lambda x: (x[1], doc_count.get(x[0], 0)),
@@ -597,6 +602,12 @@ class KnowledgeBase:
body_noun_hits = sum(1 for n in core_nouns if n in body and n in query_stripped)
if body_noun_hits >= 1:
bonus += 15.0 # body 包含核心名词 → 优先返回
# ⭐ 管理员+默认 组合(OCR 常丢"php/密码")→ 偏好真正含"密码/登录"的 section
# 防止"## 目录 - 管理员端(当前)"这种目录项压过"## php管理员后端"(默认登录密码)
# 权重给足,必须压过目录项因 heading/phrase 命中的基础分差
if '管理员' in query_tokens and '默认' in query_tokens:
if any(k in body for k in ('密码', '登录', 'ypshidifu')):
bonus += 30.0
# 文档头部惩罚:heading 是单层 # + 文档名(如 "# php管理员后端"),且无 body
# ⭐ 例外:body 包含查询核心词时不惩罚(可能是精确答案)
body_has_query = any(t in body for t in query_tokens if len(t) >= 2)