有害文本过滤不能只靠屏蔽几个关键词。表单输入可能包含变体字符、不可见符号、编码实体或拆分写法，使含义相近的句子绕过简单规则。更稳妥的流程是依次完成输入校验、字符规范化、规则识别、语境判断和分级处置，并保留复核所需的上下文，减少漏判与误伤。

先区分文本审核与输入安全

文本审核关注发言是否涉及骚扰、欺诈、暴力威胁、危险行为引导或其他不适宜公开传播的表达；输入安全则关注数据进入系统后是否会破坏 HTML 结构、查询语句或业务逻辑。两者有关联，却不能互相替代。只对有害句子做转义，未必能阻止它被公开展示；

因此，系统应分别记录审核结论和技术处理结果。审核决定投稿能否发布、是否需要遮蔽或转交人工；安全处理则按具体输出位置进行编码和校验。不要把所有特殊字符一概删除，也不要把单个敏感词直接视为最终结论。

输入阶段：校验并统一文本表示

过滤前先按表单字段的用途检查输入。例如，昵称字段可拒绝控制字符和超长字符串；留言字段可保留正常标点，但限制异常重复字符；只接受数字的字段应使用数字格式校验，而不是只靠关键词规则。长度限制应按字段要求设置，并明确使用字符数还是字节数，避免不同组件各自采用不同标准。

随后把可比较的字符形式统一处理。按业务需要识别全角与半角、大小写差异、组合字符和常见同形字符；同时检查零宽字符、异常控制符、重复分隔符及编码标记。它们能帮助找出规避写法，但不一定代表恶意，应作为复核线索而非自动处罚依据。

特殊编码字符识别示例

解码方式必须符合字段和传输格式。不要对任意输入反复解码，也不要把 URL 编码、HTML 字符引用和普通文字混为一谈。下表列出常见识别线索及处理边界：

规范化时应保留受控的原始输入副本，供审计和复核使用；审核规则则对规范化文本运行，并记录转换类型。向用户展示时，仍须按 HTML、脚本、数据库查询等具体上下文分别进行安全编码或参数化处理。“已审核”不等于可以省略输出转义。

识别阶段：多层规则共同判断

• 词语与短语规则：识别明确的辱骂、威胁、诈骗诱导和危险行为指令，并把词组、上下文及常见变体纳入匹配。规则适合拦截特征清楚的表达，不适合单独承担全部审核。
• 结构特征检测：关注异常字符密度、连续拆分、混合文字体系、不可见字符和可疑编码标记。这些特征是复核信号，不应直接等同于有害发言，以免误伤外语、代码或特殊姓名。
• 语义与上下文判断：结合前后句、发言对象和表达目的，区分威胁与新闻引用、恶意指引与求助描述、侮辱与对相关词语的解释。分类模型可提供风险类别和置信程度，最终处置仍应受业务规则约束。
• 重复与变体关联：将短时间内反复出现、仅有少量字符变化的投稿作为关联信号，结合账号行为和提交频率评估风险。关联结果可提高审核优先级，不宜仅凭相似度自动处罚。

按风险决定处理方式

过滤结果不只有“通过”和“删除”两种。低风险发言可以进入后续流程；存在轻度冒犯或可疑表达时，可限制公开展示并提示修改；明确的威胁、诈骗诱导或危险行为指导，应阻止发布并转交复核。求助、举报、新闻转述或学术讨论应尽量保留必要语境，避免关键词命中后整段误删。

降低误判并持续改进

系统应记录命中规则、规范化标记、模型类别、最终处置和复核结果，避免只留下一个“违规”标签。定期抽查误拦与漏拦案例，把新出现的字符变体加入测试样本，而不是不断堆叠缺少边界的黑名单。对同一条投稿，可比较原始文本与规范化文本的差异，帮助审核人员判断触发原因。

还应说明拒绝原因，并给用户提供可操作的修改方向，例如删除针对个人的威胁、移除欺诈性号召，或在引用敏感表达时补充语境。申诉与人工复核结果可以用于改进规则；更新前先在历史样本上评估，防止一项调整扩大误伤。

归纳来说，可靠的有害文本过滤方法是“校验输入、规范化字符、分层识别、结合语境、按风险处置、复核后迭代”。特殊编码字符检测能补足简单关键词过滤的缺口，却不能代替语义判断；只有把审核策略与输出安全处理分开设计，才能同时减少绕过、误判和不必要的文本损失。