SOP for identifying near-dupli…

# 客户公司名称去重合并方案

一、整体流程（四步走）

1. 数据汇总：将三张表合并为总表，统一列结构，保留来源标记（表A/表B/表C），便于追溯。

2. 标准化预处理：这是决定效果的关键步骤。

3. 相似度匹配：识别重复与近似重复。

4. 人工复核 + 输出清单。

二、标准化预处理规则

统一去除以下干扰因素后再比较：

• 空格、全角/半角字符差异
• 公司后缀词：有限公司、股份有限公司、集团、控股、科技、网络等
• 括号及内容：如“（中国）”“（上海）”
• 括号形式差异：中英文括号统一
• 常见前缀：如地域前缀可保留但降权处理

示例：“阿里巴巴（中国）有限公司” → 标准化为“阿里巴巴”

三、识别方法（按精度递进）

第一层：完全重复

• 标准化后文本一致 → 直接判为重复
• 可用 Excel 的 COUNTIF 或条件格式实现

第二层：包含关系（近似重复）

• 一方名称包含另一方（去除后缀后），如“阿里巴巴”⊂“阿里巴巴集团”
• Excel 方法：=ISNUMBER(SEARCH("关键词", 名称列))

第三层：模糊匹配

• 编辑距离/相似度算法（如 Levenshtein、Jaro-Winkler），相似度阈值建议设 85%–95% 区间测试
• 工具推荐：
• Python：fuzzywuzzy 或 rapidfuzz 的 token_sort_ratio
• Excel 插件：Fuzzy Lookup（微软官方免费插件）
• OpenRefine 的聚类功能

辅助验证

• 如表中有统一社会信用代码或域名/官网字段，优先以此判断，比名称匹配更可靠
• 简称与全称对照可通过工商信息核对

四、输出合并建议清单结构

| 字段 | 说明 |

|---|---|

| 主记录名称 | 建议保留的规范名称（一般选全称/官方名） |

| 待合并记录 | 重复/近似名称 + 所在表来源 |

| 判定依据 | 完全一致 / 包含关系 / 相似度XX% |

| 保留字段建议 | 合并联系方式、地址等非空信息 |

| 置信度 | 高/中/低 |

五、实操建议

• 高置信度自动合并，中低置信度列清单人工确认
• 500多条数据量不大，人工复核成本低，建议全量过一遍模糊匹配结果
• 保留原始表备份，合并操作在副本上进行，避免不可逆修改

一句话总结：先标准化，再“精确匹配+模糊匹配”两轮识别，最后按置信度分级输出合并清单。