文本去重

文本去重适合哪些实际场景

当名单、编号、关键词或逐行记录中混入重复项时，可以先用本工具清理，再粘贴到表格或其他系统。常见情况包括合并多份报名名单、整理商品编号、清理重复邮箱、汇总会议议题，以及删除复制过程中产生的重复行。它按“每一行”比较内容，更适合列表数据，不适合在一整段文章中查找重复句子。

输入和输出是什么

输入应是一行一项的纯文本。例如输入“北京、上海、北京”时，应分别放在三行；处理后输出两行“北京、上海”，并保留它们第一次出现的顺序。结果区同时显示原始行数、去重后行数和删除数量，可直接复制，也可下载为 UTF-8 编码的 TXT 文件。工具不会擅自排序，也不会把相近但不完全相同的内容合并。

怎么选择去重规则

“忽略前后空格”适合处理从 Excel、聊天记录或网页复制的名单，例如“张三”和末尾多一个空格的“张三”会视为同一项。“忽略大小写”主要用于英文编号、邮箱或关键词，开启后 Apple 与 apple 会视为相同内容。“删除空行”用于清理连续换行；关闭后只保留第一次出现的空行。建议先看去重数量是否符合预期，再复制结果。

为什么结果可能与预期不同

最常见的原因是输入并非真正按行分隔，例如用逗号连接的一整行会被当成一个完整项目；此时应先把项目整理为每行一项。全角标点、不可见空格、不同写法和错别字也会导致两项看起来相似却没有被删除。例如“有限公司”和“有限公司。”内容并不相同。工具不会进行模糊匹配，避免误删本来不同的记录。

文本去重和随机排序有什么区别

文本去重只删除后续重复项，并保持首次出现顺序；随机排序会保留全部项目并打乱顺序。如果要随机分队，应使用随机分组。如果名单既有重复项又需要打乱，可以先去重、检查人数，再把结果交给随机排序或随机分组工具。

隐私和使用限制

输入文本、处理结果和下载文件只存在于当前浏览器页面，不会上传服务器，也不会被本站保存。关闭或刷新页面前，请先复制或下载需要的结果。工具不识别姓名、邮箱等内容的真实含义，也不替代人工核对；处理重要名单时，建议保留原始副本，并在去重后抽查首尾和容易混淆的项目。

常见问题