首页文本与开发 › 文本去重与行整理

文本去重与行整理

每行一条数据,一键去除重复行和空行、去首尾空格、按字母或数字排序、反转顺序,并显示去掉了多少条。

       

适合哪些场景

整理名单、关键词表、商品编号、邮箱或网址列表时,最常见的需求就是去掉重复行和空行。例如从多个表格里复制出来的客户手机号,往往有重复和前后空格;SEO 关键词从不同工具导出后需要合并去重;日志或爬取的链接列表需要排序后查看。本工具按行处理文本,所有操作在浏览器本地完成,数据不会离开你的电脑。

各选项的处理顺序与规则

处理顺序固定为:先去首尾空格,再去空行,再去重,然后排序,最后反转。这样“ banana ”和“banana”会先被统一再比较,不会漏掉重复。去重保留每个内容第一次出现的位置,后面的重复项被删除;勾选“忽略大小写”后,Apple 与 apple 视为同一条,保留先出现的写法。

排序采用本地化比较并开启“数字感知”,因此 9、10、100 会按数值大小排列而不是按字符串排成 10、100、9;中文按拼音顺序,英文不区分大小写时按字母顺序。降序是升序结果的反转。反转顺序在排序之后执行,用来把列表倒过来,例如把按时间追加的记录改成最新在前。

结果区会显示原始行数、整理后的行数和去掉的重复条数,方便核对。若只想去空行而保留重复,取消勾选“去重复行”即可;若数据中的空格本身有意义(例如缩进),请取消“去首尾空格”。

常见问题

去重后顺序会变吗?

不排序时保持原始顺序,只删除后出现的重复项;选择排序后会按升序或降序重新排列。

Excel 里怎么快速去重?

可以把整列复制到本工具处理后再粘贴回去,也可以用 Excel 的“数据 → 删除重复项”功能,两者结果一致,但本工具还能同时去空格和排序。

能按逗号分隔的内容去重吗?

先用查找替换工具把逗号替换成换行,处理完再替换回来即可。

数据量大会卡吗?

几十万行以内在现代浏览器中通常一两秒内完成;超过百万行建议分批处理。