专注批量处理软件
工具说明

批量TXT去重工具教程

一可软件 · 工具说明批量TXT去重工具教程
批量TXT去重工具教程

功能关键词:清理TXT重复行、文本合并与去重、忽略大小写、过滤空行。

工具介绍

批量TXT去重工具用于整理TXT列表、资料、按行组织的文本,既可以对各文件去重后分别保存,也可以根据需要将多个文件合并为一个TXT,并对合并后的全部内容去重。

页面提供过滤空行、忽略大小写、删除首尾空格后比较、遍历目录、原有层级、线程、合并文件名的设置,下方显示原始行数、输出行数、删除率、日志。

工具截图

批量TXT去重工具的实际主界面,源路径和保存目录为空,默认分别保存和4线程,3个去重选项未勾选,状态为就绪
主界面包含路径设置、参数与操作、进度统计、日志;当前已选择分别保存和4线程,尚未加载TXT。

主要功能

  1. 从多个TXT文件或文件夹收集文本,支持拖拽添加和用半角分号分隔来源。
  2. 分别保存时,对每个文件删除重复行,并保留每个比较结果中首次出现的原始文本。
  3. 根据需要过滤空行,选择忽略大小写以及删除首尾空白字符后比较。
  4. 合并保存既可以直接拼接,也可以选择对合并后的所有来源整体去重的选项。
  5. 分别模式下可使用1~16个文件线程,可遍历子目录并保留相对层级。
  6. 合并时可自定义TXT文件名,并显示读取行数和输出行数、删除率、最近200条日志。

使用前准备

准备TXT文件或包含TXT文件的目录,以及已有的保存文件夹。多个源路径用半角分号分隔;通过浏览选择文件支持多选。

需要合并多个文件时,决定是直接拼接,还是对所有来源整体去重;这由“合并后再次去重”决定,默认未勾选。

建议使用专用保存目录,并在分别模式下确认所有来源的输出名称互不相同。同一批次内的同名分配不会预先保留,即使目录最初为空,也可能互相覆盖;不同根目录可以分批处理。

详细操作步骤

1. 点击源文件的浏览,选择多个TXT文件或文件夹

点击“路径设置”第1行“源文件”右侧的“浏览”,会弹出“选择类型”。点击“选择文件”,可在系统对话框中选择多个TXT文件;点击“选择文件夹”时,选择一个源目录;取消则不更改来源并返回。

也可以将来源直接拖入输入框,多个路径以半角分号分隔显示。手动输入也可使用相同的分隔方式,实际任务仅收集.txt文件;重复来源或重叠目录不会去重,请勿多次添加同一文件。

通过浏览选择会替换已有输入内容,页面没有追加到列表的按钮。需要混合来源时,可以拖拽添加多个路径,或手动维护分号分隔的列表;对于路径本身包含分号的情况,没有使用引号转义的机制。

此图仅展示实际的类型选择窗口,未进入文件选择、添加到列表或加载资料。

浏览源文件时首先打开类型窗口,文件项可选择多个TXT文件,文件夹项则选择目录。
图1:浏览源文件时首先打开类型窗口,文件项可选择多个TXT文件,文件夹项则选择目录。

2. 选择保存目录和目录处理范围

点击第2行“保存目录”的“浏览”,选择已有的输出文件夹,或拖拽添加文件夹。实际开始时会验证其是否为有效目录;请勿输入最终TXT文件的路径。

来源包含子目录时,勾选“遍历子目录”。之后可以勾选“保留原路径结构”;关闭遍历后,结构选项会取消勾选。保留结构仅用于分别保存,合并最终会在保存目标的根目录输出一个文件。

结构的基准是最先收集的来源目录:第一项为TXT文件时使用其父目录,为文件夹时使用该文件夹本身。建议使用一个共同的主目录进行遍历;其他根目录位于基准之外时,相对路径中会包含上级层级,结果可能写入预期保存目录之外。

程序不会排除保存目录中以往的TXT文件。保存目录位于来源范围内时,以往的结果也可能被再次收集;为减少重复处理,请将来源与输出分开。

截图中仅为启用结构选项而勾选了遍历,路径仍为空,未创建输出目录或保存设置。

源路径和保存路径分别选择,保留结构需要先启用遍历;当前两者均为空。
图2:源路径和保存路径分别选择,保留结构需要先启用遍历;当前两者均为空。

3. 设置空行、大小写、首尾空白字符的比较规则

“参数与操作”第1行有3个选项,默认均未勾选。分别保存始终会对各文件内部去重;所有选项均未勾选时,删除各行末尾的换行符后进行完全匹配比较,保留首次出现的行。

“忽略空行”会跳过空行以及仅包含空格、制表符等空白字符的行,分别去重、直接合并、合并时去重均使用此选项。未勾选时,空行也参与比较,分别或合并时去重通常仅保留各类空白文本的首次出现。

“忽略大小写”将用于比较的行转换为小写;“删除首尾空格”会去除用于比较的行首尾的空白字符。这些仅改变重复判定,实际输出会原样保留首次出现行的大小写及首尾空白字符,而不是将写入的文本统一转换为小写或去除空格。

只有进行去重的模式才使用大小写及首尾空白字符的比较。不勾选再次去重而保存合并内容时,所有未被忽略空行排除的行均按顺序原样拼接,这两个比较开关不会清理输出。

此处保持未勾选状态,未输入或创建测试文本,也未比较示例文件。

3个选项控制空行过滤和重复判定,大小写及空白字符仅用于比较,并保留首次出现的原始文本。
图3:3个选项控制空行过滤和重复判定,大小写及空白字符仅用于比较,并保留首次出现的原始文本。

4. 选择分别保存或合并保存,确认文件名和线程

保存模式默认为“分别保存”,各来源分别去重并保留文件名;并行线程为1~16,默认为4,控制同时处理的来源数量。不同文件之间不会去重。

选择“合并保存”后,“合并后再次去重”和“输出文件名”启用,并行线程禁用。合并不使用分别模式的线程池,而是按收集顺序逐个读取文件;目录遍历顺序不保证按文件名的字母顺序排列。

重要区别:未勾选“合并后再次去重”时,程序不会先对各文件去重,而是直接拼接;同一文件内以及不同文件之间的重复行全部保留。需要跨所有来源去重时,勾选此选项,共享一个去重集合,并保留首次出现的原始文本。

合并输出文件名默认为“去重后合并ALL.txt”,实际使用时可更改为自己的简单基本文件名;没有.txt扩展名时会自动添加。默认名称中包含“去重”,并不意味着再次去重开关已启用。请避免留空、路径分隔符、父路径。

目标文件已存在时,会尝试_1或_2等带编号的后缀。分别模式会在写入前计算整批的输出目标,但不会保留同一批次内的名称,因此不同目录下的同名文件仍可能被分配到同一路径并互相覆盖;请使用不同名称、结构或分批处理。

此图仅为展示控件联动而选择了合并保存,保留默认文件名,再次去重仍未勾选,未输入参数、执行合并或保存设置。

合并模式下统一去重和文件名启用,线程禁用;图中尚未勾选再次去重。
图4:合并模式下统一去重和文件名启用,线程禁用;图中尚未勾选再次去重。

5. 实际开始后查看统计和日志,了解不同模式下的停止

确认您实际使用的TXT来源、保存目录、比较开关、保存模式后,点击“开始处理”。软件会检查登录信息并在线重新验证使用权限,之后验证目录并启动任务;本文未点击开始,也未发起权限请求。

进度区域显示处理状态和文件进度,下方统计显示原始行数、输出行数、删除行数、比例。因忽略空行而减少的行也计入删除数,直接合并期间统计也使用“去重后”的表述,因此仅凭标签无法了解处理模式。

日志保留最近最多200条,显示各文件的读取、去重、保存或错误。分别模式下失败或正在停止的文件可能不计入总行数;部分文件的失败被内部记录后,界面仍可能显示通用的“处理完成”,因此也需要考虑错误日志。

点击“停止”会设置停止标志。分别模式会逐行检查,已打开的输出文件中可能留下部分内容;直接合并也可能留下部分合并文件。这些文件不会自动回滚,不能作为完整结果。

合并时去重会先写入临时TXT文件,再放置到保存目标;在读取阶段停止会尝试清理临时内容,但进入保存阶段后不会再次检查停止,可能完成放置。关闭窗口或开始下一批之前,请等待当前运行实际结束。

程序的通用结束信号也可能将停止显示为完成,状态表述并不保证全面成功或输出完整。实际任务结束后,前往保存目录查看文件;页面没有预览、复制全文、下载或打开结果的按钮。

当前仍处于0%的就绪状态,等待处理,日志为空。此简易制作模式下,未上传资料、执行去重与合并、生成或验证结果文件。

运行按钮下方显示进度、行数统计、最近200条日志,当前正在等待处理。
图5:运行按钮下方显示进度、行数统计、最近200条日志,当前正在等待处理。

主要参数说明

参数功能建议
忽略空行默认关闭,跳过删除空白字符后变为空的行。在全部3条处理路径中生效,减少量计入统计。
忽略大小写默认关闭,以小写形式比较。保留首次出现的原始文本,而不是转换输出的大小写。
删除首尾空格默认关闭,比较时对首尾空白字符应用strip。写入内容原样保留首行的原始空白字符。
保存模式分别模式对各文件去重,合并则直接拼接或整体去重。未勾选再次去重时,合并不会删除文件内的重复内容。
合并后再次去重仅在合并时启用,默认未勾选。需要跨所有来源进行重复判定时启用。
并行线程分别模式下为1~16,默认为4。合并时禁用,按来源顺序读取。
输出文件名可为合并更改,默认为去重后合并ALL.txt。请使用简单且非空的基本名称;没有.txt时会自动添加。
路径结构 / 同名分别模式+遍历时,可以第一个来源目录为基准保留。已有输出目标会加编号,同一批次内的冲突不会预留;建议分批或使用不同名称。

结果与保存

输出为UTF-8,为每个保留行写入一个换行符,并保留首次出现的原始文本,而不是规范化的比较键。输入编码的自动检测依赖chardet;缺少该库或检测置信度低时回退到UTF-8,解码错误会被忽略,不保证无损恢复非UTF-8内容。页面没有手动指定编码的选项。

分别模式按来源输出,可保留相对层级;合并模式使用自定义名称输出到保存目标的根目录。已有同名文件时会尝试添加编号,但分别模式不会保留同一批次内的名称,因此无法保证并行输出不会互相覆盖。

未勾选再次去重的合并为直接拼接;勾选时,所有来源共享重复判定集合。读取按行进行,但分别及合并时去重需要在内存中保留已出现行的集合,内存随唯一行数增加,因此请勿将说明中的大文件流式读取理解为内存占用恒定。

停止可能留下部分文件,失败时也可能显示通用的完成状态;请查看日志中的错误和保存通知,以及行数统计。统计包含空行过滤,仅汇总已返回的有效结果,不能代替输出内容验证。本文未执行处理,也未验证上述输出。

常见问题与使用建议

1. 分别保存需要额外勾选去重吗?

不需要,分别模式默认按文件去重;3个比较选项全部关闭时,使用行的完全匹配比较。

2. 未勾选“合并后再次去重”时,会先对各文件去重吗?

不会,会直接拼接,文件内及文件间的重复全部保留,忽略空行仍然有效。

3. 删除首尾空格会更改写入的文本吗?

不会,仅影响比较,输出保留首次出现行的原始空白字符。

4. 忽略大小写会使文档变为小写吗?

不会,小写仅作为重复判定键使用,保留首次出现时包含大小写的原始文本。

5. 为什么合并时不能选择线程数?

合并按来源顺序逐个读取文件,线程参数仅用于分别模式。

6. 默认文件名中包含去重,是否意味着一定会执行去重?

不是,文件名只是名称,合并是否执行去重由再次去重复选框决定。

7. 已有文件和同一批次内的同名文件会自动受到保护吗?

已有输出目标时会尝试编号,但同一批次内的名称不会预留,并行处理仍可能互相覆盖,因此请避免冲突或分批处理。

8. 保留结构适合多个不同根目录吗?

基准是第一个来源目录,基准之外的路径可能生成指向父级的相对路径,因此建议使用共同父目录或分批处理。

9. 为什么统计的删除数包含空行?

统计是原始行数减去输出行数,并非仅计算重复行,忽略空行同样会减少输出。

10. 停止或完成状态能证明输出完整吗?

不能,分别模式和直接合并可能留下部分内容,合并时去重也存在保存阶段的差异;请结合日志判断,不要将通用的完成视为完整验证。

继续阅读

查看全部