脚本宝典收集整理的这篇文章主要介绍了批处理处理文本文件去重复实现代码，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。
最近需要将重复的内容去掉，所以就想到了使用bat或vbs实现，没想到网上已经有人写好了，测试也正好学习一下
使用方法：把文本拖到批处理上就行了。。。
@echo off :: Code by oicu#lsxk.org 2007/11/29 rem chcp 437>nul :: 看情况使用，utf-8编码的文件不能少了chcp命令，一般无需使用， :: 但无论是否使用都不支持utf-16的文件。 :: pushd "%~dp1" :: 如果不用pushd和popd，文件都要用绝对路径不能只用文件名。 if "%~1"=="" goto :EOF set outputfile=%~dpn1_output%~x1 tyPE nul>"%outputfile%" echo Waiting... for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do ( findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%" ) pause start "" notepad "%outputfile%" :: popd exIT
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重复倒是行。。缺点就是慢和保留原有的空行了。
以下是vbs实现的代码
以下是这个脚本的源代码，复制后另存为vbs后缀的文件，双击即可运行。文件要放在c盘根下的Text.TXT，请特别注意：文本中一行一条记录，不要有空行。
Const adOpenstatic = 3 Const adLockOptimistic = 3 Const adCmdText = &H0001 Set objConnection = CreateObject("ADODB.Connection") Set objRecordset = CreateObject("ADODB.Recordset") strPathToTextFile = "C:\" strFile = "test.txt" objConnection.Open "PRovider=Microsoft.Jet.OLEDB.4.0;" & _ "Data Source=" & strPathtoTextFile & ";" & _ "Extended Properties=""text;HDR=NO;FMT=Delimited""" objRecordSet.Open "Select DISTINCT * From " & strFile, _ objConnection, adOpenStatic, adLockOptimistic, adCmdText Do Until objRecordSet.EOF Set objFSO = CreateObject("Scripting.FileSystemObject") set Fp=objFSO.OpenTextFile("C:\test1.txt",8,True,0) fp.WriteLine objRecordSet.Fields.Item(0).Value fp.close set objFSO = nothing objRecordSet.MoveNext Loop
以上是脚本宝典为你收集整理的批处理处理文本文件去重复实现代码全部内容，希望文章能够帮你解决批处理处理文本文件去重复实现代码所遇到的问题。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。