小伙伴们大家好，本篇文章扣丁学堂Python培训小编给读者们分享一下Python批量获取htML内body内容的实例，文中有详细的代码列出供小伙伴们参考，感兴趣的小伙伴就随小编来了解一下吧。

现在有一批完整的关于介绍城市美食、景点等的html页面，需要将里面body的内容提取出来。

方法：利用python插件beautifulSoup获取htmlbody标签的内容，并批量处理。

-- coding:utf8 --

From bs4 import BeautifulSoup

import os

import os.path

import Sys

reload(sys)

sys.setdefaultencoding('utf8')

def PRintPath(level,path):

global allFileNum

所有文件夹，第一个字段是此目录的级别

dirList = []

所有文件

fileList = []

返回一个列表，其中包含在目录条目的名称

files = os.listdir(path)

先添加目录级别

dirList.apPEnd(str(level))

for f in files:

if(os.path.isdir(path+'/'+f)):

排除隐藏文件夹，因为隐藏文件夹过多

if(f[0] == '.'):

pass

else:

添加隐藏文件夹

dirList.append(f)

if(os.path.isfile(path+'/'+f)):

添加文件

fileList.append(f)

return (dirList,fileList)

将文件html文件抓取并写入指定txt文件

def getAndInsert(rootdir,savepath,path):

global file_num

f_list = os.listdir(rootdir+'/'+path)

for i in f_list:

temp = os.path.splIText(i)[0]

for num in range(1,11):

if(i==str(num)+'.html'):

print rootdir+'/'+path+'/'+i

objFile = open(rootdir+'/'+path+'/'+i)

soup = BeautifulSoup(objFile)

arr = []

for child in soup.body:

arr.append(child)

if os.path.exists(savepath+'/'+path):

pass

else:

os.makedirs(savepath+'/'+path)

f = open(savepath+'/'+path+'/'+temp+'.txt','w')

for k,v in enumerate(arr):

if k!=1:

f.write(str(v))

f.close()

print path+'/'+i+' is running'

file_num = file_num + 1

rootdir = '../zips2'

dirList,fileList = printPath(1,rootdir)

savepath = "../testC"

file_num = 0

for fn in dirList:

if(fn == '1'):

pass

else:

getAndInsert(rootdir,savepath,fn)

print fn+' is ending'

print '一共完成'+str(file_num)+'个城市的提取'

最后想要了解更多关于Python和人工智能方面内容的小伙伴，请关注扣丁学堂Python培训官网、微信等平台，扣丁学堂IT职业在线学习教育平台为您提供权威的Python开发环境搭建视频，Python培训后的前景无限，行业薪资和未来的发展会越来越好的，扣丁学堂老师精心推出的Python视频教程定能让你快速掌握Python从入门到精通开发实战技能。