ruby+nokogori抓取糗事百科前10页并存储进数据库示例

发布时间:2022-04-19 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了ruby+nokogori抓取糗事百科前10页并存储进数据库示例脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

ruby,nokogori,爬取糗事百科最新的10页加图片比并同时保存进文本跟数据库

复制代码 代码如下:

#encoding:utf-8
require "oPEn-uri"
require "nokogiri"
require "MySQL"
@dbh=MySQL.real_connect("localhost","root","dengli","pachong")
@file=open("qb.txt","w")
def getQiubai(url)
  data=open(url){|f| f.read}
  doc=Nokogiri::HTML(data)
  doc.css('div.block.untagged.mb15.bs2').each{|p|
    content=p.css('div.content').text
    @file.puts("#{content}\n")
    img=p.css('div.thumb img').each{|img|
       imgAddr=img.attr('src')
       @file.puts("#{imgAddr}\n")
       time=Time.now
       sql="INSERT INTO qiushibaike (`body`,`img`,`time`) VALUES ('#{content}','#{imgAddr}','#{time}')"
       @dbh.query(sql)
       }
  }
end
for i in 1..10
  @file.puts("这是第#{i}页")
  url="http://www.qiushibaike.COM/8hr/page/#{i}"
  getQiubai(url)
end

脚本宝典总结

以上是脚本宝典为你收集整理的ruby+nokogori抓取糗事百科前10页并存储进数据库示例全部内容,希望文章能够帮你解决ruby+nokogori抓取糗事百科前10页并存储进数据库示例所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签:rubyruby