脚本宝典收集整理的这篇文章主要介绍了Node.js 爬虫，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。
今天搜了一个nodejs的爬虫. 尝试着爬了一下jd.COM.
但是一直返回302,最终发现是User-Agent问题, node执行js时没有User-Agent.
VAR http = require('http');
var url = require('url');
var $ = require('jquery');
var options = {
headers: {'User-Agent': 'curl/7.43.0'},
host: 'seArch.jd.com',
path: '/Search?keyword=abc&enc=utf-8',
url: '/Search?keyword=%E9%93%B6%E9%B3%95%E9%B1%BC&enc=utf-8'
}
http.get(options,function(res){
var body = '';
res.on('data', function(d) {
body += d;
});
res.on('end',function(){
console.LOG(body);
});
})以上是脚本宝典为你收集整理的Node.js 爬虫全部内容，希望文章能够帮你解决Node.js 爬虫所遇到的问题。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。