使用cheerio爬取gank-io妹子图

2018年11月13日

cheerio是nodejs的抓取页面模块，只需输入html，然后就可以像Jquery一样获取dom结构信息：

const cheerio = require('cheerio')
const $ = cheerio.load('<h2 class="title">Hello world</h2>')
 
$('h2.title').text('Hello there!')
$('h2').addClass('welcome')
 
$.html()
//=> <html><head></head><body><h2 class="title welcome">Hello there!</h2></body></html>

`命令终端（空目录下）`

npm init（一直回车初始化项目）
npm install cheerio --save（安装依赖）
node index.js（启动爬取脚本）

`index.js`

// 加载http模块
var https = require('https');
var http = require('http');
var fs = require('fs');
// Cheerio 是一个Node.js的库， 它可以从html的片断中构建DOM结构，然后提供像jquery一样的css选择器查询
var cheerio = require('cheerio');
//忽略https证书
process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';
//获取网页信息
function getGank(fileName) {
    //定义请求地址，请求协议，请求头
    const options = {
        hostname: 'gank.io',
        port: 443,
        path: '/',
        method: 'GET',
        headers: {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
        },
    };
    https.get(options, function (res) {
        var html = '';
        // 获取页面数据
        res.on('data', function (data) {
            html += data;
        });
        // 数据获取结束
        res.on('end', function () {
            var $ = cheerio.load(html);
            //此处的选择器需要根据网站的更新不断的改变
            var imgSrc = $("div.container.content div.outlink img").attr("src");
            var href = $("div.container.content div.row div.six.columns").eq(1).find("a").attr("href");
            var nextUrl = root + href;
            var nextFileName = href.replace(/\//g, "-").replace("-", "");
            saveImg(imgSrc, fileName, nextUrl, nextFileName);
        });
    }).on('error', function () {
        console.log('获取数据出错！');
    });
}
//保存图片,需要在index.js所在目录下新建image文件夹
function saveImg(url, fileName, nextUrl, nextFileName) {
    var protocol;
    if (url.indexOf("https") != -1) {
        protocol = https;
    } else {
        protocol = http;
    }
    protocol.get(url, function (res) {
        var imgData = "";
        res.setEncoding("binary");
        res.on("data", function (chunk) {
            imgData += chunk;
        });
        res.on("end", function () {
            fs.writeFile("./image/" + fileName + ".jpg", imgData, "binary", function (err) {
                if (err) {
                    console.log("down fail:" + err);
                }
                console.log("down success:" + fileName);
                getGank(nextUrl, nextFileName);
            });
        });
    });
}
getGank('new');

以上通过分析网页的方式爬取图片，由于部分文章的dom结构比较特殊，无法获取图片，幸运的是该网站也提供API直接获取图片，所以也可以用以下方式获取，无需安装依赖

`index.js (API方式获取)`

var https = require('https');
var http = require('http');
var fs = require('fs');
// 定义网络爬虫的目标地址
//忽略https证书
process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';
var data;
//获取所有图片信息
function getGank() {
    const options = {
        hostname: 'gank.io',
        port: 443,
        path: '/api/data/%E7%A6%8F%E5%88%A9/1000/1',
        method: 'GET',
        headers: {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
        },
    };
    https.get(options, function (res) {
        var html = '';
        // 获取页面数据
        res.on('data', function (data) {
            html += data;
        });
        // 数据获取结束
        res.on('end', function () {
            data = JSON.parse(html).results;
            console.log("图片总数：" + data.length);
            saveImg(0);
        });
    }).on('error', function () {
        console.log('获取数据出错！');
    });
}
//保存图片
function saveImg(index) {
    if (index == data.length) {
        return;
    }
    var url = data[index].url, fileName = data[index].createdAt.replace(/:/g, "-");
    fs.exists("./image/" + fileName + ".jpg", function (exists) {
        if (!exists) {
            var protocol = url.indexOf("https") != -1 ? https : http;
            protocol.get(url, function (res) {
                var imgData = "";
                res.setEncoding("binary");
                res.on("data", function (chunk) {
                    imgData += chunk;
                });
                res.on("end", function () {
                    fs.writeFile("./image/" + fileName + ".jpg", imgData, "binary", function (err) {
                        if (err) {
                            console.log("down fail:" + err);
                        }
                        console.log("down success:" + fileName);
                        saveImg(++index);
                    });
                });
            });
        }else{
            saveImg(++index);
        }
    });
}

fs.exists("./image", function (exists) {
    console.log("当前目录是否存在image文件夹：" + exists);
    exists ? getGank() : fs.mkdir("./image", function (err) {
        if (err) {
            return console.error(err);
        }
        console.log("目录创建成功。");
        getGank();
    });
});