利用nodejs内置模块http解析网址。
let http = require('http'); http.get("http://www.baidu.com", (res1) => { res1.setEncoding('utf-8');//设置编码格式 res1.on('data', (res2) => { console.log(res2) }) })
利用request模块解析网址。其中需要用iconv-lite 模块来对抓取的网站数据的编码格式进行设置。
let request = require('request'); let iconv = require("iconv-lite");//解决编码格式 request.get("https://www.ygdy8.com/html/gndy/oumei/list_7_2.html", { encoding: null }, (error, response, body) => { console.log("error:", error); // const buf = iconv.dncode(body, 'gb2312');//要改变编码的内容,以及原内容的编码格式 // const html = buf.toString('utf8');//要转换的编码格式 // console.log(html); console.log(iconv.decode(body, 'gb2312').toString());//上面代码的简写 })
抓取的部分结果如下: