Javascript

nodejs爬虫简记

本文主要是介绍nodejs爬虫简记，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

鲁棒之类的先不说，刚刚终于把爬虫最基本的登录网站做好了。简单记一下还记得的错误点。

识别图片这一块遇到了问题，原因是nodejs的axios要求指定responseType，而python的requests似乎根据一些信息自动将responseType设置好了（也许是header['Accept']）。要改正的话，只要在下载验证码图片的axios的config中设置responseType: ‘arraybuffer’就好了。'stream'的话感觉不太方便。

然后是js对象的字符串化遇到了问题，应该用JSON.stringify(str)。随便某个对象不能用.toString()，可能是因为该方法没有默认实现。 但是，我在使用JSON.stringify之后还是错的，这是因为content-type应当设置为application/x-www-form-urlencoded，使用JSON则是JSON格式的字符串。 在这种情况（x-www-form-urlencoded）下，使用axios.post，参数data应该用qs.stringify(对象)。 参数config就用{}写个对象放进去就好了。 withCredentials实际上没用到。
这篇关于nodejs爬虫简记的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航