最近在摸索爬虫相关的东西，写点随笔，以便忘记。

目的与用途

现实的项目中，我们需要太多的第三方接口了。而往往这些第三方接口由于条件限制，一时拿不到。

譬如：

1. 淘宝网今天有什么特价商品。

2. 百度今天的热搜榜是什么。

3. 某用户的水电、话费、煤气有没有欠费，欠了多少。

等等问题，怎么办呢？

解决不了就请程序员出马，因为程序员是万能的，程序员是无敌的。

原理

既然我们没有能力（财力）与阿里巴巴、百度等第三方做对接，那么我们可以通过模拟访问他们对于的页面，并抓取对应的数据，来收集相关的信息。

这里，模拟是关键，也有很多细节要处理。后面我会一一讲解。

工具

工欲善其事，兵线利器。 想要模拟访问他人的网页，爬取对应的数据， 那么我们首先要了解对应的网页做了什么动作，如何了解，这里我介绍我用过的三种工具。

1. IE的开发人员工具

IE的开发人员工具，在打开IE的时候，按“F12”能直接呼出，并选择“网络” >  "开始捕捉"

对于抓包功能，需要IE的版本达到9或者9以上。 IE8不支持抓包功能。

优点： IE自带，非常方便。

缺点： IE9和IE11的界面风格还有点不一样。 IE11对于数据的拷贝非常不方便。 IE9用着感觉还行。至少数据能拷贝。 但是我有个较复杂的数据爬取，它居然漏了关键的post。

建议： 只支持IE的网站，并且相对较简单的数据爬取，可以直接选择此工具。

2. CHROME的开发人员工具

google的开发人员工具还是不错的。同样的按F12能呼出，或者按 CTRL+Shift+I也能呼出。

同样的选择“网络” 即可捕捉 操作当前页面的数据包。

优点： 浏览器自带

缺点： 暂时没发现。

3. httpwatch

前段时间的一次抓包，一直抓不到，后来想到可能是IE开发人员工具的问题，下了这个试试。 结果挺不错的。比较专业。

优点： 抓包很全面

缺点： 需要自行安装

如果是新手，我建议使用CHOROME的开发工具，或者httpwatch。

相关的类

原则上，只要实现HTTP协议的类，应该都可以， C#与抓包有关的类我用了2个，基本满足需要了。

WebClient 类，

此类使用非常简单， 直接提交页面参数与URL即可获得对应的页面输出内容。 但是如果涉及到客户端与服务端的会话保持（如：需要登录后才能看到的数据）的情况，就无勇武之地了。对于WebClient的用法

HttpWebRequest & HttpWebResponse

这两个类是较底层的类，如果需要与服务器保持会话。就需要靠这兄弟两了。

听说其他语言抓包相对简单， 而C#相对繁琐，也是因为她，谁让他那么底层的呢，而且听说还稍微有BUG，但我没遇到。

HtmlAgilityPack

此类属于第三方类，请自行百度。 当然也不一定需要用。 需要看做出的爬虫需要爬的数据多不多，如果只想获取页面中一两个字段，完全不需要用。

我们知道，使用爬虫爬出来的是一大串字符串，  但其实他就是html标记的字符串， 我们非常希望用js来操作dom元素。 可惜C#中，并没有这样的功能。而这个第三方类，就是实现了将html标记的字符串，直接转换成了类似DOM一样的对象。 这样，我们就能轻松获取查找对应的数据值了。

hello world

由于后面还会说到模拟登录、文件传输等相关信息，这里我用HttpWebRequest 类来说明。

以博客园首页列表的数据为例：

static void Main(string[] args)
        {
            string html= Hello();
            Console.WriteLine(html);
            Console.Read();
        }
         static string  Hello()
        {
            //列表数据，一般通过抓包工具，点击下一页，来发现共同的规则，从而找到对应的URL
            string url = "http://www.cnblogs.com/mvc/AggSite/PostList.aspx";
            //根据抓包工具，获取需要POST的数据， 并分析对应的数值， 明细这里PageIndex：1 是指第二页。其他的暂不做分析
            string postData = "{ \"CategoryType\":\"SiteHome\",\"ParentCategoryId\":0,\"CategoryId\":808,\"PageIndex\":1,\"TotalPostCount\":4000,\"ItemListActionName\":\"PostList\"}";

            //1.构建Request
            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
            req.Method = "POST";// POST OR GET， 如果是GET, 则没有第二步传参，直接第三步，获取服务端返回的数据
            req.AllowAutoRedirect = false;//服务端重定向。一般设置false
            req.ContentType = "application/x-www-form-urlencoded";//数据一般设置这个值，除非是文件上传

            //2.同过流的形式，传输参数。
            byte[] postBytes = Encoding.UTF8.GetBytes(postData);
            req.ContentLength = postBytes.Length;
            Stream postDataStream = req.GetRequestStream();
            postDataStream.Write(postBytes, 0, postBytes.Length);
            postDataStream.Close();

            //3. 获取服务器端的返回数据。
            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
            string html = new StreamReader(resp.GetResponseStream()).ReadToEnd();
            return html;
        }

最简单的模拟抓包，主要3步

1. 构建HttpWebRequest。

2. 构建需要传输的参数

3. 获取HttpWebResponse

参考文献：

http://www.cnblogs.com/hambert/p/6118299.html

http://www.crifan.com/emulate_login_website_using_csharp/

https://q.cnblogs.com/q/67303/