Java教程

对应爬虫业务选择所需的代理IP

本文主要是介绍对应爬虫业务选择所需的代理IP,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

网络http代理可以在很多地方使用,很多时候ip会出问题,我们可以重新选择亿牛云http代理。
亿牛云http代理是自主研发的的代理ip,它在网络上的应用是最多的,市场上也有许多提供代理ip服务的网站。
在使用HTTP代理IP爬虫时,有很多因素会导致IP被封,如cookie、UserAgent等不会被清除,在到达目标网站设置的阈值时,IP就会被封。
由于普通用户的访问频率较低,如果目标站点的访问频率过快,则反爬虫策略会识别出该站点的IP地址。
买亿牛云的的API优质代理ip,将提供API链接界面,用户使用这些API链接来获取HTTP地阿里IP。由于提取间隔。有些用户需要无间隔地调用API提取代理ip,但服务提供商用户数量众多,如果没有间隔时间,服务器就会过度紧张,甚至自己建立ip池供用户使用都不成问题。
数据爬虫必须使用隧道转发的爬虫代理加强版,但使用量大的话需要大量的测试。高品质ip效率高,ip资源也很丰富,专注于完全隐藏自己的真实ip。

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Demo {

    public static void main(String[] args) {

        try{

            // 代理服务器(产品官网 www.16yun.cn)
            final static String ProxyHost = "t.16yun.cn";
            final static String ProxyPort = "31111";

            System.setProperty("http.proxyHost", ProxyHost);
            System.setProperty("https.proxyHost", ProxyHost);

            System.setProperty("http.proxyPort", ProxyPort);
            System.setProperty("https.proxyPort", ProxyPort);

            // 代理验证信息
            final static String ProxyUser = "username";
            final static String ProxyPass = "password";

            System.setProperty("http.proxyUser", ProxyUser);
            System.setProperty("http.proxyPassword", ProxyPass);

            System.setProperty("https.proxyUser", ProxyUser);
            System.setProperty("https.proxyPassword", ProxyPass);




            // 设置IP切换头
            final static String ProxyHeadKey = "Proxy-Tunnel";

            // 设置Proxy-Tunnel
            Random random = new Random();
            int tunnel = random.nextInt(10000);
            String ProxyHeadVal = String.valueOf(tunnel);



            // 处理异常、其他参数
            Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).get();

            if(doc != null) {
                System.out.println(doc.body().html());
            }

        }catch (IOException e)
        {
            e.printStackTrace();
        }

    }
}
这篇关于对应爬虫业务选择所需的代理IP的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!