网络http代理可以在很多地方使用,很多时候ip会出问题,我们可以重新选择亿牛云http代理。
亿牛云http代理是自主研发的的代理ip,它在网络上的应用是最多的,市场上也有许多提供代理ip服务的网站。
在使用HTTP代理IP爬虫时,有很多因素会导致IP被封,如cookie、UserAgent等不会被清除,在到达目标网站设置的阈值时,IP就会被封。
由于普通用户的访问频率较低,如果目标站点的访问频率过快,则反爬虫策略会识别出该站点的IP地址。
买亿牛云的的API优质代理ip,将提供API链接界面,用户使用这些API链接来获取HTTP地阿里IP。由于提取间隔。有些用户需要无间隔地调用API提取代理ip,但服务提供商用户数量众多,如果没有间隔时间,服务器就会过度紧张,甚至自己建立ip池供用户使用都不成问题。
数据爬虫必须使用隧道转发的爬虫代理加强版,但使用量大的话需要大量的测试。高品质ip效率高,ip资源也很丰富,专注于完全隐藏自己的真实ip。
import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class Demo { public static void main(String[] args) { try{ // 代理服务器(产品官网 www.16yun.cn) final static String ProxyHost = "t.16yun.cn"; final static String ProxyPort = "31111"; System.setProperty("http.proxyHost", ProxyHost); System.setProperty("https.proxyHost", ProxyHost); System.setProperty("http.proxyPort", ProxyPort); System.setProperty("https.proxyPort", ProxyPort); // 代理验证信息 final static String ProxyUser = "username"; final static String ProxyPass = "password"; System.setProperty("http.proxyUser", ProxyUser); System.setProperty("http.proxyPassword", ProxyPass); System.setProperty("https.proxyUser", ProxyUser); System.setProperty("https.proxyPassword", ProxyPass); // 设置IP切换头 final static String ProxyHeadKey = "Proxy-Tunnel"; // 设置Proxy-Tunnel Random random = new Random(); int tunnel = random.nextInt(10000); String ProxyHeadVal = String.valueOf(tunnel); // 处理异常、其他参数 Document doc = Jsoup.connect(url).timeout(3000).header(ProxyHeadKey, ProxyHeadVal).get(); if(doc != null) { System.out.println(doc.body().html()); } }catch (IOException e) { e.printStackTrace(); } } }