脚本宝典收集整理的这篇文章主要介绍了

Java程序通过代理访问网络

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

问题背景

最近工作上有开发爬虫的任务,对目标网站数据进行抓取,由于大部分网站都在国外,无法直接访问,需要通过代理才能登录。爬虫部署的服务器在香港,所以爬虫部署到服务器后,是可以访问目标网站的,但本地开发调试程序时,需要通过代理才能访问。
这篇文章就带大家了解一下如何在Java程序中使用代理访问网络。

解决方案

  • 你需要一个代理服务器,和一个可以连接到此服务器的客户端。
    花点银子买一个稳定的账号,或者自己搭建一个。

这里我使用自己搭建的 Shadowsocks 代理服务器,使用 Shadowsocks-Windows 作为本地代理的客户端,并开启默认的 1080 端口,以供本地其他程序通过代理访问网络。

编辑服务器信息

  • 指定 Java 程序的代理服务器地址和端口
    有两种指定方式:

  1. 通过命令行参数指定
    如果只需要考虑代理 HTTP 协议请求,只需添加 -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080。想要HTTP和HTTPS协议的请求都通过代理访问网络,可以追加上 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080。最终填写的值为:

    -Dhttp.proxyHost=127.0.0.1 -Dhttp.proxyPort=1080 -Dhttps.proxyHost=127.0.0.1 -Dhttps.proxyPort=1080
  2. 在程序中使用System.setProperty(String, String)
    同样很简单,这里直接上代码:

    String proxyHost = "127.0.0.1"; String proxyPort = "1080";        System.setProperty("http.proxyHost", proxyHost); System.setProperty("http.proxyPort", proxyPort);        // 对https也开启代理 System.setProperty("https.proxyHost", proxyHost); System.setProperty("https.proxyPort", proxyPort);

推荐使用第一种方案,通过VM Option 的方式,对代码没有任何侵入,绿色环保。

测试

这里我在Eclipse中使用第一种方法进行测试。

  • 测试代码

    import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.net.URLConnection;  public class Test {      public static void main(String[] args) throws IOException {         URL url = new URL("https://google.com");         URLConnection connection = url.openConnection();         connection.connect();         InputStream inputStream = connection.getInputStream();         byte[] bytes = new byte[1024];         while (inputStream.read(bytes) >= 0) {             System.out.println(new String(bytes));         }     } }
  • 测试结果,可以正常访问Google等网站。
    Java通过代理访问google.com结果

总结

除了上述 http.proxyHosthttp.proxyPort,以及 https.proxyHosthttps.proxyPort 在代理时比较有用外,还有一个属性也比较有用,那就是 http.nonProxyHosts,它用来指定哪些主机不使用代理,如果有多个,用英文竖线(|)分隔,可以使用星号 (*)作为通配符。
下表是常用协议对应的代理属性:

协议 属性(代理主机/代理端口/不使用代理的主机列表) 默认值
HTTP http.proxyHost <none>
http.proxyPort 80
http.nonProxyHosts <none>
HTTPS https.proxyHost <none>
https.proxyPort 443
https.nonProxyHosts <none>
FTP ftp.proxyHost <none>
ftp.proxyPort 80
ftp.nonProxyHosts <none>
SOCKS socksProxyHost <none>
socksProxyPort 1080

详细介绍请参考官方说明:Java Networking and Proxies

原文链接http://xueliang.org/article/detail/20170116145848852

总结

以上是脚本宝典为你收集整理的

Java程序通过代理访问网络

全部内容,希望文章能够帮你解决

Java程序通过代理访问网络

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过