javahttp代理的简单介绍

如何用JAVA实现一个代理服务器

代理服务器的应用非常广泛。比如，在企业网内部，它可以用来控制员工在工作时浏览的Internet内容，阻止员工访问某些类型的内容或某些指定的网站。代理服务器实际上扮演着浏览器和Web服务器之间的中间人的角色，能够对浏览器请求进行各种各样的处理，能够过滤广告和Cookie，能够预先提取Web页面，使得浏览器访问页面的速度更快，等等。

一、基础知识

不管以哪种方式应用代理服务器，其监控HTTP传输的过程总是如下：

步骤一：内部的浏览器发送请求给代理服务器。请求的第一行包含了目标URL。

步骤二：代理服务器读取该URL，并把请求转发给合适的目标服务器。

步骤三：代理服务器接收来自Internet目标机器的应答，把应答转发给合适的内部浏览器。

例如，假设有一个企业的雇员试图访问网站。如果没有代理服务器，雇员的浏览器打开的Socket通向运行这个网站的Web服务器，从Web服务器返回的数据也直接传递给雇员的浏览器。如果浏览器被配置成使用代理服务器，则请求首先到达代理服务器；随后，代理服务器从请求的第一行提取目标URL，打开一个通向的Socket。当返回应答时，代理服务器把应答转发给雇员的浏览器。

当然，代理服务器并非只适用于企业环境。作为一个开发者，拥有一个自己的代理服务器是一件很不错的事情。例如，我们可以用代理服务器来分析浏览器和Web服务器的交互过程。测试和解决Web应用中存在的问题时，这种功能是很有用的。我们甚至还可以同时使用多个代理服务器（大多数代理服务器允许多个服务器链接在一起使用）。例如，我们可以有一个企业的代理服务器，再加上一个用java编写的代理服务器，用来调试应用程序。但应该注意的是，代理服务器链上的每一个服务器都会对性能产生一定的影响。

二、设计规划

正如其名字所示，代理服务器只不过是一种特殊的服务器。和大多数服务器一样，如果要处理多个请求，代理服务器应该使用线程。下面是一个代理服务器的基本规划：

等待来自客户（Web浏览器）的请求。

启动一个新的线程，以处理客户连接请求。

读取浏览器请求的第一行（该行内容包含了请求的目标URL）。

分析请求的第一行内容，得到目标服务器的名字和端口。

打开一个通向目标服务器（或下一个代理服务器，如合适的话）的Socket。

把请求的第一行发送到输出Socket。

把请求的剩余部分发送到输出Socket。

把目标Web服务器返回的数据发送给发出请求的浏览器。

当然，如果考虑细节的话，情况会更复杂一些。实际上，这里主要有两个问题要考虑：第一，从Socket按行读取数据最适合进一步处理，但这会产生性能瓶颈；第二，两个Socket之间的连接必需高效。有几种方法可以实现这两个目标，但每一种方法都有各自的代价。例如，如果要在数据进入的时候进行过滤，这些数据最好按行读取；然而，大多数时候，当数据到达代理服务器时，立即把它转发出去更适合高效这一要求。另外，数据的发送和接收也可以使用多个独立的线程，但大量地创建和拆除线程也会带来性能问题。因此，对于每一个请求，我们将用一个线程处理数据的接收和发送，同时在数据到达代理服务器时，尽可能快速地把它转发出去。

三、实例

在用java编写这个代理服务器的过程中，注意可重用性是很重要的。因为这样的话，当我们想要在另一个工程中以不同的方式处理浏览器请求时，可以方便地重用该代理服务器。当然，我们必须注意灵活性和效率之间的平衡。

图一显示了本文代理服务器实例（HttpProxy.java）的输出界面，当浏览器访问时，代理服务器向默认日志设备（即标准输出设备屏幕）输出浏览器请求的URL。图二显示了SubHttpProxy的输出。SubHttpProxy是HttpProxy的一个简单扩展。

图一

图二

为了构造代理服务器，我从Thread基类派生出了HttpProxy类（文章正文中出现的代码是该类的一些片断，完整的代码请从本文最后下载）。HttpProxy类包含了一些用来定制代理服务器行为的属性，参见Listing 1和表一。

【Listing 1】

/*************************************

* 一个基础的代理服务器类

*************************************

*/

import java.net.*;

import java.io.*;

public class HttpProxy extends Thread {

static public int CONNECT_RETRIES=5;

static public int CONNECT_PAUSE=5;

static public int TIME-OUT=50;

static public int BUFSIZ=1024;

static public boolean logging = false;

static public OutputStream log=null;

// 传入数据用的Socket

protected Socket socket;

// 上级代理服务器，可选

static private String parent=null;

static private int parentPort=-1;

static public void setParentProxy(String name, int pport) {

parent=name;

parentPort=pport;

}

// 在给定Socket上创建一个代理线程。

public HttpProxy(Socket s) { socket=s; start(); }

public void writeLog(int c, boolean browser) throws IOException {

log.write(c);

}

public void writeLog(byte[] bytes,int offset,

int len, boolean browser) throws IOException {

for (int i=0;ilen;i++) writeLog((int)bytes[offset+i],browser);

}

// 默认情况下，日志信息输出到

// 标准输出设备，

// 派生类可以覆盖它

public String processHostName(String url, String host, int port, Socket sock) {

java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance();

System.out.println(cal.format(new java.util.Date()) + ” – ” +

url + ” ” + sock.getInetAddress()+”BR”);

return host;

}

表一

变量/方法 说明

CONNECT_RETRIES 在放弃之前尝试连接远程主机的次数。

CONNECT_PAUSE 在两次连接尝试之间的暂停时间。

TIME-OUT 等待Socket输入的等待时间。

BUFSIZ Socket输入的缓冲大小。

logging 是否要求代理服务器在日志中记录所有已传输的数据（true表示“是”）。

log 一个OutputStream对象，默认日志例程将向该OutputStream对象输出日志信息。

setParentProxy 用来把一个代理服务器链接到另一个代理服务器（需要指定另一个服务器的名称和端口）。

当代理服务器连接到Web服务器之后，我用一个简单的循环在两个Socket之间传递数据。这里可能出现一个问题，即如果没有可操作的数据，调用read方法可能导致程序阻塞，从而挂起程序。为防止出现这个问题，我用setSoTimeout方法设置了Socket的超时时间（参见Listing 2）。这样，如果某个Socket不可用，另一个仍旧有机会进行处理，我不必创建一个新的线程。

【Listing 2】

// 执行操作的线程

public void run() {

String line;

String host;

int port=80;

Socket outbound=null;

try {

socket.setSoTimeout(TIMEOUT);

InputStream is=socket.getInputStream();

OutputStream os=null;

try {

// 获取请求行的内容

line=””;

host=””;

int state=0;

boolean space;

while (true) {

int c=is.read();

if (c==-1) break;

if (logging) writeLog(c,true);

space=Character.isWhitespace((char)c);

switch (state) {

case 0:

if (space) continue;

state=1;

case 1:

if (space) {

state=2;

continue;

}

line=line+(char)c;

break;

case 2:

if (space) continue; // 跳过多个空白字符

state=3;

case 3:

if (space) {

state=4;

// 只分析主机名称部分

String host0=host;

int n;

n=host.indexOf(“//”);

if (n!=-1) host=host.substring(n+2);

n=host.indexOf(‘/’);

if (n!=-1) host=host.substring(0,n);

// 分析可能存在的端口号

n=host.indexOf(“:”);

if (n!=-1) {

port=Integer.parseInt(host.substring(n+1));

host=host.substring(0,n);

}

host=processHostName(host0,host,port,socket);

if (parent!=null) {

host=parent;

port=parentPort;

}

int retry=CONNECT_RETRIES;

while (retry–!=0) {

try {

outbound=new Socket(host,port);

break;

} catch (Exception e) { }

// 等待

Thread.sleep(CONNECT_PAUSE);

}

if (outbound==null) break;

outbound.setSoTimeout(TIMEOUT);

os=outbound.getOutputStream();

os.write(line.getBytes());

os.write(‘ ‘);

os.write(host0.getBytes());

os.write(‘ ‘);

pipe(is,outbound.getInputStream(),os,socket.getOutputStream());

break;

}

host=host+(char)c;

break;

}

}

}

catch (IOException e) { }

} catch (Exception e) { }

finally {

try { socket.close();} catch (Exception e1) {}

try { outbound.close();} catch (Exception e2) {}

}

}

和所有线程对象一样，HttpProxy类的主要工作在run方法内完成（见Listing 2）。run方法实现了一个简单的状态机，从Web浏览器每次一个读取字符，持续这个过程直至有足够的信息找出目标Web服务器。然后，run打开一个通向该Web服务器的Socket（如果有多个代理服务器被链接在一起，则run方法打开一个通向链里面下一个代理服务器的Socket）。打开Socket之后，run先把部分的请求写入Socket，然后调用pipe方法。pipe方法直接在两个Socket之间以最快的速度执行读写操作。

如果数据规模很大，另外创建一个线程可能具有更高的效率；然而，当数据规模较小时，创建新线程所需要的开销会抵消它带来的好处。

Listing 3显示了一个很简单的main方法，可以用来测试HttpProxy类。大部分的工作由一个静态的startProxy方法完成（见Listing 4）。这个方法用到了一种特殊的技术，允许一个静态成员创建HttpProxy类（或HttpProxy类的子类）的实例。它的基本思想是：把一个Class对象传递给startProxy类；然后，startProxy方法利用映像API（Reflection API）和getDeclaredConstructor方法确定该Class对象的哪一个构造函数接受一个Socket参数；最后，startProxy方法调用newInstance方法创建该Class对象。

【Listing 3】

// 测试用的简单main方法

static public void main(String args[]) {

System.out.println(“在端口808启动代理服务器\n”);

HttpProxy.log=System.out;

HttpProxy.logging=false;

HttpProxy.startProxy(808,HttpProxy.class);

}

}

【Listing 4】

static public void startProxy(int port,Class clobj) {

ServerSocket ssock;

Socket sock;

try {

ssock=new ServerSocket(port);

while (true) {

Class [] sarg = new Class[1];

Object [] arg= new Object[1];

sarg[0]=Socket.class;

try {

java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg);

arg[0]=ssock.accept();

cons.newInstance(arg); // 创建HttpProxy或其派生类的实例

} catch (Exception e) {

Socket esock = (Socket)arg[0];

try { esock.close(); } catch (Exception ec) {}

}

}

} catch (IOException e) {

}

}

利用这种技术，我们可以在不创建startProxy方法定制版本的情况下，扩展HttpProxy类。要得到给定类的Class对象，只需在正常的名字后面加上.class（如果有某个对象的一个实例，则代之以调用getClass方法）。由于我们把Class对象传递给了startProxy方法，所以创建HttpProxy的派生类时，就不必再特意去修改startProxy。（下载代码中包含了一个派生得到的简单代理服务器）。

结束语

利用派生类定制或调整代理服务器的行为有两种途径：修改主机的名字，或者捕获所有通过代理服务器的数据。processHostName方法允许代理服务器分析和修改主机名字。如果启用了日志记录，代理服务器为每一个通过服务器的字符调用writeLog方法。如何处理这些信息完全由我们自己决定——可以把它写入日志文件，可以把它输出到控制台，或进行任何其他满足我们要求的处理。writeLog输出中的一个Boolean标记指示出数据是来自浏览器还是Web主机。

和许多工具一样，代理服务器本身并不存在好或者坏的问题，关键在于如何使用它们。代理服务器可能被用于侵犯隐私，但也可以阻隔偷窥者和保护网络。即使代理服务器和浏览器不在同一台机器上，我也乐意把代理服务器看成是一种扩展浏览器功能的途径。例如，在把数据发送给浏览器之前，可以用代理服务器压缩数据；未来的代理服务器甚至还可能把页面从一种语言翻译成另一种语言……可能性永无止境。

Java 中怎样在程序中设置代理服务器

从JDK1.5开始，Java在java.net包下提供了Proxy和ProxySelector两个类，其中Proxy代表一个代理服务器，可以在打开URLConnection连接时指定所用的Proxy实例，也可以在创建Socket连接时指定Proxy实例。而ProxySelector代表一个代理选择器，它提供了对代理服务器更加灵活的控制，它可以对HTTP、HTTPS、FTP、SOCKS等分别设置，而且还可以设置不需要通过代理服务器的主机和地址。通过使用ProxySelector可以达到像在Internet Explorer、FireFox等软件中设置代理服务器类似的效果。

代理服务器的功能就是代理网络用户去取得网络信息。我们使用网络浏览器直接连接其他Internet站点取得网络信息时，通常需要发送Request请求来等到响应。代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取得网页数据而是向代理服务器发出请求，Request请求会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并送回给网络浏览器。而且，大部分代理服务器都具有缓冲的功能，就好像一个大的Cache，它有很大的存储空间，它不断将新取得的数据储存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。归纳起来代理服务器主要提供如下两个功能：

突破自身IP限制，对外隐藏自身IP地址。突破IP限制包括访问国外受限站点，访问国内特定单位、团体的内部资源。

提高访问速度，代理服务器提供的缓冲功能可以避免每个用户都直接访问远程主机，从而提高客户端访问速度。

17.5.1 直接使用Proxy创建连接

Proxy有如下一个构造器：Proxy(Proxy.Type type, SocketAddress sa)：创建表示代理服务器的Proxy对象。而sa参数指定代理服务器的地址，其中type是该代理服务器的类型，该服务器类型有如下三种：

（1）Proxy.Type.DIRECT：表示直接连接或缺少代理。

（2）Proxy.Type.HTTP：表示高级协议的代理，如 HTTP 或 FTP。

（3）Proxy.Type.SOCKS：表示 SOCKS（V4 或 V5）代理。

一旦创建了Proxy对象之后，程序就可以在使用URLConnection打开连接时，或创建Socket连接时传入一个Proxy对象，作为本次连接所使用的代理服务器。

其中URL包含了一个URLConnection openConnection(Proxy proxy)方法，该方法使用指定的代理服务器来打开连接；而Socket则提供了一个Socket(Proxy proxy)构造器，该构造器使用指定的代理服务器创建一个没有连接的Socket对象。

下面以URLConnection为例来介绍如何在URLConnection中使用代理服务器。

程序清单：codes/17/17-5/ProxyTest.java

上面代码第一行粗体字代码创建了一个Proxy对象，第二行粗体字代码就是用Proxy对象来打开URLConnection连接。除此之外，该程序的其他地方就是对URLConnection的使用了。由此可见， JDK1.5提供了对代理服务器很好的支持。

17.5.2 使用ProxySelector选择代理服务器

前面介绍的直接使用Proxy对象可以在打开URLConnection或Socket时指定代理服务器，使用这种方式需要每次打开连接都显式设置代理服务器。如果想让系统打开连接时总是具有默认的代理服务器，则可以使用java.net.ProxySelector，它可以它根据不同的连接使用不同的代理服务器。

系统默认的ProxySelector会检测各种系统属性和URL协议，然后决定怎样连接不同的主机。当然，程序也可以调用ProxySelector类的setDefaultI()静态方法来设置默认代理服务器，也可以调用getDefault()方法获得系统当前默认的代理服务器。

程序可以通过System类来设置系统的代理服务器属性，关于代理服务器常用的属性名有如下三个：

http.proxyHost：设置HTTP访问所使用的代理服务器地址。该属性名的前缀可以改为https、ftp等，分别用于设置HTTP访问、安全HTTP访问和FTP访问所用的代理服务器地址。

http.proxyPort：设置HTTP访问所使用的代理服务器端口。该属性名的前缀可以改为https、ftp等，分别用于设置HTTP访问、安全HTTP访问和FTP访问所用的代理服务器端口。

http.nonProxyHosts：设置HTTP访问中不需要使用代理服务器的远程主机，可以使用*通配符，如果有多个地址，多个地址用竖线（|）分隔。

下面程序示范了通过改变系统属性来改变默认的代理服务器。

程序清单：codes/17/17-5/ ProxySelectorTest.java

上面程序中三行粗体字代码设置Java打开HTTP访问时的代理服务器属性，其中前两行代码设置代理服务器的地址和端口，第三行代码设置该代理HTTP访问哪些主机时不需要使用代理服务器。上面程序的①行代码处直接打开一个URLConnection，但系统会为打开该URLConnection时使用代理服务器。

运行上面程序，将会看到程序长时间等待，因为192.168.0.96通常并不是有效的代理服务器（当然，如果读者运行的机器恰好可以使用地址为192.168.0.96的代理服务器又另当别论）。

系统提供了默认的ProxySelector子类作为代理选择器，开发者可以实现自己的代理选择器，程序可以通过继承ProxySelector来实现自己的代理选择器。继承ProxySelector需要重写两个方法：

ListProxy select(URI uri)：实现该方法让代理选择器根据不同的URI来使用不同的代理服务器，该方法就是代理选择器管理网络连接使用代理服务器的关键。

connectFailed(URI uri, SocketAddress sa, IOException ioe)：当系统通过默认的代理服务器建立连接失败后，代理选择器将会自动调用该方法。通过重写该方法可以对连接代理服务器失败的情形进行处理。

系统默认的代理服务器选择器也重写了connectFailed方法，它重写该方法的处理策略是：当系统设置的代理服务器失败时，默认代理选择器将会采用直连的方式连接远程资源，所以当运行上面程序等待了足够长时间时，程序依然可以打印出该远程资源的所有内容。

如何通过抓包工具fiddler获取java程序的http请求

fiddler实际上是通过代理的方式来工作的。默认端口是8888，所以用来请求http的客户端，需要设定代理，就能被截获并记录。这种方式必须依赖fiddler进程正常工作。

以下是java设置代理的一种方式。具体要看使用什么客户端程序了。不同的客户端程序设置代理的方式肯定不一样。

Proxy proxy = new Proxy(java.net.Proxy.Type.HTTP,new InetSocketAddress(“127.0.0.1”, 8888));  

URL serverUrl = new URL(url);  

HttpURLConnection conn = (HttpURLConnection) serverUrl.openConnection(proxy);

样例：

package com.http;  

import java.io.BufferedReader;  

import java.io.InputStreamReader;  

import java.net.HttpURLConnection;  

import java.net.InetSocketAddress;  

import java.net.Proxy;  

import java.net.URL;  

public class Http302Redirect {  

    public static void main(String[] args) {  

        try {  

            String url = “”;  

            System.out.println(“访问地址:” + url);  

            Proxy proxy = new Proxy(java.net.Proxy.Type.HTTP,  

                    new InetSocketAddress(“127.0.0.1”, 8888));  

            URL serverUrl = new URL(url);  

            HttpURLConnection conn = (HttpURLConnection) serverUrl  

                    .openConnection(proxy);  

            conn.setRequestMethod(“GET”);  

            conn.addRequestProperty(“Accept-Charset”, “UTF-8;”);  

            conn.addRequestProperty(“User-Agent”,  

                    “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Firefox/3.6.8”);  

            conn.addRequestProperty(“Referer”, “”);  

            conn.connect();  

            BufferedReader reader = new BufferedReader(new InputStreamReader(  

                    conn.getInputStream()));  

            StringBuffer buffer = new StringBuffer();  

            String line = reader.readLine();  

            while (line != null) {  

                buffer.append(line).append(“\r\n”);  

                line = reader.readLine();  

            }  

            reader.close();  

            conn.disconnect();  

            System.out.println(buffer);  

        } catch (Exception e) {  

            e.printStackTrace();  

        }  

    }  

}

JAVA中如何设置代理服务器，取消代理服务器

在JAVA中怎么设置代理服务器呢，非常简单

public void setServiceProxy(Config config) {

    this.config = config;

    System.setProperty(“http.proxyHost”, config.getProxyHost());

    System.setProperty(“http.proxyPort”, config.getProxyPort());

    System.setProperty(“https.proxyHost”, config.getProxyHost());

    System.setProperty(“https.proxyPort”, config.getProxyPort());

  }

然后在每一个HttpUrlConnection请求中，设置代理服务器用户名和密码，并进行Base64加密（看你代理服务器的要求，可能因代理服务器不同而不同），代码如下

private HttpURLConnection getProxyHttpConnection() throws IOException {

    String authorization = config.getProxyUser() + “:”

        + config.getProxyPassword();

    URL url = new URL(config.getRequestUrl());

    HttpURLConnection conn = (HttpURLConnection) url.openConnection();

    conn.setRequestProperty(“Proxy-Authorization”,

        “Basic ” + Base64.encodeBase64String(authorization.getBytes()));

    return conn;

  }

想用java编写个代理服务器，求具体一些思路，详细一些，谢谢

在编写代理服务器之前，首先应该明白一点，Java的代理机制，如图所示：

那么Java就处于中间这层代理服务器，代理服务器所作的事情如下：

         1、接收客户端请求，进行处理，然后发送给服务端

         2、接收服务端响应，进行处理，然后发送给客户端

         这样，就更清晰了，Java提供了代理的API为，java.net.Proxy类。此类表示代理设置，通常为类型（http、socks）和套接字地址。Proxy 是不可变对象。

         也就是说Java可以制作高级协议的代理，如 HTTP 或 FTP。也可以制作SOCKS（V4 或 V5）代理。

         首先，使用到了URL类，HttpURLConnection类及其我们的代理类Proxy类。他们都位于java.net包中。

第一步：生成代理，指定端口为8888：

第二步：使用URLConnection类进行连接

第三步：打开URL，并且读取HTML源码