【WEB系列】RestTemplate之代理访问

文章目录
  1. I. 环境准备
    1. 1. 项目环境
    2. 2. 测试端点
    3. 3. 代理服务器搭建
  2. II. 代理访问
  3. II. 其他
    1. 0. 项目&系列博文
    2. 1. 一灰灰Blog

通过代理访问,对于java后端可能用得不多的,但有过爬虫开发经验的小伙伴可能一点也不会陌生,有时候不太方便直接去访问目标资源,借助代理是要给选择,对于RestTemplate而言,使用代理的姿势同样如设置超时一般,借助SimpleClientHttpRequestFactory来实现,本文演示一下具体的使用case

I. 环境准备

1. 项目环境

借助SpringBoot搭建一个SpringWEB项目,提供一些用于测试的REST服务

  • SpringBoot版本: 2.2.1.RELEASE
  • 核心依赖: spring-boot-stater-web
1
2
3
4
5
6
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
</dependencies>

为了后续输出的日志更直观,这里设置了一下日志输出格式,在配置文件application.yml中,添加

1
2
3
logging:
pattern:
console: (%msg%n%n){blue}

2. 测试端点

我们的测试端点,主要需要返回客户端主机信息,我们这里直接借助HttpServletRequest#getRemoteHost + HttpServlet#getRemotePort来实现(当然实际的业务开发中不建议直接使用它)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
@RestController
public class DemoRest {
private String getHeaders(HttpServletRequest request) {
Enumeration<String> headerNames = request.getHeaderNames();
String name;

JSONObject headers = new JSONObject();
while (headerNames.hasMoreElements()) {
name = headerNames.nextElement();
headers.put(name, request.getHeader(name));
}
return headers.toJSONString();
}

private String getParams(HttpServletRequest request) {
return JSONObject.toJSONString(request.getParameterMap());
}

private String getCookies(HttpServletRequest request) {
Cookie[] cookies = request.getCookies();
if (cookies == null || cookies.length == 0) {
return "";
}

JSONObject ck = new JSONObject();
for (Cookie cookie : cookies) {
ck.put(cookie.getName(), cookie.getValue());
}
return ck.toJSONString();
}

private String buildResult(HttpServletRequest request) {
return buildResult(request, null);
}

private String buildResult(HttpServletRequest request, Object obj) {
String params = getParams(request);
String headers = getHeaders(request);
String cookies = getCookies(request);

if (obj != null) {
params += " | " + obj;
}

return "params: " + params + "\nheaders: " + headers + "\ncookies: " + cookies;
}

@GetMapping(path = "proxy")
private String proxy(HttpServletRequest request) {
String remote = request.getRemoteHost() + ":" + request.getRemotePort();
return buildResult(request) + "\n>>>remote ipInfo: " + remote;
}
}

3. 代理服务器搭建

我们这里借助tinyproxy来搭建代理服务器,详细步骤可以参考博文: http代理服务器tinyproxy搭建手册

本文的演示中,是在192.168.0.241状态centos机器上安装的,步骤如下

1
2
3
4
5
6
7
8
9
10
11
12
1. sudo yum install tinyproxy -y


# 设置配置
2. vim /etc/tinyproxy/tinyproxy.conf

# 下面这个ip是我测试用例的机器ip
Allow 192.168.0.174


3. 启动服务
systemctl start tinyproxy.service

II. 代理访问

接下来进入正文演示,核心代码也比较简单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
/**
* 代理访问
*/
public void proxy() {
RestTemplate restTemplate = new RestTemplate();

SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
// 请注意,我这里是在241机器上,借助tinyproxy搭建了一个http的代理,并设置端口为18888,所以可以正常演示代理访问
// 拉源码运行的小伙,需要注意使用自己的代理来替换
requestFactory.setProxy(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.0.241", 18888)));

restTemplate.setRequestFactory(requestFactory);

// 因为使用代理访问,所以这个ip就不能是127.0.0.1,不然访问的就是代理服务器上了
HttpEntity<String> ans =
restTemplate.getForEntity("http://192.168.0.174:8080/proxy?name=一灰灰&age=20", String.class);
log.info("proxy request ans: {}", ans.getBody());
}

请注意,上面的使用姿势中

  • Proxy的方式除了HTTP之外还有SOCKS,这个是与代理服务器的支持方式相关的
  • postForEntity中url的ip是我本机的ip,而不是127.0.0.1

测试输出如下:

1
2
3
4
(proxy request ans: <200,params: {"name":["一灰灰"],"age":["20"]}
headers: {"host":"192.168.0.174:8080","connection":"close","via":"1.1 tinyproxy (tinyproxy/1.8.3)","accept":"text/plain, application/json, application/*+json, */*","user-agent":"Java/1.8.0_171"}
cookies:
>>>remote ipInfo: 192.168.0.241:56122,[Via:"1.1 tinyproxy (tinyproxy/1.8.3)", Content-Type:"text/plain;charset=UTF-8", Date:"Mon, 29 Jun 2020 08:46:47 GMT", Content-Length:"286"]>

II. 其他

0. 项目&系列博文

博文

源码

1. 一灰灰Blog

尽信书则不如,以上内容,纯属一家之言,因个人能力有限,难免有疏漏和错误之处,如发现bug或者有更好的建议,欢迎批评指正,不吝感激

下面一灰灰的个人博客,记录所有学习和工作中的博文,欢迎大家前去逛逛

一灰灰blog


打赏 如果觉得我的文章对您有帮助,请随意打赏。
分享到