爬虫代理

代理简单的说就是应对反扒手段的一种方式

代理的含义：

​ 不是本地的服务器

作用：

​ 隐藏自身的真是IP

代理ip的类型

​ http: 对应到与http协议对应的url中

​ https:应用到https对应的url中

代理ip的匿名度

​ 透明：服务器知道使用了代理，且知道真实的ip

​ 匿名：服务器知道使用了代理，但不知道真实的ip

​ 高匿：服务器不知道使用了代理

request模块使用代理的方式

1
2
3
4
5
proxies = {
  'http': 'http://172.18.101.221:3182',
  'https': 'http://172.18.101.221:1080',
}
proxies = proxies

​