# 雅俗共赏

**Repository Path**: cuian/YSGS

## Basic Information

- **Project Name**: 雅俗共赏
- **Description**: 雅俗共赏
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-07-22
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 雅俗共赏

## 介绍

Java实现爬取某些网站的图片，包括但不限于以下网站

- [mm131](https://www.mm131.net/)
- [7160图片大全](https://www.7160.com/)
- [爱套图](https://www.aitaotu.com/)
- [猫跳网](http://www.maotiao.com/)
- [图片吧](https://www.tp8.com/yule/meinv/)
- [女仆网](https://handmaid.cn/)
- [粉美人](http://www.mrhuace.com/)

## 软件架构





## 技术

- Java
- Redis
- Jsoup
- webmagic代理服务
- 动态IP地址池(**快代理**)





## 参考

- [java爬虫系列第五讲-如何使用代理防止爬虫被屏蔽?](https://www.cnblogs.com/itsoku123/p/10755529.html)
- [**java爬虫(jsoup)如何设置HTTP代理ip爬数据**](http://www.zuidaima.com/blog/4314024492157952.htm)
- [Java爬虫 (五) -- httpClient进阶：使用代理（详细解析）](https://www.jianshu.com/p/995e95d65c3d)