Skip to content

Commit

Permalink
项目说明
Browse files Browse the repository at this point in the history
  • Loading branch information
wu50416 committed Feb 6, 2024
1 parent 016e421 commit 2707fe9
Showing 1 changed file with 14 additions and 11 deletions.
25 changes: 14 additions & 11 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,38 +1,43 @@
# spider_projects
# spider_projects(仅供学习)
## 更多爬虫案例及解析详情请移步个人博客:
https://blog.csdn.net/m0_61720747?spm=1000.2115.3001.5343

### 下面为本项目的一些实用的工具:

1、**RPC工具及Demo文件**,搭配油猴脚本,替换目标网址JS文件
### 1、反爬破解方案
#### * RPC工具及Demo文件,搭配油猴脚本,替换目标网址JS文件
#### * Ja3解决方案
#### * selenium(当实在破解不了的时候的兜底技能)

2、基于**Minio**的数据备份
### 2、基于**Minio**的数据备份

3、wbh_word中的私人工具库,对常见的爬虫、mysql、MongoDB数据库操作场景都能使用
### 3、wbh_word中的私人工具库,对常见的爬虫、mysql、MongoDB数据库操作场景都能使用

------

### 本GitHub项目清单:

1、爬取**淘宝数据(用户端)**,解决cookie问题,解决验证问题

2、**阿里商家系列(淘宝、猫超等商家端)** 万相台-adbrain,逆向dynamicToken参数
2、**京东**千万级增量爬虫,稳定可靠

3、爬取**京东**数据,千万级增量爬虫,稳定可靠
3、**阿里商家系列(淘宝、猫超等商家端)** 万相台-adbrain,逆向dynamicToken参数

4、**抖音**评论区

4、**美团** _token 参数逆向,三种方法

5、各国**法条与案例合集**香港、澳门、澳大利亚等等)
5、**法律与案例合集**各国包括香港、澳门、澳大利亚等等)

6、国内各大**法拍网**(中国拍卖行业协会、北交互联、ICBC司法拍卖、人民法院诉讼网、广东法院、公拍网 )数据采集
6、**法拍网**(中国拍卖行业协会、北交互联、ICBC司法拍卖、人民法院诉讼网、广东法院、公拍网 )数据采集

7、**中国裁判文书网**数据解密、登录

8、**bilibil**关键字搜索

9、**发现报告网**登录逆向

10、逆向解析**书旗小说网**站内容加密
10、**书旗小说网**站内容加密逆向解析

11、多线程搭建ip池(通过公开IP网)

Expand All @@ -44,5 +49,3 @@ https://blog.csdn.net/m0_61720747?spm=1000.2115.3001.5343

15、爬取亚马逊数据(过几天上传)



0 comments on commit 2707fe9

Please sign in to comment.