Skip to content
This repository has been archived by the owner on Jul 29, 2022. It is now read-only.

ezirmusitua/weibo-crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

说明

专门针对微博相关数据进行抓取的爬虫

抓取微博消息

使用 ajax 而非 selenium 抓取,效率有保证,简单的代理切换,代码量不大,易于理解

抓取微博用户个人信息

基于上面的爬虫,非常简单,只是抓取用户个人信息页面而已

尝试用 node 写爬虫

尝试使用 node 编写爬虫,但是被异步 IO 给干死了,也算是帮助我理解一下异步 IO 吧

尝试组件化爬虫

又一次尝试组件化爬虫,算是慢慢在进步吧,这里是初步使用 ajax,爬虫并不是很好

About

Crawl weibo data using Python.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published