Skip to content

使用requests抓取网页

princehaku edited this page Apr 21, 2014 · 1 revision

默认即是使用requests进行抓取

使用fetcher action 就可以定义抓取任务

        "action": "fetcher",

        "url": "http://s.weibo.com/weibo/淘宝&xsort=time&page=${1,1}",

        "timeout": 10,

必须的参数

  • url

支持的参数

  • timeout 抓取超时时间 默认是2分钟