爬虫流程及方法07(爬虫技术路线整理)(实时更新)

技术路线

1.requests-BeautifulSoup
2.scrapy(5+2结构)
3.scrapy + requests-Beautiful-re + PhantomJS —>表单提交、爬取周期、入库存储(js处理)
4.requests-xpath 5.requests-ccs 6.requests库可与urllib库互换