README.md

web-crawler-guide 🕷 使用Python写网络爬虫

1. 目录结构

主要从以下几个章节进行讲解

• 0. 基础知识
• 1. 爬虫介绍
• 2. 数据爬取
• 3. 下载缓存
• 4. 并发下载
• 5. 动态内容
• 6. 表单交互
• 7. 验证码处理
• 8. Scrapy 框架
• 9. 综合应用

2. 常用三方库

写爬虫项目的时候可与借鉴和参考的一些第三方库

• faker - 用于生成假数据的库
• fake-useragent - 伪装浏览器身份(代码量小可阅读源码)
• fuck-login - 模拟登录一些知名的网站
• awesome-python-login-model - 模拟登陆一些大型网站
• proxy_pool - 通过网络爬虫抓取互联网上免费的代理 IP 地址自建代理 IP 池服务
• weibospider - 分布式微博爬虫并支持快速抓取和稳定抓取两种运行模式
• webster - 可以抓取网页中 AJAX 异步内容的分布式爬虫框架
• PSpider - 简单易用的 Python 爬虫框架
• HAipproxy - 使用 Scrapy ＋ Redis 实现的高可用分布式 IP 代理池
• awesome-spider - 收集各种爬虫项目
• 12306 - 12306 网站智能刷票订票
• python-spider - Python3 网络爬虫实战

3. 实现目标

光说不练，之后要用的时候还是不会的

• 爬取 Boss 直聘 Python 项目的工具招聘信息
• 开发基于 WEB 界面的爬虫项目(可以延续 Boss 直聘的爬虫)

4. 联系方式

• 💭 [Name] 💭
  • 🐠 EscapeLife 😏
• 💭 [Induction] 💭
  • 🏦 Focusing P.A.I 😂
• 💭 [Email] 💭
  • 📫 [email protected] 🤔
• 💭 [Myblog] 💭
  • 🍺 https://www.escapelife.site 😚
• 💭 [License] 💭
  • 🚧 Apache License, Version 2.0😝