MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。它将数据存储为一个文档，数据结构由键值(key=>value)对组成。它支持的数据结构非常松散，MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组。

此篇文章中记录了笔者在爬虫学习过程中遇到的问题及解决办法，方便日后查找问题。解决办法可能来自网上搜索或自我探索所得，学习不止，问题不断，此篇会持续更新。

有时候会遇到某些网站使用 js 技术对将要传输的数据进行加密处理做反爬虫措施，经过加密传输的就是密文，但是加密过程一定是在浏览器完成，也就是一定会把 js 代码暴露给使用者，因此可以通过阅读加密算法，从而模拟出加密过程，最后达到破解的目的。

Scrapy 抓取页面的方式和 requests 库类似，都是直接模拟 HTTP 请求，而 Scrapy 也不能直接抓取 JavaScript 动态渲染的页面。Scrapy 抓取动态渲染的页面有两种方式，其中一种就是此篇要学习的 Scrapy 对接 Selenium 框架进行爬虫。

Puppeteer 是一个 node.js 的库，支持调用 Chrome 的 API 来操纵 Web，相比较 Selenium 或是 PhantomJs，它最大的特点就是它的操作 Dom 可以完全在内存中进行模拟既在V8引擎中处理而不打开浏览器，而且关键是这个是 Chrome 团队在维护，会拥有更好的兼容性和前景。

with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。

SQL 是一门 ANSI 的标准计算机语言，用来访问和操作数据库系统。SQL 语句用于取回和更新数据库中的数据。SQL 可与数据库程序协同工作，比如 MS Access、DB2、Informix、MS SQL Server、Oracle、Sybase 以及其他数据库系统。

用 Chrome 打开网站总是提示不安全，看着烦心，干脆把域名挂上 https 之后就不提示了。此篇记录了腾讯云的证书部署过程，部署部分参考了腾讯云的官方文档，文章末尾记录了遇到的小问题。

Python 网络编程使用的主要模块是 socket 模块，在这个模块中可以找到 socket() 函数，该函数用于创建套接字对象。套接字也有自己的方法集，这些方法可以实现基于套接字的网络通信。

上一篇文章中使用 Scrapy 模拟登录豆瓣网，并且进行人工识别验证码进行登录，这一篇中我们使用第三方验证码识别平台去自动识别 Scrapy 登录过程中的验证码。