Scrapy

之前没学过爬虫，这次需要我去运维爬虫，所以这次找了本书专门学一下。《精通Scrapy网络爬虫》。学习有5天了，学到了第十章模拟登录，也说不上有什么很大体会。但是，关于选书，这本还是不错的，上面的示例经我验证均能成功运行，这得益于作者示例选的网站是专门供爬虫练习者使用的。

我理解爬虫的难点：1.网站多不喜欢被爬，因此会设置障碍并持续改进以阻挡爬虫。2.解析（prase，会用到xpath、css）爬取的内容是关键，怎么从一堆代码中提取有用信息，我遇到的难点就在这。3.要循序渐进，否则劳而无功或劳得微功。

照着《精通Scrapy网络爬虫》敲了对应示例，发现最大困难是选择器的运用，css和xpath。同事说scrapy的css选择器跟前端的css选择器是不同的，建议我完全使用xpath解析器。而且，在运行爬虫scrapy scrawl xx会得到log信息，出现2019-08-21 19:49:07 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://matplotlib.org/robots.txt> from <GET http://matplotlib.org/robots.txt>，[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301)代表网页重定向，重定向之后自然解析不到内容。或者还要注意[scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt:，我这次运行出现一行2019-08-21 19:49:08 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://matplotlib.org/examples/index.html>，

那么问题来了：在哪里可以看到xpath选择器语法的官方文档呢？ 答：W3C xpath cover page是scrapy给出的xpath链接，其上显示2017-03-21发布了XML Path Language (XPath) 3.1。太长的英文，所以等遇到其他有错误嫌疑再来细看此文吧。同事推荐了Xpath和CSS选择器的使用详解、CSS 选择器参考手册、xpath如何取包含多个class属性、XPath详解，总结、Xpath string()提取多个子节点中的文本、使用 lxml 中的 xpath 高效提取文本与标签属性值、Xpath判断某个属性是否包含或不包含指定的属性或值等博文，均是同事认为不错的，遇到不懂的还是首先看看同事给的资料，而不是即刻网络搜索。

什么是xpath？ xpath使用路径表达式在xml文档中进行导航；xpatth包含一个标准函数库；xpath是xslt中的主要元素，xpath是一个w3c标准。

xpath术语： 在xpath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以即文档（根）节点。XML文档是一种被作为节点树来对待的。树的根被称为文档节点或者根节点。

请看下面这个XML文档：

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author> 
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

上面的XML文档中的节点例子：

<bookstore> （文档节点）
<author>J K. Rowling</author> （元素节点）
lang="en" （属性节点）

基本值（或称原子值，Atomic value） 基本值是无父或无子的节点。

基本值的例子：

J K. Rowling
"en"

项目（Item） 项目是基本值或者节点。

节点关系

父（Parent） 每个元素以及属性都有一个父。

在上面的例子中，book元素是title、author、year以即price元素的父：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

子（Children）

元素节点可有零个、一个或多个子。

在下面的例子中，title、author、year以即price元素都是book元素的子：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

同胞（Sibling） 拥有相同的父的节点 在上面的例子中，title、author、year以即price元素都是同胞：

先辈（Ancestor） 某节点的父、父的父，等等。

在上面的例子中，title元素的先辈是book元素和bookstore元素。

后代（Descenddant）

某个节点的子、子的子，等等。

在上面的例子中，bookstore的后代是book、title、author、year以及price元素。

Xpath使用路径表达式来选取XML文档中的节点或节点集。节点是通过沿着路径（path）或者步（steps）来选取的。

XML实例文档 我们将在下面的例子中使用这个XML文档。

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

选取节点 XPath使用路径表达式在XML文档中选取节点。系欸但是通过step来选取的。 下面列出了最有用的路径表达式：

实例

在上面的表格中，我们已列出了一些路径表达式以即表达式的结果:

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被镶嵌在方括号中。

实例

在上面的表格中，我们列出了带有谓语的一些路径表达式，以即表达式的结果：

同事建议应避免采用相对位置来选取节点，而应该采用不变、唯一的标识来选取节点。这个节点是什么id吧，暂不懂，以后掌握再补充。比如我们需爬取某房产网站容积率字段，审视之后发现该字段是某父节点的第2个子节点，据此相对位置来爬取容积率很可能得到错误，因为之后其可能会变成第3ge子节点位置。

选取未知节点

XPath通配符可以用来选取未知的XML元素。

实例

在下面的表格中，我们i而除了一些路径表达式，以即这些表达式的结果：

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个子路径。

实例

在下面的表格中，我们列出了一些路径表达式，以即这些表达式的结果。

XML实例文档

我们将在下面的例子中使用此XML文档：

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>

XPath轴

轴可定义相对于当前节点的节点集。

位置路径表达式

位置路径可以是绝对的，也可以是相对的。

绝对路径七十余正斜杠（），而相对路径不会这样。在两种情况中，位置路径均包括一个或多个步，每个步均被斜杠分隔：

绝对位置路径：

/step/step/...

相对位置路径：

step/step/...

每个步均根据当前节点集之中的节点来进行计算。

步（step）包括：

轴（axis）

定义所选节点与当前节点之间的树关系。

节点测试（node-test）

识别某个轴内部的节点

零个或者更多位于（predicate）

步的语法：

轴名称::节点测试[谓语]

实例

XPath运算符

下面列出了可用在XPath表达式中的运算符：

XML实例文档

我们将在下面的例子中使用则个XML文档：

"books.xml"

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book category="COOKING">
  <title lang="en">Everyday Italian</title>
  <author>Giada De Laurentiis</author>
  <year>2005</year>
  <price>30.00</price>
</book>

<book category="CHILDREN">
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

<book category="WEB">
  <title lang="en">XQuery Kick Start</title>
  <author>James McGovern</author>
  <author>Per Bothner</author>
  <author>Kurt Cagle</author>
  <author>James Linn</author>
  <author>Vaidyanathan Nagarajan</author>
  <year>2003</year>
  <price>49.99</price>
</book>

<book category="WEB">
  <title lang="en">Learning XML</title>
  <author>Erik T. Ray</author>
  <year>2003</year>
  <price>39.95</price>
</book>

</bookstore>

（略）

------以上内容摘自w3c XPath 教程

scrapy提供的链接，XPath Tips from the Web Scraping Trenches介绍了关于XPath使用的一些技巧。

成功运行代码却没有抓取任何信息的可能原因：1.web服务器原因，这部分可关注log信息里面三位数（如401代表访问被拒绝，如401.2代表服务器配置导致登陆失败。）的web服务器错误代码。2.XPath选择器或css选择器并未抓取到内容，这部分在log里面会怎么报错暂不清楚。或可参阅scrapy文档之Exceptions-Built-in Exceptions reference，这些exceptions包括DropItem、CloseSpider、DontCloseSpider、IgnoreRequest、NotConfigured、NotSupported。

20190824，练习了Python爬虫从入门到放弃（十四）之 Scrapy框架中选择器的用法上的示例。

运行爬虫命令出现[scrapy] DEBUG: Forbidden by robots.txt，将setting改变ROBOTSTXT_OBEY为False，即可解决此问题。

ProxyHandler处理器

1. 代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。
2. http://httpbin.org这个网站可以方便的查看http请求的一些参数。

3. 在代码中使用代理：使用urllib.request.ProxyHandler传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是ip:port。使用上一步创建的handler，以及request.build_opener创建一个opener对象。对上一步创建的opener，调用open函数，发起请求。 示例代码如下：

   from urllib import request
   url = 'http://httpbin.org/ip'
   #1.使用ProxyHandler构建一个handler
   #此代理ip来自快代理
   handler = request.ProxyHandler({"http":"58.22.214.124:9000"})
   #2.使用上面创建的handler构建opener
   opener = request.build_opener(handler)
   #3.使用opener去发送一个请求
   resp = opener.open(url)
   print(resp.read())
   

requests笔记：

1. 发送get请求 发送get请求，直接调用resquests.get

   import requests
   response = requests.get('http://wwww.baidu.com/')
   

2. response的一些属性

   import requests
   response = requests.get('http://www.baidu.com/')
   print(response.url)
   print(response.encoding)
   print(response.status_code)
   

3. response.text和response.content的区别： 3.1 reponse.content：这个是直接从网络上面抓取数据，没有经过任何解码。所以是一种bytes类型。其实在硬盘和网络上传输的字符串都是bytes类型。 3.2 reponse.text：这个是requests，将request.content进行解码的字符串。解码需要指定一个编码方式，requests会根据自己的猜测来判断编码方式。所以有时候可能会猜测错误，就会导致解码产生乱码。这时候应该使用reponse.content.decode('utf-8')进行手动解码。

4. 发送post请求

5. 处理cookie

6. 处理没有授权的https协议

20190826: