《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径

这篇具有很好参考价值的文章主要介绍了《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

上一节课我们好不容易装好了 Scrapy,今天我们就来学习如何用好它,有些同学可能会有些疑惑,既然我们懂得了Python编写爬虫的技巧,那要这个所谓的爬虫框架又有什么用呢?其实啊,你懂得Python写爬虫的代码,好比你懂武功,会打架,但行军打仗你不行,毕竟敌人是千军万马,纵使你再强,也只能是百人敌,完成为千人敌,甚至是万人敌,你要学会的就是排兵布阵,运筹帷幄于千里之外,所以,Scrapy 就是Python爬虫的孙子兵法。

使用 Scrapy抓取一个网站一共分为四个步骤:

–创建一个Scrapy项目;

–定义Item容器;

–编写爬虫;

–存储内容。

学习使用 Scrapy 之前,我们需要先来了解一下 Scrapy 框架以及它的组件之间的交互,下面这个图展现的就是 Scrapy 的框架,包括组件以及在系统中发生的数据流。(数据流就是绿色的线,描述各个组件之间是如何通信的)

《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径,python零基础,python

首先我们来分析它的几大组件:

Scrapy Engine:它是 Scrapy 的核心,爬虫工作的核心。负责控制数据流在系统中所有组件之间的流动,大家可以看到,无论那两个组件之间进行交流,都必须经过它。

Downloader:下载器,下载器负责获取页面的数据,然后提供给 Spiders,数据是从 Scheduler(调度器)这里获得的。

Scheduler:调度器,是从Scrapy Engine(引擎)这里接收 Requests 数据,事实上,Requests 数据需要的 request 的网页的地址是存放在 Spiders 这里,Spiders 提供给 Scrapy Engine ,Scrapy Engine(引擎)发送 Requests 给 Scheduler(调度器),调度器再把 Requests 传给 Downloader,Downloader 获得内容(也就是 Responses)之后,就发给 Scrapy Engine,然后发给 Spiders 分析。

那么 Spiders 就是 Scrapy 用户编写用于分析下载器返回回来的 Responses,然后提取出 Items 和 需要跟进 的url 的类。

还有一个就是 Item Pipeline,负责处理被 Spiders 提取出来的 Items,Items 就是一个容器,存放我们需要的内容的一个容器,它把 Items 进行存储化,例如存到数据库,存到文件,就是由  Item Pipeline 来处理的。

接下来还有两个 中间键,一个就是 下载器的中间件,Downloader Middlewares,两个中间件事实上就是提供一个简便的机制,通过让你插入自定义的代码来扩展 Scrapy 的功能。

下载器中间件,Downloader Middlewares,是在引擎和下载器之间的 特定钩子,是处理 Downloader 发到引擎的Responses,Responses 要发给 Spiders 需要经过 引擎,下载器中间件就在中间 hook 一下。

Spiders 中间件,Spiders Middlewares,是处理Spiders 和引擎之间交互的 hook,首先它是接收来自 Downloader 的数据,接收Response 要先从Spiders中间件这里过滤一下,进行额外的操作,然后再给Spiders,然后呢,这个中间件也会接收spiders 的输出,例如 Requests和 Items。

以上就是 Scrapy 的基本框架了,了解之后,我们就来做项目了。


第一步要做的就是运行命令行,Scrapy 是命令行的,在爬取之前,我们要先创建一个 Scrapy 项目,我们来到桌面,运行 scrapy startproject tutorial,回车之后,在桌面就出现了 tutorial 文件夹。

 
  1. #CMD窗口

  2. Microsoft Windows [版本 10.0.17134.471]

  3. (c) 2018 Microsoft Corporation。保留所有权利。

  4. C:\Users\XiangyangDai>cd C:\Users\XiangyangDai\Desktop

  5. C:\Users\XiangyangDai\Desktop>scrapy startproject tutorial

  6. New Scrapy project 'tutorial', using template directory 'd:\\programfiles\\anaconda3\\lib\\site-packages\\scrapy\\templates\\project', created in:

  7. C:\Users\XiangyangDai\Desktop\tutorial

  8. You can start your first spider with:

  9. cd tutorial

  10. scrapy genspider example example.com

这个文件夹就是按照下面的形式存储的:

tutorial/

    scrapy.cfg

    tutorial/

        __init__.py

        items.py

        pipelines.py

        settings.py

        spiders/

            __init__.py

            ...

scrapy.cfg 是项目的配置文件(暂时不用,保持默认即可)

tutorial 子文件夹 存放的是模块的代码,也是我们要填充的代码

items.py 是项目中的容器

致此,完成了步骤一:创建一个Scrapy项目;

接下来就是 步骤二:定义 Item 容器

Item是保存爬取到的数据的容器,其使用方法和Python字典类似,并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

首先,我们需要对你想要获取的数据进行建模,

我们的任务就是 网页:布袋除尘器_袋式脉冲除尘器_小型除尘器_除尘器骨架_除尘器布袋_UV光氧催化设备_VOC催化燃烧设备生产厂家,型号齐全,价格合理,批发定做。河北富宇环保设备有限公司 和 布袋除尘器_袋式脉冲除尘器_小型除尘器_除尘器骨架_除尘器布袋_UV光氧催化设备_VOC催化燃烧设备生产厂家,型号齐全,价格合理,批发定做。河北富宇环保设备有限公司 这是两个个导航网页,我们的目标就是爬取各个标题以及其超链接和描述。我们就根据这三部分进行建模就可以了。

《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径,python零基础,python

《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径,python零基础,python

只需要在 items.py 文件里建立相应的字段:

初次打开未经修改的内容如下:

 
  1. # -*- coding: utf-8 -*-

  2. # Define here the models for your scraped items

  3. #

  4. # See documentation in:

  5. # https://doc.scrapy.org/en/latest/topics/items.html

  6. import scrapy

  7. class TutorialItem(scrapy.Item):

  8. # define the fields for your item here like:

  9. # name = scrapy.Field()

  10. pass

其中都已经注释好了,

# name = scrapy.Field() 

name  就是你要建立的字段的名字

scrapy.Field()  就是对应的占位符。

我们就照着写就可以了:

 
  1. class DmozItem(scrapy.Item): #改个与项目对应的名字

  2. # define the fields for your item here like:

  3. # name = scrapy.Field()

  4. title = scrapy.Field() #标题

  5. link = scrapy.Field() #超链接

  6. desc = scrapy.Field() #描述

致此,完成了步骤二:定义 Item 容器;

接下来就是 步骤三:编写爬虫;

编写爬虫,我们就写在 spiders 文件夹里面,其实就是编写爬虫类 Spider,Spider 是用户编写用于从网站上爬取数据的类。

其包含一个用于下载的初始 URL,然后是如何跟进网页中的链接以及如何分析页面中的内容,还有提取生成 item 的方法。

这就包含两个部分,第一个部分就是写一个初始化 URL ,例如 我们这里初始化 是从  布袋除尘器_袋式脉冲除尘器_小型除尘器_除尘器骨架_除尘器布袋_UV光氧催化设备_VOC催化燃烧设备生产厂家,型号齐全,价格合理,批发定做。河北富宇环保设备有限公司 和 布袋除尘器_袋式脉冲除尘器_小型除尘器_除尘器骨架_除尘器布袋_UV光氧催化设备_VOC催化燃烧设备生产厂家,型号齐全,价格合理,批发定做。河北富宇环保设备有限公司 这两个 URL下载,我们就把它列到 spider 里面,然后就是还需要写一个方法,如何分析页面中的内容,还有生成 item 。

我们的操作是:在spider 里创建一个 dmoz_spider.py 的源文件。

我们首先写一个 Spider 类,我们命名为 DmozSpider,这里要求必须是继承 scray.Spider 类,首先需要有一个 name,name 这里必须是唯一的,用来确认你这只 蜘蛛 的名字。

接着有一个 allowed_domains,是一个列表,确定这只蜘蛛要爬取的范围,这里我们规定只能 爬取在 dmozdir.org/Category 网址里面,这样它在一个网址里面找到其他网页的链接,也不会跑过去了,它只会在这个域名里面去爬,要是没有规定这个的话,蜘蛛爬着爬着就回不来了。

接下来就是 start_urls ,这里是开始爬取的网址,规定从哪里开始爬。我们这里为了节约时间,就搞两个。

接下来写一个分析的方法,命名为 parse,有一个唯一的参数 response,事实上,我们看一下 Scrapy 的框架图,我们前面写的内容就是由 Scrapy Engine 从 Spiders 提取,然后变成 Requests 给 Schedulder,然后我们刚刚说了,downloader 会下载出来的 Reponses 数据给 Scrapy Engine ,然后给 Spiders,我们要一个分析机来处理,这就是我们的parse方法,这个方法接收 Responses,然后对它进行分析处理,并且提取成 Items 给 Item Pipeline,所以我们就要在这个方法里写一些指定的代码。我们这里先来一个简单的代码范例:

根据网站地址,创建一个名为 网站倒数第一个字段的最后3位(230 和 411)的文件,保存 response.body。response.body 就是这个网页的源代码。

 
  1. #dmoz_spider.py

  2. import scrapy

  3. class DmozSpider(scrapy.Spider):

  4. name = "dmoz"

  5. allowed_domains = ['dmozdir.org/Category']

  6. start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',

  7. 'http://www.dmozdir.org/Category/?SmallPath=411']

  8. def parse(self, response):

  9. filename = response.url.split('/')[-1][-3:] #文件名为230和411

  10. with open(filename, 'wb') as f:

  11. f.write(response.body)

保存dmoz_spider.py文件,我们把这个爬取分为先爬后取两个独立动作,展开给大家看:

首先是爬:

在 cmd 中,目录切到 tutorial 根目录,调用命令 scrapy crawl dmoz:(这里的 crawl 翻译过来就是 爬取 的意思,dmoz 就是我们选择的蜘蛛,我们在 dmoz_spider 里写了一个 name 叫做 dmoz,它就知道调用哪个爬虫去工作了)

 
  1. #CMD窗口

  2. C:\Users\XiangyangDai\Desktop>cd tutorial

  3. C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz

运行结果如下:

 
  1. #CMD窗口

  2. C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz

  3. 2018-12-17 15:57:54 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)

  4. 2018-12-17 15:57:54 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul 5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j 20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0

  5. 2018-12-17 15:57:54 [scrapy.crawler] INFO: Overridden settings: {'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial', 'SPIDER_MODULES': ['tutorial.spiders'], 'NEWSPIDER_MODULE': 'tutorial.spiders'}

  6. 2018-12-17 15:57:54 [scrapy.middleware] INFO: Enabled extensions:

  7. ['scrapy.extensions.telnet.TelnetConsole',

  8. 'scrapy.extensions.logstats.LogStats',

  9. 'scrapy.extensions.corestats.CoreStats']

  10. 2018-12-17 15:57:55 [scrapy.middleware] INFO: Enabled downloader middlewares:

  11. ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

  12. 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

  13. 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

  14. 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

  15. 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

  16. 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

  17. 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

  18. 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

  19. 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

  20. 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

  21. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',

  22. 'scrapy.downloadermiddlewares.stats.DownloaderStats']

  23. 2018-12-17 15:57:55 [scrapy.middleware] INFO: Enabled spider middlewares:

  24. ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

  25. 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

  26. 'scrapy.spidermiddlewares.referer.RefererMiddleware',

  27. 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

  28. 'scrapy.spidermiddlewares.depth.DepthMiddleware']

  29. 2018-12-17 15:57:55 [scrapy.middleware] INFO: Enabled item pipelines:

  30. []

  31. 2018-12-17 15:57:55 [scrapy.core.engine] INFO: Spider opened

  32. 2018-12-17 15:57:55 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

  33. 2018-12-17 15:57:55 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  34. 2018-12-17 15:57:55 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)

  35. 2018-12-17 15:57:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  36. 2018-12-17 15:57:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  37. 2018-12-17 15:57:56 [scrapy.core.engine] INFO: Closing spider (finished)

  38. 2018-12-17 15:57:56 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

  39. {'downloader/request_bytes': 698,

  40. 'downloader/request_count': 3,

  41. 'downloader/request_method_count/GET': 3,

  42. 'downloader/response_bytes': 14618,

  43. 'downloader/response_count': 3,

  44. 'downloader/response_status_count/200': 3,

  45. 'finish_reason': 'finished',

  46. 'finish_time': datetime.datetime(2018, 12, 17, 7, 57, 56, 333599),

  47. 'log_count/DEBUG': 4,

  48. 'log_count/INFO': 7,

  49. 'response_received_count': 3,

  50. 'scheduler/dequeued': 2,

  51. 'scheduler/dequeued/memory': 2,

  52. 'scheduler/enqueued': 2,

  53. 'scheduler/enqueued/memory': 2,

  54. 'start_time': datetime.datetime(2018, 12, 17, 7, 57, 55, 738552)}

  55. 2018-12-17 15:57:56 [scrapy.core.engine] INFO: Spider closed (finished)

中间有两条内容:

 
  1. 2018-12-17 15:57:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  2. 2018-12-17 15:57:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

200就是网页状态码,表示链接成功,后面接的网址就是我们爬取的网址。

另外,我们在 tutorial 根目录下看到增加一个名为 230 和 411 的文件,你如果用 Notepad 打开的话,实际上就是上面那个网页的源代码(保存的是 response.body)。

我们上面做的事情就是 Scrapy Engin 从Spider 这里获取到两个 初始化的地址,为什么它知道从 

start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',
                      'http://www.dmozdir.org/Category/?SmallPath=411']

这里获取,我们刚才给它的命令是  scrapy crawl dmoz,那它就会来找这个叫做 dmoz 的 spider,所以我们说这个 name 不能重复,重复的话它就不知道找哪一只蜘蛛了,这个 dmoz 是唯一的蜘蛛,它的名字叫做 dmoz。找到它之后,它知道它的两个初始化的地址,所以就提交给 Scheduler,Scheduler 再安排好顺序,发给 Downloader 去下载,下载之后就返回一个 Responses 给 Spiders,Spiders 的这个 parse 方法(回调函数)接收到 Responses 后,就会执行函数体的内容,就会把 230 和 411 分别保存为两个文件。

我们接下来继续深入讲解,那这个是爬的过程,爬完整个网页,接下来就是取的过程啦。

大家还记得我们之前定义的 Item 容器吧:一个是 title,一个是 link,一个是 desc。

 
  1. #items.py

  2. import scrapy

  3. class DmozItem(scrapy.Item):

  4. # define the fields for your item here like:

  5. # name = scrapy.Field()

  6. title = scrapy.Field() #标题

  7. link = scrapy.Field() #超链接

  8. desc = scrapy.Field() #描述

我们现在的目标就是要从这个 230 和 411 这个偌大的内容中找出 title 、link 和 desc ,然后分别保存提取出来,大家知道,这就是一个大浪淘沙的过程。将得到的网页提取出我们需要的数据,之前我教给大家的是使用正则表达式,在Scrapy 里面,是使用一种基于 XPath 和 CSS 的表达式机制:Scrapy Selectors。

Selectors 是一个选择器,它有4个基本方法:

xpath():传入 xpath 表达式,返回该表达式所对应的所有节点的 selector list 列表。

css():传入 css 表达式,返回该表达式所对应的所有节点的 selector list 列表。

extract():序列化该节点为 unicode 字符串并返回 list。

re():根据传入的正则表达式对数据进行提取,返回 unicode 字符串 list 列表。

为了介绍 selector 的使用方法,接下来我们使用内置的 scrapy shell,首先你需要在CMD中进入项目的根目录(在前面我们已经进入了),输入:

scrapy shell "http://www.dmozdir.org/Category/?SmallPath=411"

回车,得到下面的内容:

进入 shell

 
  1. #CMD窗口

  2. C:\Users\XiangyangDai\Desktop\tutorial>scrapy shell "http://www.dmozdir.org/Category/?SmallPath=411"

  3. 2018-12-17 16:40:55 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)

  4. 2018-12-17 16:40:55 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul 5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j 20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0

  5. 2018-12-17 16:40:55 [scrapy.crawler] INFO: Overridden settings: {'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['tutorial.spiders'], 'LOGSTATS_INTERVAL': 0, 'BOT_NAME': 'tutorial', 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'NEWSPIDER_MODULE': 'tutorial.spiders'}

  6. 2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled extensions:

  7. ['scrapy.extensions.telnet.TelnetConsole',

  8. 'scrapy.extensions.corestats.CoreStats']

  9. 2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled downloader middlewares:

  10. ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

  11. 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

  12. 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

  13. 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

  14. 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

  15. 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

  16. 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

  17. 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

  18. 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

  19. 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

  20. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',

  21. 'scrapy.downloadermiddlewares.stats.DownloaderStats']

  22. 2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled spider middlewares:

  23. ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

  24. 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

  25. 'scrapy.spidermiddlewares.referer.RefererMiddleware',

  26. 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

  27. 'scrapy.spidermiddlewares.depth.DepthMiddleware']

  28. 2018-12-17 16:40:55 [scrapy.middleware] INFO: Enabled item pipelines:

  29. []

  30. 2018-12-17 16:40:55 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  31. 2018-12-17 16:40:55 [scrapy.core.engine] INFO: Spider opened

  32. 2018-12-17 16:40:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)

  33. 2018-12-17 16:40:56 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  34. [s] Available Scrapy objects:

  35. [s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc)

  36. [s] crawler <scrapy.crawler.Crawler object at 0x0000019382563D68>

  37. [s] item {}

  38. [s] request <GET http://www.dmozdir.org/Category/?SmallPath=411>

  39. [s] response <200 http://www.dmozdir.org/Category/?SmallPath=411>

  40. [s] settings <scrapy.settings.Settings object at 0x0000019382565B38>

  41. [s] spider <DefaultSpider 'default' at 0x193827dfe80>

  42. [s] Useful shortcuts:

  43. [s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)

  44. [s] fetch(req) Fetch a scrapy.Request and update local objects

  45. [s] shelp() Shell help (print this help)

  46. [s] view(response) View response in a browser

  47. In [1]:

当出现 In [1]: 或者 >>>,就说明已经进入了 shell,在shell 载入之后,你将得到 Responses 回应,我们就可以对它进行操作:

例如,我们输入 response.headers ,就会得到 网页的 头:

 
  1. #CMD窗口

  2. In [1]: response.headers

  3. Out[1]:

  4. {b'Cache-Control': b'private',

  5. b'Content-Type': b'text/html; Charset=utf-8',

  6. b'Date': b'Mon, 17 Dec 2018 08:40:47 GMT',

  7. b'Server': b'Microsoft-IIS/6.0',

  8. b'Set-Cookie': b'ASPSESSIONIDCSBBCQBD=NMHNAMKDCBHDGNNAAGNKKBLM; path=/',

  9. b'Vary': b'Accept-Encoding',

  10. b'X-Powered-By': b'ASP.NET'}

我们输入  response.body,就会得到 网页的 源代码:

 
  1. #CMD窗口

  2. In [3]: response.body

  3. Out[3]: b'\r\n<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r\n<meta http-equiv="x-ua-compatible" content="ie=7" />\r\n<meta http-equiv="imagetoolbar" content="false" />\r\n<html xmlns="http://www.w3.org/1999/xhtml">\r\n<head>\r\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />\r\n<meta name="description" content="\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b,\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe5\xa4\xa7\xe5\x85\xa8\xef\xbc\x8c\xe6\x94\xb6\xe5\xbd\x95\xe4\xb8\x8e\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b,\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1\xe7\x9b\xb8\xe5\x85\xb3\xe7\x9a\x84\xe6\x89\x80\xe6\x9c\x89\xe7\xb2\xbe\xe5\x93\x81\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x81\xe6\xac\xa2\xe8\xbf\x8e\xe6\x82\xa8\xe6\x8f\x90\xe4\xba\xa4\xe4\xb8\x8e\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b,\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1\xe7\x9b\xb8\xe5\x85\xb3\xe7\x9a\x84\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe8\xbf\x99\xe6\x98\xaf\xe6\x82\xa8\xe5\xbd\xb0\xe6\x98\xbe\xe5\xae\x9e\xe5\x8a\x9b\xe7\x9a\x84\xe5\xa5\xbd\xe6\x9c\xba\xe4\xbc\x9a\xef\xbc\x8c\xe8\xb5\xb6\xe5\xbf\xab\xe8\xa1\x8c\xe5\x8a\xa8\xe5\x90\xa7\xef\xbc\x81\xe4\xb8\xb0\xe5\xaf\x8c\xe8\xaf\xa6\xe5\xae\x9e\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b,\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe5\xb0\xbd\xe5\x9c\xa8DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xef\xbc\x81" />\r\n<meta name="keywords" content="\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b,\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1,\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95,\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95,\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95,\xe7\xbd\x91\xe5\x9d\x80\xe5\xaf\xbc\xe8\x88\xaa,\xe7\xbd\x91\xe5\x9d\x80\xe5\xa4\xa7\xe5\x85\xa8,\xe7\xbd\x91\xe9\xa1\xb5\xe7\x9b\xae\xe5\xbd\x95,\xe8\xa1\x8c\xe4\xb8\x9a\xe5\x88\x86\xe7\xb1\xbb" />\r\n<meta name="author" content="\xe7\x82\xb9\xe7\x87\x83\xe4\xb8\x80\xe6\x94\xaf\xe7\x83\x9f" />\r\n<title>\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b-\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1-\xe7\x9b\xae\xe5\xbd\x95\xe5\x88\x86\xe7\xb1\xbb-DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95</title>\r\n\r\n<link rel="alternate" type="application/rss+xml" href="http://www.dmozdir.org/Rss/?SmallPath=411" title="\xe8\xae\xa2\xe9\x98\x85 \xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b-\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1-\xe7\x9b\xae\xe5\xbd\x95\xe5\x88\x86\xe7\xb1\xbb-DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95 \xe5\x88\x86\xe7\xb1\xbb\xe6\x9c\x80\xe8\xbf\x91\xe6\x9b\xb4\xe6\x96\xb0(rss2)" />\r\n<link rel="shortcut icon" href="http://www.dmozdir.org/favicon.ico" />\r\n<link href="http://www.dmozdir.org/skin/blue/css/style.css" rel="stylesheet" type="text/css" />\r\n<script type="text/javascript" src="http://www.dmozdir.org/Config/js/js.js"></script>\r\n<script type="text/javascript" src="http://www.dmozdir.org/Config/js/ClickStat.js"></script>\r\n</head>\r\n<body onLoad="initJS()">\r\n<div id="container">\r\n\t<!--s=topbar-->\r\n\t<div id="topbar">\r\n\t\t<div class="toptext">\r\n\t\t\t<strong>DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.</strong>\r\n\t\t\t<ul>\r\n\t\t\t\t<li class="first"><a href="javascript:;" target="_self" onclick="this.style.behavior=\'url(#default#homepage)\';this.setHomePage(\'http://www.dmozdir.org/\');return false;">\xe8\xae\xbe\xe4\xb8\xba\xe9\xa6\x96\xe9\xa1\xb5</a></li>\r\n\t\t\t\t<li><a href="javascript:;" onclick="copyToClipBoard();">\xe6\x8e\xa8\xe8\x8d\x90\xe6\x9c\xac\xe7\xab\x99\xe7\xbb\x99\xe5\xa5\xbd\xe5\x8f\x8b</a></li>\r\n\t\t\t</ul>\r\n\t\t</div>\r\n\t</div>\r\n\t<!--e=end-->\r\n\r\n\t<!--s=maincontainer-->\r\n\t<div id="main">\r\n\t\t<!--s=header-->\r\n\t\t<div class="header">\r\n\t\t\t<h1><a href="http://www.dmozdir.org/" title="DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.\xe7\x94\xb1\xe4\xba\xba\xe5\xb7\xa5\xe7\xbc\x96\xe8\xbe\x91,\xe5\xb9\xb6\xe6\x8f\x90\xe4\xbe\x9b\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2\xe5\x8f\x8a\xe5\x9c\xb0\xe5\x8c\xba\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2,\xe6\x98\xaf\xe7\xab\x99\xe9\x95\xbf\xe5\x85\x8d\xe8\xb4\xb9\xe6\x8e\xa8\xe5\xb9\xbf\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe6\x9c\x89\xe5\x8a\x9b\xe5\xb9\xb3\xe5\x8f\xb0!">DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.</a></h1>\r\n\t\t\t<ul class="header-nav">\r\n\t\t\t\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserReg.asp">\xe5\x85\x8d\xe8\xb4\xb9\xe6\xb3\xa8\xe5\x86\x8c</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserLogin.asp">\xe7\x99\xbb\xe5\xbd\x95\xe7\xae\xa1\xe7\x90\x86</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add" target="_blank">\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99</a></li>\r\n\t\t\t\t<li class="userinfo">\xe6\x82\xa8\xe5\xa5\xbd\xef\xbc\x8c\xe6\xac\xa2\xe8\xbf\x8e\xe6\x9d\xa5DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xef\xbc\x81</li>\r\n\t\t\t\r\n\t\t\t</ul>\r\n\t\t\t<!--s=topmenu-->\r\n\t\t\t<div class="menu">\r\n\t\t\t\t<ul class="topmenu">\r\n\t\t\t\t\t<li class="thome"><a href="http://www.dmozdir.org/"><span>DmozDir\xe9\xa6\x96\xe9\xa1\xb5</span></a></li>\r\n\t\t\t\t\t<li class="tadd"><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add"><img src="http://www.dmozdir.org/skin/blue/Images/hot_b.gif" /><span>\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnew"><a href="http://www.dmozdir.org/New.asp"><span>\xe6\x9c\x80\xe6\x96\xb0\xe6\x94\xb6\xe5\xbd\x95</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tgoin"><a href="http://www.dmozdir.org/Goin.asp"><span>\xe5\x85\xa5\xe7\xab\x99\xe6\x8e\x92\xe8\xa1\x8c\xe6\xa6\x9c</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnews"><a href="http://www.dmozdir.org/News/"><span>\xe5\xbb\xba\xe7\xab\x99\xe8\xb5\x84\xe8\xae\xaf</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnews"><a href="http://www.dmozdir.org/About/"><span>\xe4\xba\x86\xe8\xa7\xa3\xe6\x9c\xac\xe7\xab\x99</span></a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</div>\r\n\t\t\t<!--e=topmenu-->\r\n\t\t\t<h3 id="bigClassList" class="bigClassList" onmouseover="this.className=\'bigClassListOver\'" onmouseout="this.className=\'bigClassList\'">\r\n\t\t\t\t<a href="javascript://">\xe7\x9b\xae\xe5\xbd\x95\xe5\x88\x86\xe7\xb1\xbb</a>\r\n\t\t\t\t<ul class="ulList">\r\n\t\t\t\t\t<li><a href="http://www.dmozdir.org/Category/?Path=1">\xe5\xa8\xb1\xe4\xb9\x90\xe4\xbc\x91\xe9\x97\xb2</a></li><li><a href="http://www.dmozdir.org/Category/?Path=3">\xe5\xb7\xa5\xe5\x95\x86\xe4\xb8\x8e\xe7\xbb\x8f\xe6\xb5\x8e</a></li><li><a href="http://www.dmozdir.org/Category/?Path=4">\xe7\x94\xb5\xe8\x84\x91\xe4\xb8\x8e\xe7\xbd\x91\xe7\xbb\x9c</a></li><li><a href="http://www.dmozdir.org/Category/?Path=5">\xe5\x85\xac\xe5\x8f\xb8\xe4\xb8\x8e\xe4\xbc\x81\xe4\xb8\x9a</a></li><li><a href="http://www.dmozdir.org/Category/?Path=6">\xe6\x95\x99\xe8\x82\xb2\xe4\xb8\x8e\xe5\x9f\xb9\xe8\xae\xad</a></li><li><a href="http://www.dmozdir.org/Category/?Path=7">\xe6\x96\x87\xe5\xad\xa6</a></li><li><a href="http://www.dmozdir.org/Category/?Path=8">\xe8\x89\xba\xe6\x9c\xaf</a></li><li><a href="http://www.dmozdir.org/Category/?Path=9">\xe4\xbd\x93\xe8\x82\xb2\xe4\xb8\x8e\xe5\x81\xa5\xe8\xba\xab</a></li><li><a href="http://www.dmozdir.org/Category/?Path=10">\xe6\x96\xb0\xe9\x97\xbb\xe4\xb8\x8e\xe5\xaa\x92\xe4\xbd\x93</a></li><li><a href="http://www.dmozdir.org/Category/?Path=11">\xe5\x8d\xab\xe7\x94\x9f\xe4\xb8\x8e\xe5\x81\xa5\xe5\xba\xb7</a></li><li><a href="http://www.dmozdir.org/Category/?Path=12">\xe7\xa7\x91\xe5\xad\xa6/\xe6\x96\x87\xe5\x8c\x96</a></li><li><a href="http://www.dmozdir.org/Category/?Path=13">\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1</a></li><li><a href="http://www.dmozdir.org/Category/?Path=14">\xe6\x97\x85\xe6\xb8\xb8\xe4\xb8\x8e\xe4\xba\xa4\xe9\x80\x9a</a></li><li><a href="http://www.dmozdir.org/Category/?Path=16">\xe6\x94\xbf\xe6\xb2\xbb/\xe6\xb3\x95\xe5\xbe\x8b/\xe5\x86\x9b\xe4\xba\x8b</a></li><li><a href="http://www.dmozdir.org/Category/?Path=17">\xe7\xa4\xbe\xe4\xbc\x9a\xe7\xa7\x91\xe5\xad\xa6</a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</h3>\r\n\t\t\t<h3 id="ProvinceList" class="bigClassList" onMouseOver="this.className=\'bigClassListOver\'" onMouseOut="this.className=\'bigClassList\'">\r\n\t\t\t\t<a href="javascript://">\xe5\x9c\xb0\xe5\x8c\xba\xe5\x88\x86\xe7\xb1\xbb</a>\r\n\t\t\t\t<ul class="ulList">\r\n\t\t\t\t\t<li><a href="http://www.dmozdir.org/Area/?ProvinceID=1000">\xe5\x8c\x97\xe4\xba\xac</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1001">\xe4\xb8\x8a\xe6\xb5\xb7</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1002">\xe5\xa4\xa9\xe6\xb4\xa5</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1003">\xe9\x87\x8d\xe5\xba\x86</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1004">\xe6\xb5\x99\xe6\xb1\x9f\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1005">\xe5\xb9\xbf\xe4\xb8\x9c\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1006">\xe6\xb1\x9f\xe8\x8b\x8f\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1007">\xe6\xb2\xb3\xe5\x8c\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1008">\xe5\xb1\xb1\xe8\xa5\xbf\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1009">\xe5\x9b\x9b\xe5\xb7\x9d\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1010">\xe6\xb2\xb3\xe5\x8d\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1011">\xe8\xbe\xbd\xe5\xae\x81\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1012">\xe5\x90\x89\xe6\x9e\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1013">\xe9\xbb\x91\xe9\xbe\x99\xe6\xb1\x9f\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1014">\xe5\xb1\xb1\xe4\xb8\x9c\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1015">\xe5\xae\x89\xe5\xbe\xbd\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1016">\xe7\xa6\x8f\xe5\xbb\xba\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1017">\xe6\xb9\x96\xe5\x8c\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1018">\xe6\xb9\x96\xe5\x8d\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1019">\xe6\xb5\xb7\xe5\x8d\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1020">\xe6\xb1\x9f\xe8\xa5\xbf\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1021">\xe8\xb4\xb5\xe5\xb7\x9e\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1022">\xe4\xba\x91\xe5\x8d\x97\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1023">\xe9\x99\x95\xe8\xa5\xbf\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1024">\xe7\x94\x98\xe8\x82\x83\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1025">\xe5\xb9\xbf\xe8\xa5\xbf\xe5\x8c\xba</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1026">\xe5\xae\x81\xe5\xa4\x8f\xe5\x8c\xba</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1027">\xe9\x9d\x92\xe6\xb5\xb7\xe7\x9c\x81</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1028">\xe6\x96\xb0\xe7\x96\x86\xe5\x8c\xba</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1029">\xe8\xa5\xbf\xe8\x97\x8f\xe5\x8c\xba</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1030">\xe5\x86\x85\xe8\x92\x99\xe5\x8f\xa4\xe5\x8c\xba</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1031">\xe9\xa6\x99\xe6\xb8\xaf</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1032">\xe6\xbe\xb3\xe9\x97\xa8</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1033">\xe5\x8f\xb0\xe6\xb9\xbe</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1034">\xe5\x9b\xbd\xe5\xa4\x96</a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</h3>\r\n\t\t</div>\r\n\t\t<!--e=header-->\r\n\r\n\t\t<div class="tsch">\r\n\t\t\t<span class="tschL"></span>\r\n\t\t\t<span class="tschR"></span>\r\n\t\t\t<div class="tschBox">\r\n\t\t\t\t<form name="TopSearch" action="http://www.dmozdir.org/" method="get">\r\n\t\t\t\t\t<input name="Keyword" type="text" class="infile" title="\xe8\xaf\xb7\xe8\xbe\x93\xe5\x85\xa5\xe5\x85\xb3\xe9\x94\xae\xe8\xaf\x8d|Please Input The Keywords" value="" />\r\n\t\t\t\t\t<span class="stype">\r\n\t\t\t\t\t\t<span class="stypeinner">\r\n\t\t\t\t\t\t\t<select name="SearchType" class="type">\r\n\t\t\t\t\t\t\t\t<option value="Title">\xe7\xbd\x91\xe7\xab\x99\xe5\x90\x8d\xe7\xa7\xb0</option>\r\n\t\t\t\t\t\t\t\t<option value="Content">\xe7\xbd\x91\xe7\xab\x99\xe6\x8f\x8f\xe8\xbf\xb0</option>\r\n\t\t\t\t\t\t\t\t<option value="Domain">\xe7\xbd\x91\xe7\xab\x99\xe5\x9f\x9f\xe5\x90\x8d</option>\r\n\t\t\t\t\t\t\t\t<option value="Tag">TAG\xe5\x85\xb3\xe9\x94\xae\xe8\xaf\x8d</option>\r\n\t\t\t\t\t\t\t</select>\r\n\t\t\t\t\t\t</span>\r\n\t\t\t\t\t</span>\r\n\t\t\t\t\t<button type="submit" class="btn" title="\xe6\x90\x9c\xe7\xb4\xa2|Search" />\xe6\x90\x9c \xe7\xb4\xa2</button>\r\n\t\t\t\t\t<em class="text"><a href="http://www.dmozdir.org/User/UserHelp.asp">\xe6\x90\x9c\xe7\xb4\xa2\xe5\xb8\xae\xe5\x8a\xa9?</a></em>\r\n\t\t\t\t</form>\r\n\t\t\t</div>\r\n\t\t\t<ul class="tschKey">\r\n<a href="http://www.chuchenhb.com/xiaoxingchuchenqi.html" target="_blank">\xe5\xb0\x8f\xe5\x9e\x8b\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a> <a href="http://www.chuchenhb.com/maichongchuchenqi.html" target="_blank">\xe8\x84\x89\xe5\x86\xb2\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a> <a href="http://www.chuchenhb.com/budaichuchenqi.html" target="_blank">\xe5\xb8\x83\xe8\xa2\x8b\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a> <a href="http://www.chuchenhb.com/chuchengujia.html" target="_blank">\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8\xe9\xaa\xa8\xe6\x9e\xb6</a> <a href="http://www.chuchenhb.com/chuchenbudai.html" target="_blank">\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8\xe5\xb8\x83\xe8\xa2\x8b</a> <a href="http://www.chuchenhb.com/diancimaichongfa.html" target="_blank">\xe7\x94\xb5\xe7\xa3\x81\xe8\x84\x89\xe5\x86\xb2\xe9\x98\x80</a> <a href="http://www.chuchenhb.com/danjichuchenqi.html" target="_blank">\xe5\x8d\x95\xe6\x9c\xba\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a> <a href="http://www.chuchenhb.com/xuanfengchuchenqi.html" target="_blank">\xe6\x97\x8b\xe9\xa3\x8e\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a> <a href="http://www.bthbchuchen.com" target="_blank">\xe8\x84\x89\xe5\x86\xb2\xe5\xb8\x83\xe8\xa2\x8b\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a>\r\n\t\t\t</ul>\r\n\t\t</div>\r\n\t\t<div class="site-notice"><a href="http://www.dmozdir.org/tjshoulu.html" target="_blank"><font color="#ff0000"><b>DMOZ\xe7\x9b\xae\xe5\xbd\x95\xe5\xbf\xab\xe9\x80\x9f\xe7\x99\xbb\xe5\xbd\x95\xe5\x85\xa5\xe5\x8f\xa3</b></font></a>-\xe5\x85\x8d\xe8\xb4\xb9\xe6\x94\xb6\xe5\xbd\x95\xe5\x90\x84\xe7\xb1\xbb\xe4\xbc\x98\xe7\xa7\x80\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe7\x9b\xae\xe5\xbd\x95.\xe7\x94\xb1\xe4\xba\xba\xe5\xb7\xa5\xe7\xbc\x96\xe8\xbe\x91,\xe5\xb9\xb6\xe6\x8f\x90\xe4\xbe\x9b\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2\xe5\x8f\x8a\xe5\x9c\xb0\xe5\x8c\xba\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95\xe6\xa3\x80\xe7\xb4\xa2,\xe6\x98\xaf\xe7\xab\x99\xe9\x95\xbf\xe5\x85\x8d\xe8\xb4\xb9\xe6\x8e\xa8\xe5\xb9\xbf\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe6\x9c\x89\xe5\x8a\x9b\xe5\xb9\xb3\xe5\x8f\xb0!</div>\r\n\t\t<div class="pageNaviGation">\r\n\t\t\t\xe5\xbd\x93\xe5\x89\x8d\xe4\xbd\x8d\xe7\xbd\xae\xef\xbc\x9a<a href="http://www.dmozdir.org/">DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95</a> &gt;\r\n\t\t\t<a href="?Path=13">\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1</a> &gt; <strong><a href="?SmallPath=411">\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b</a></strong>(176) <a href="../Rss/?SmallPath=411" target="_blank">\r\n\t\t\t<img src="http://www.dmozdir.org/skin/blue/Images/feed.png" alt="\xe8\xae\xa2\xe9\x98\x85\xe6\x9c\x80\xe8\xbf\x91\xe6\x9b\xb4\xe6\x96\xb0Feed" border="0" /></a>\r\n\r\n\t\t\t<div class="showUserInfo"><strong>DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95</strong> - \xe7\xbd\x91\xe7\xab\x99\xe5\x85\x8d\xe8\xb4\xb9\xe7\x99\xbb\xe5\xbd\x95, \xe5\x85\x8d\xe8\xb4\xb9\xe6\x8e\xa8\xe5\xb9\xbf</div>\r\n\t\t</div>\r\n\r\n\t\t<!--s=left-->\r\n\t\t<div id="mainWrapper">\r\n\t\t\t<div id="mainInner">\r\n\r\n\t\t\t\t<div class="conBox">\r\n\t\t\t\t\t<h3>\xe7\x94\x9f\xe6\xb4\xbb\xe4\xb8\x8e\xe6\x9c\x8d\xe5\x8a\xa1 &gt; \xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b</h3>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<ul class="tab-sorting">\r\n\t\t\t\t\t\t<li class="first">\xe6\x8e\x92\xe5\xba\x8f\xe6\x96\xb9\xe5\xbc\x8f:</li>\r\n\t\t\t\t\t\t<li class="check"><a href="?SmallPath=411&O=Goin">\xe5\x85\xa5\xe7\xab\x99\xe6\xb5\x81\xe9\x87\x8f</a></li>\r\n\t\t\t\t\t\t<li><a href="?SmallPath=411&O=GoOut">\xe5\x87\xba\xe7\xab\x99\xe6\xb5\x81\xe9\x87\x8f</a></li>\r\n\t\t\t\t\t\t<li><a href="?SmallPath=411&O=Digg">\xe4\xba\xba\xe6\xb0\x94\xe6\x8c\x87\xe6\x95\xb0</a></li>\r\n <li><a href="?SmallPath=411&O=Title">\xe6\xa0\x87\xe9\xa2\x98\xe6\x8e\x92\xe5\xba\x8f</a></li>\r\n\t\t\t\t\t</ul>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<ul class="websort">\r\n\t\t\t\t\t\t<li><a href="?SmallPath=410" title="\xe5\x90\x84\xe5\x9c\xb0\xe7\x94\x9f\xe6\xb4\xbb\xe6\x94\xb6\xe5\xbd\x95 546 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\x90\x84\xe5\x9c\xb0\xe7\x94\x9f\xe6\xb4\xbb</a><sup>546</sup></li><li class="check"><a href="?SmallPath=411" title="\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe6\x94\xb6\xe5\xbd\x95 176 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b</a><sup>176</sup></li><li><a href="?SmallPath=412" title="\xe5\x85\xac\xe5\x8f\xb8\xe4\xbc\x81\xe4\xb8\x9a\xe6\x94\xb6\xe5\xbd\x95 400 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\x85\xac\xe5\x8f\xb8\xe4\xbc\x81\xe4\xb8\x9a</a><sup>400</sup></li><li><a href="?SmallPath=413" title="\xe7\x94\x9f\xe6\xb4\xbb\xe5\xb8\xb8\xe8\xaf\x86\xe6\x94\xb6\xe5\xbd\x95 103 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\x94\x9f\xe6\xb4\xbb\xe5\xb8\xb8\xe8\xaf\x86</a><sup>103</sup></li><li><a href="?SmallPath=414" title="\xe9\xa4\x90\xe9\xa5\xae/\xe8\x8f\x9c\xe8\xb0\xb1\xe6\x94\xb6\xe5\xbd\x95 360 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe9\xa4\x90\xe9\xa5\xae/\xe8\x8f\x9c\xe8\xb0\xb1</a><sup>360</sup></li><li><a href="?SmallPath=415" title="\xe8\xb4\xad\xe7\x89\xa9\xe6\x94\xb6\xe5\xbd\x95 1192 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe8\xb4\xad\xe7\x89\xa9</a><sup>1192</sup></li><li><a href="?SmallPath=416" title="\xe7\xa7\x9f\xe6\x88\xbf\xe6\x94\xb6\xe5\xbd\x95 127 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\xa7\x9f\xe6\x88\xbf</a><sup>127</sup></li><li><a href="?SmallPath=417" title="\xe7\xa7\x9f\xe8\xb5\x81/\xe5\x80\x9f\xe8\xb4\xb7\xe6\x94\xb6\xe5\xbd\x95 112 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\xa7\x9f\xe8\xb5\x81/\xe5\x80\x9f\xe8\xb4\xb7</a><sup>112</sup></li><li><a href="?SmallPath=418" title="\xe5\xa4\xa9\xe6\xb0\x94\xe9\xa2\x84\xe6\x8a\xa5\xe6\x94\xb6\xe5\xbd\x95 19 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\xa4\xa9\xe6\xb0\x94\xe9\xa2\x84\xe6\x8a\xa5</a><sup>19</sup></li><li><a href="?SmallPath=419" title="\xe5\xae\xb6\xe7\x94\xa8\xe7\x94\xb5\xe5\x99\xa8\xe6\x94\xb6\xe5\xbd\x95 154 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\xae\xb6\xe7\x94\xa8\xe7\x94\xb5\xe5\x99\xa8</a><sup>154</sup></li><li><a href="?SmallPath=420" title="\xe5\xb8\xb8\xe7\x94\xa8\xe6\x9f\xa5\xe8\xaf\xa2\xe6\x94\xb6\xe5\xbd\x95 65 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\xb8\xb8\xe7\x94\xa8\xe6\x9f\xa5\xe8\xaf\xa2</a><sup>65</sup></li><li><a href="?SmallPath=421" title="\xe5\x9c\xb0\xe5\x9b\xbe\xe6\x94\xb6\xe5\xbd\x95 19 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\x9c\xb0\xe5\x9b\xbe</a><sup>19</sup></li><li><a href="?SmallPath=422" title="\xe6\x89\x8b\xe6\x9c\xba\xe7\x9f\xad\xe4\xbf\xa1\xe6\x94\xb6\xe5\xbd\x95 39 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe6\x89\x8b\xe6\x9c\xba\xe7\x9f\xad\xe4\xbf\xa1</a><sup>39</sup></li><li><a href="?SmallPath=423" title="\xe9\xa2\x84\xe8\xae\xa2\xe6\x9c\x8d\xe5\x8a\xa1\xe6\x94\xb6\xe5\xbd\x95 33 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe9\xa2\x84\xe8\xae\xa2\xe6\x9c\x8d\xe5\x8a\xa1</a><sup>33</sup></li><li><a href="?SmallPath=424" title="\xe6\x8b\x8d\xe5\x8d\x96\xe6\x94\xb6\xe5\xbd\x95 11 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe6\x8b\x8d\xe5\x8d\x96</a><sup>11</sup></li><li><a href="?SmallPath=425" title="\xe5\xae\xb6\xe6\x94\xbf\xe6\x9c\x8d\xe5\x8a\xa1\xe6\x94\xb6\xe5\xbd\x95 196 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\xae\xb6\xe6\x94\xbf\xe6\x9c\x8d\xe5\x8a\xa1</a><sup>196</sup></li><li><a href="?SmallPath=426" title="\xe4\xb8\xaa\xe4\xba\xba\xe7\xbe\x8e\xe5\x8c\x96\xe6\x94\xb6\xe5\xbd\x95 158 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe4\xb8\xaa\xe4\xba\xba\xe7\xbe\x8e\xe5\x8c\x96</a><sup>158</sup></li><li><a href="?SmallPath=427" title="\xe7\x94\x9f\xe6\xb4\xbb\xe6\x83\x85\xe8\xb6\xa3\xe6\x94\xb6\xe5\xbd\x95 52 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\x94\x9f\xe6\xb4\xbb\xe6\x83\x85\xe8\xb6\xa3</a><sup>52</sup></li><li><a href="?SmallPath=428" title="\xe8\xa3\x85\xe9\xa5\xb0/\xe8\xa3\x85\xe4\xbf\xae\xe6\x94\xb6\xe5\xbd\x95 473 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe8\xa3\x85\xe9\xa5\xb0/\xe8\xa3\x85\xe4\xbf\xae</a><sup>473</sup></li><li><a href="?SmallPath=429" title="\xe7\xb4\xa7\xe6\x80\xa5\xe6\x9c\x8d\xe5\x8a\xa1\xe6\x94\xb6\xe5\xbd\x95 15 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\xb4\xa7\xe6\x80\xa5\xe6\x9c\x8d\xe5\x8a\xa1</a><sup>15</sup></li><li><a href="?SmallPath=430" title="\xe7\xbb\xbc\xe5\x90\x88\xe7\xbd\x91\xe7\xab\x99\xe6\x94\xb6\xe5\xbd\x95 516 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\xbb\xbc\xe5\x90\x88\xe7\xbd\x91\xe7\xab\x99</a><sup>516</sup></li><li><a href="?SmallPath=431" title="\xe6\x96\xb0\xe9\x97\xbb\xe5\xaa\x92\xe4\xbd\x93\xe6\x94\xb6\xe5\xbd\x95 14 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe6\x96\xb0\xe9\x97\xbb\xe5\xaa\x92\xe4\xbd\x93</a><sup>14</sup></li><li><a href="?SmallPath=432" title="\xe6\x88\x90\xe4\xba\xba\xe7\x94\xa8\xe5\x93\x81\xe6\x94\xb6\xe5\xbd\x95 7 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe6\x88\x90\xe4\xba\xba\xe7\x94\xa8\xe5\x93\x81</a><sup>7</sup></li><li><a href="?SmallPath=433" title="\xe7\xbd\x91\xe4\xb8\x8a\xe6\x95\x91\xe5\x8a\xa9\xe6\x94\xb6\xe5\xbd\x95 7 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe7\xbd\x91\xe4\xb8\x8a\xe6\x95\x91\xe5\x8a\xa9</a><sup>7</sup></li><li><a href="?SmallPath=434" title="\xe4\xbc\x9a\xe5\xb1\x95\xe6\xb4\xbb\xe5\x8a\xa8\xe6\x94\xb6\xe5\xbd\x95 23 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe4\xbc\x9a\xe5\xb1\x95\xe6\xb4\xbb\xe5\x8a\xa8</a><sup>23</sup></li><li><a href="?SmallPath=435" title="\xe6\xb1\x82\xe5\x8c\xbb\xe9\x97\xae\xe8\x8d\xaf\xe6\x94\xb6\xe5\xbd\x95 75 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe6\xb1\x82\xe5\x8c\xbb\xe9\x97\xae\xe8\x8d\xaf</a><sup>75</sup></li><li><a href="?SmallPath=436" title="\xe4\xbd\x93\xe8\x82\xb2\xe5\x81\xa5\xe8\xba\xab\xe6\x94\xb6\xe5\xbd\x95 10 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe4\xbd\x93\xe8\x82\xb2\xe5\x81\xa5\xe8\xba\xab</a><sup>10</sup></li><li><a href="?SmallPath=437" title="\xe8\xae\xba\xe5\x9d\x9b/\xe8\x81\x8a\xe5\xa4\xa9\xe5\xae\xa4\xe6\x94\xb6\xe5\xbd\x95 75 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe8\xae\xba\xe5\x9d\x9b/\xe8\x81\x8a\xe5\xa4\xa9\xe5\xae\xa4</a><sup>75</sup></li><li><a href="?SmallPath=576" title="\xe5\x8a\x9e\xe5\x85\xac\xe6\x9c\x8d\xe5\x8a\xa1\xe6\x94\xb6\xe5\xbd\x95 31 \xe4\xb8\xaa\xe7\xbd\x91\xe7\xab\x99">\xe5\x8a\x9e\xe5\x85\xac\xe6\x9c\x8d\xe5\x8a\xa1</a><sup>31</sup></li>\r\n\t\t\t\t\t</ul>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<h4 class="applySite"><span><em title="\xe5\x90\x91\xe8\xaf\xa5\xe7\x9b\xae\xe5\xbd\x95\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99"></em><a href="../User/UserPublish.asp?Action=Add&BigPath=13&SmallPath=411" class="red">\xe5\x90\x91\xe8\xaf\xa5\xe7\x9b\xae\xe5\xbd\x95\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99</a></span></h4>\r\n\t\t\t\t\t<ul class="listitem"><li><h4 title="\xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91-\xe6\x9c\x80\xe5\xa5\xbd\xe7\x9a\x84\xe5\xa9\x9a\xe5\xbe\x81\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91\xe7\xab\x99"><a href="http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml" target="_blank">\xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91-\xe6\x9c\x80\xe5\xa5\xbd\xe7\x9a\x84\xe5\xa9\x9a\xe5\xbe\x81\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91\xe7\xab\x99</a></h4><p>\xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91\xe6\x98\xaf\xe6\xb5\x8e\xe5\x8d\x97\xe6\x9c\x80\xe4\xb8\x93\xe4\xb8\x9a\xe7\x9a\x84\xe5\xa9\x9a\xe4\xbb\x8b\xe7\xbd\x91\xe7\xab\x99\xe3\x80\x81\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe5\x8f\x8a\xe6\xb5\x8e\xe5\x8d\x97\xe5\xbe\x81\xe5\xa9\x9a\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe4\xba\xa4\xe5\x8f\x8b\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe5\xa9\x9a\xe4\xbb\x8b\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe5\xba\x86\xe5\x85\xb8\xe3\x80\x81\xe6\xb5\x8e\xe5\x8d\x97\xe7\xa4\xbc\xe4\xbb\xaa\xe4\xba\x8e\xe4\xb8\x80\xe4\xbd\x93\xef\xbc\x8c\xe7\xbd\x91\xe4\xb8\x8b\xe6\x9c\x89\xe5\xae\x9e\xe4\xbd\x93\xe5\xba\x97\xe9\x9d\xa2-\xe6\xb5\x8e\xe5\x8d\x97\xe5\xb8\x82\xe5\xb8\x82\xe4\xb8\xad\xe5\x8c\xba\xe5\xa4\xa9\xe5\x96\x9c\xe7\xbc\x98\xe5\xa9\x9a\xe4\xbb\x8b\xe5\xa9\x9a\xe5\xba\x86\xe4\xb8\xad\xe5\xbf\x83\xef\xbc\x8c\xe4\xb8\x8d\xe5\xae\x9a\xe6\x9c\x9f\xe4\xb8\xbe\xe5\x8a\x9e\xe8\x81\x94\xe8\xb0\x8a\xe6\xb4\xbb\xe5\x8a\xa8\xef\xbc\x8c\xe4\xbf\x9d\xe8\xaf\x81\xe4\xbc\x9a\xe5\x91\x98\xe6\x88\x90\xe5\x8a\x9f\xe7\x8e\x87</p><address>www.love219.com</address></li><li><h4 title="\xe6\x88\x90\xe9\x83\xbd\xe7\x9b\x9b\xe4\xb8\x96\xe9\x98\xb3\xe5\x85\x89\xe5\xa9\x9a\xe5\xba\x86\xe7\xad\x96\xe5\x88\x92\xe6\x9c\x89\xe9\x99\x90\xe5\x85\xac\xe5\x8f\xb8"><a href="http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml" target="_blank">\xe6\x88\x90\xe9\x83\xbd\xe7\x9b\x9b\xe4\xb8\x96\xe9\x98\xb3\xe5\x85\x89\xe5\xa9\x9a\xe5\xba\x86\xe7\xad\x96\xe5\x88\x92\xe6\x9c\x89\xe9\x99\x90\xe5\x85\xac\xe5\x8f\xb8</a></h4><p>\xe8\xaf\x9a\xe4\xbf\xa1\xe6\x8a\x95\xe8\xb5\x84\xe6\x8e\xa7\xe8\x82\xa1\xe9\x9b\x86\xe5\x9b\xa2\xe5\xb1\x9e\xe4\xba\x8e\xe5\x9b\x9b\xe5\xb7\x9d\xe7\x9c\x81\xe5\xa4\xa7\xe5\x9e\x8b\xe4\xbc\x81\xe4\xb8\x9a\xe9\x9b\x86\xe5\x9b\xa2\xef\xbc\x8c\xe5\xb7\x9d\xe5\x86\x85\xe6\x8e\x92\xe4\xba\x8e\xe5\x89\x8d20\xe5\x90\x8d\xef\xbc\x8c\xe6\xb3\xa8\xe5\x86\x8c\xe8\xb5\x84\xe9\x87\x913.5\xe4\xba\xbf\xe5\x85\x83\xef\xbc\x8c\xe6\x8b\xa5\xe6\x9c\x89\xe5\x9b\xba\xe5\xae\x9a\xe8\xb5\x84\xe4\xba\xa746.5\xe4\xba\xbf\xe3\x80\x82\xe5\x85\xac\xe5\x8f\xb8\xe6\x80\xbb\xe9\x83\xa8\xe4\xbd\x8d\xe4\xba\x8e\xe6\x88\x90\xe9\x83\xbd\xe5\xb8\x82\xe8\x87\xb4\xe6\xb0\x91\xe4\xb8\x9c\xe8\xb7\xaf1\xe5\x8f\xb7\xe3\x80\x82\xe5\x9c\xa8\xe5\x8c\x97\xe4\xba\xac\xe3\x80\x81\xe4\xb8\x8a\xe6\xb5\xb7\xe3\x80\x81\xe6\x96\xb0\xe7\x96\x86\xe7\xad\x89\xe5\x9c\xb0\xe8\xae\xbe\xe6\x9c\x89\xe5\x88\x86\xe5\x85\xac\xe5\x8f\xb8\xe3\x80\x82\xe8\xaf\x9a\xe4\xbf\xa1\xe7\x9b\x9b\xe4\xb8\x96\xe9\x98\xb3\xe5\x85\x89\xe5\xa9\x9a\xe5\xba\x86\xe5\x85\xac\xe5\x8f\xb8\xe6\x98\xaf\xe5\x85\xb6\xe5\xad\x90\xe5\x85\xac\xe5\x8f\xb8\xe3\x80\x82</p><address>www.ssyg520.com</address></li><li><h4 title="\xe6\x83\x85\xe4\xba\xba\xe7\xbd\x91"><a href="http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml" target="_blank">\xe6\x83\x85\xe4\xba\xba\xe7\xbd\x91</a></h4><p>\xe6\x83\x85\xe4\xba\xba\xe7\xbd\x91\xe4\xba\xa4\xe5\x8f\x8b\xe4\xb8\xad\xe5\xbf\x83\xe4\xb8\xba\xe4\xbd\xa0\xe6\x8f\x90\xe4\xbe\x9b\xe6\x9c\x80\xe4\xbd\xb3\xe7\x9a\x84\xe7\xbd\x91\xe4\xb8\x8a\xe6\x83\x85\xe4\xba\xba\xe4\xba\xa4\xe5\x8f\x8b\xe6\x9c\xba\xe4\xbc\x9a\xef\xbc\x8c\xe8\xb6\xb3\xe4\xb8\x8d\xe5\x87\xba\xe6\x88\xb7\xe4\xbe\xbf\xe8\x83\xbd\xe8\xae\xa9\xe4\xbd\xa0\xe6\x9c\x89\xe6\x9b\xb4\xe5\xa4\x9a\xe7\x9a\x84\xe9\x80\x89\xe6\x8b\xa9\xef\xbc\x81</p><address>www.591lover.net</address></li><li><h4 title="\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99-\xe7\x9b\xb8\xe7\xba\xa6100"><a href="http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml" target="_blank">\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99-\xe7\x9b\xb8\xe7\xba\xa6100</a></h4><p>\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe6\x98\xaf\xe7\x9b\xb8\xe7\xba\xa6100\xe6\x8f\x90\xe4\xbe\x9b\xe7\x9a\x84\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe7\x9a\x84\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe3\x80\x82\xe4\xbc\x9a\xe5\x91\x98\xe4\xbb\xa5\xe5\x8d\x8e\xe4\xba\xba\xe4\xb8\xba\xe4\xb8\xbb\xe9\x81\x8d\xe5\xb8\x83\xe4\xba\x94\xe6\xb9\x96\xe5\x9b\x9b\xe6\xb5\xb7,\xe6\x89\x80\xe6\x9c\x89\xe4\xbc\x9a\xe5\x91\x98\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe3\x80\x82\xe6\x89\x80\xe6\x9c\x89\xe5\xaf\xbb\xe6\x89\xbe\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe7\x9a\x84\xe6\x9c\x8b\xe5\x8f\x8b\xe9\x83\xbd\xe8\x83\xbd\xe5\x9c\xa8\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe5\x9c\xa8\xe6\x89\xbe\xe5\x88\xb0\xe5\xae\x8c\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe7\x9a\x84\xe5\x9b\xbd\xe9\x99\x85\xe5\x85\x8d\xe8\xb4\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xe6\x9c\x8d\xe5\x8a\xa1</p><address>www.free-onlinedating.me</address></li><li><h4 title="\xe5\xae\x89\xe5\xbe\xbd\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91"><a href="http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml" target="_blank">\xe5\xae\x89\xe5\xbe\xbd\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91</a></h4><p>\xe5\xae\x89\xe5\xbe\xbd\xe5\xa9\x9a\xe5\xba\x86\xe7\xbd\x91</p><address>www.ahhqw.com</address></li><li><h4 title="\xe8\x81\x9a\xe7\xbc\x98\xe5\x8c\x97\xe6\xb5\xb7\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91"><a href="http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml" target="_blank">\xe8\x81\x9a\xe7\xbc\x98\xe5\x8c\x97\xe6\xb5\xb7\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91</a></h4><p>\xe8\x81\x9a\xe7\xbc\x98\xe5\x8c\x97\xe6\xb5\xb7\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe6\x98\xaf\xe5\x8c\x97\xe6\xb5\xb7\xe5\x9c\xb0\xe5\x8c\xba\xe8\xbe\x83\xe8\xa7\x84\xe8\x8c\x83\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe8\x87\xb4\xe5\x8a\x9b\xe4\xba\x8e\xe8\x90\xa5\xe9\x80\xa0\xe6\x9c\x89\xe8\xb6\xa3\xe8\x80\x8c\xe5\xae\x89\xe5\x85\xa8\xe7\x9a\x84\xe7\xbd\x91\xe7\xbb\x9c\xe4\xba\xa4\xe5\x8f\x8b\xe7\xa4\xbe\xe5\x8c\xba\xef\xbc\x8c\xe6\x8f\x90\xe4\xbe\x9b\xe6\x90\x9c\xe7\xb4\xa2\xe3\x80\x81\xe7\xbe\x8e\xe6\x96\x87\xe3\x80\x81\xe7\xba\xa6\xe4\xbc\x9a\xe3\x80\x81\xe6\x97\xa5\xe8\xae\xb0\xe3\x80\x81\xe8\x81\x8a\xe5\xa4\xa9\xe3\x80\x81\xe7\xad\x89\xe5\xa4\x9a\xe9\xa1\xb9\xe4\xba\xa4\xe5\x8f\x8b\xe6\x9c\x8d\xe5\x8a\xa1\xe3\x80\x82\xe5\xb9\xb6\xe4\xb8\x8e\xe5\x9c\xb0\xe6\x96\xb9\xe5\xa9\x9a\xe4\xbb\x8b\xe9\x83\xa8\xe9\x97\xa8\xe5\xbb\xba\xe7\xab\x8b\xe4\xba\x86\xe8\x89\xaf\xe5\xa5\xbd\xe7\x9a\x84\xe5\x90\x88\xe4\xbd\x9c\xe5\x85\xb3\xe7\xb3\xbb\xe3\x80\x82</p><address>www.jyjjyy.com</address></li><li><h4 title="\xe7\x88\xb1\xe6\x88\x91\xe5\x90\xa7\xe5\xa9\x9a\xe6\x81\x8b\xe7\xbd\x91"><a href="http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml" target="_blank">\xe7\x88\xb1\xe6\x88\x91\xe5\x90\xa7\xe5\xa9\x9a\xe6\x81\x8b\xe7\xbd\x91</a></h4><p>\xe7\x88\xb1\xe6\x88\x91\xe5\x90\xa7\xe5\xa9\x9a\xe6\x81\x8b\xe7\xbd\x91\xe6\x98\xaf\xe4\xb8\x80\xe4\xb8\xaa\xe7\x9c\x9f\xe5\xae\x9e\xe3\x80\x81\xe4\xb8\xa5\xe8\x82\x83\xe3\x80\x81\xe9\xab\x98\xe5\x93\x81\xe4\xbd\x8d\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe5\xb9\xb3\xe5\x8f\xb0\xef\xbc\x8c\xe6\x8f\x90\xe4\xbe\x9b\xe7\xa7\x91\xe5\xad\xa6\xe3\x80\x81\xe9\xab\x98\xe6\x95\x88\xe7\x9a\x84\xe5\x85\xa8\xe7\xa8\x8b\xe6\x9c\x8d\xe5\x8a\xa1\xef\xbc\x8c\xe5\xb8\xae\xe5\x8a\xa9\xe7\x9c\x9f\xe5\xbf\x83\xe5\xaf\xbb\xe6\x89\xbe\xe7\xbb\x88\xe8\xba\xab\xe4\xbc\xb4\xe4\xbe\xa3\xe7\x9a\x84\xe4\xba\xba\xe5\xa3\xab\xe5\xae\x9e\xe7\x8e\xb0\xe5\x92\x8c\xe8\xb0\x90\xe5\xa9\x9a\xe6\x81\x8b\xef\xbc\x8c\xe5\x8a\xaa\xe5\x8a\x9b\xe8\x90\xa5\xe9\x80\xa0\xe5\x9b\xbd\xe5\x86\x85\xe6\x9c\x80\xe4\xb8\x93\xe4\xb8\x9a\xe3\x80\x81\xe4\xb8\xa5\xe8\x82\x83\xe7\x9a\x84\xe5\xa9\x9a\xe6\x81\x8b\xe4\xba\xa4\xe5\x8f\x8b\xe5\xb9\xb3</p><address>www.lovemeba.com</address></li><li><h4 title="77\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91"><a href="http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml" target="_blank">77\xe5\x9b\xbd\xe9\x99\x85\xe4\xba\xa4\xe5\x8f\x8b\xe7\xbd\x91</a></h4><p>\xe7\xba\xaf\xe5\x85\xac\xe7\x9b\x8a\xe6\x80\xa7\xef\xbc\x8c\xe7\x88\xb1\xe5\xbf\x83\xe7\xa4\xbe\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99\xef\xbc\x8c\xe4\xb8\xba\xe5\xb9\xbf\xe5\xa4\xa7\xe9\x9d\x92\xe5\xb9\xb4\xe5\x8f\x8a\xe5\x8d\x95\xe8\xba\xab\xe4\xba\xba\xe5\xa3\xab\xe6\x8f\x90\xe4\xbe\x9b\xe7\x9a\x84\xe5\x85\xa8\xe5\x85\x8d\xe8\xb4\xb9\xe4\xba\xa4\xe5\x8f\x8b\xe5\xb9\xb3\xe5\x8f\xb0\xe3\x80\x82</p><address>www.77lds.com</address></li><li><h4 title="\xe4\xb8\x9c\xe8\x8e\x9e\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4"><a href="http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml" target="_blank">\xe4\xb8\x9c\xe8\x8e\x9e\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4</a></h4><p>\xe4\xb8\x9c\xe8\x8e\x9e\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4\xe6\x98\xaf\xe5\x85\xb7\xe6\x9c\x89\xe7\x8b\xac\xe7\x89\xb9\xe7\x9a\x84\xe9\x9f\xa9\xe5\x9b\xbd\xe9\xa3\x8e\xe6\xa0\xbc\xe7\x9a\x84\xe4\xb8\x9c\xe8\x8e\x9e\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe5\xb7\xa5\xe4\xbd\x9c\xe5\xae\xa4\xef\xbc\x8c\xe9\x9f\xa9\xe9\xa3\x8e\xe5\xb0\x9a\xe4\xbd\x8d\xe4\xba\x8e\xe4\xb8\x9c\xe8\x8e\x9e\xe4\xb8\x9c\xe5\x9f\x8e\xe5\x8c\xba\xe6\x97\x97\xe5\xb3\xb0\xe8\xb7\xaf\xe5\x9b\xbd\xe6\xb3\xb0\xe5\xa4\xa7\xe5\x8e\xa610\xe5\x8f\xb7,\xe6\x88\x91\xe4\xbb\xac\xe6\xb0\xb8\xe8\xbf\x9c\xe6\xbb\xa1\xe6\x80\x80\xe5\x88\x9b\xe6\x84\x8f\xe4\xb8\x8e\xe6\xb8\xa9\xe6\x83\x85,\xe9\x80\x9a\xe8\xbf\x87\xe4\xb8\x80\xe5\xaf\xb9\xe4\xb8\x80\xe7\x9a\x84\xe6\x9c\x8d\xe5\x8a\xa1\xe4\xb8\xba\xe6\x82\xa8\xe6\x8f\x90\xe4\xbe\x9b\xe8\xb6\x85\xe8\xb6\x8a\xe6\x82\xa8\xe6\x9c\x9f\xe6\x9c\x9b</p><address>www.dg-hfs.com</address></li><li><h4 title="\xe7\x99\xbe\xe5\x90\x88\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xa4\xbe\xe5\x8c\xba"><a href="http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml" target="_blank">\xe7\x99\xbe\xe5\x90\x88\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xa4\xbe\xe5\x8c\xba</a></h4><p>\xe7\x99\xbe\xe5\x90\x88\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xa4\xbe\xe5\x8c\xba\xe8\xae\xa8\xe8\xae\xba\xe8\xaf\x9d\xe9\xa2\x98\xe6\xb6\xb5\xe7\x9b\x96\xe5\xa9\x9a\xe7\xba\xb1\xe7\x85\xa7\xe3\x80\x81\xe5\xa9\x9a\xe7\xba\xb1\xe6\x91\x84\xe5\xbd\xb1\xe3\x80\x81\xe5\xa9\x9a\xe7\xa4\xbc\xe7\xad\xb9\xe5\xa4\x87\xe3\x80\x81\xe5\xa9\x9a\xe7\xba\xb1\xe7\xa4\xbc\xe6\x9c\x8d\xe3\x80\x81\xe5\xa9\x9a\xe5\xba\x86\xe7\xad\x89\xe6\x96\xb9\xe9\x9d\xa2</p><address>www.lilywed.cn</address></li></ul>\r\n<form class="pagecount" onsubmit="location.replace(\'?SmallPath=411&PAGEList=\'+this.PageNumber.value);return false">\r\n\t<div class="PageNumbers">\r\n\t\t<span>1</span><a href="?SmallPath=411&PAGEList=2">2</a><a href="?SmallPath=411&PAGEList=3">3</a><a href="?SmallPath=411&PAGEList=4">4</a><a href="?SmallPath=411&PAGEList=5">5</a><a href="?SmallPath=411&PAGEList=6">6</a><a href="?SmallPath=411&PAGEList=7">7</a><a href="?SmallPath=411&PAGEList=8">8</a><a href="?SmallPath=411&PAGEList=9">9</a><a href="?SmallPath=411&PAGEList=2" title="\xe4\xb8\x8b\xe4\xb8\x80\xe9\xa1\xb5">&gt;</a><a href="?SmallPath=411&PAGEList=18" title="\xe6\x9c\x80\xe5\x90\x8e\xe4\xb8\x80\xe9\xa1\xb5">&gt;|</a>\r\n\t</div>\r\n\t<div class="PageInfo">\r\n\t\t<span>176</span>\xe8\xae\xb0\xe5\xbd\x95\xe3\x80\x80\xe6\xaf\x8f\xe9\xa1\xb5<span>10</span>\xe6\x9d\xa1<input type="text" size=3 name="PageNumber" value="1" /><input type="submit" value="Go" class="bt" />\r\n\t</div>\r\n</form>\r\n\r\n\t\t\t\t</div>\r\n\r\n\t\t\t</div>\r\n\t\t</div>\r\n\t\t<!--e=left-->\r\n\r\n\t\t<!--s=right-->\r\n\t\t\t\t<div id="sidebar">\r\n\t\t\t<div class="conBox">\r\n\t\t\t\t<h3>\r\n\t\t\t\t\t<span class="moreLink"><a href="../User/UserSponsored.asp" class="red">\xe6\x88\x91\xe4\xb9\x9f\xe8\xa6\x81\xe5\x87\xba\xe7\x8e\xb0\xe5\x9c\xa8\xe8\xbf\x99\xe9\x87\x8c</a> | <a href="http://www.dmozdir.org/Commend.asp">\xe6\x9b\xb4\xe5\xa4\x9a</a></span>\r\n\t\t\t\t\t<strong>\xe6\x9c\x80\xe6\x96\xb0\xe6\x8e\xa8\xe8\x8d\x90</strong>\r\n\t\t\t\t</h3>\r\n\t\t\t\t<ul class="weblist"><li><div class="img-preview"><a href="http://www.dmozdir.org/SiteInformation/?www.chb01.cn-----7172-----.shtml"><img src="../UploadImage/month-04-28/dsdlu620090428131912.jpg" alt="\xe8\xa2\x8b\xe5\xbc\x8f\xe8\x84\x89\xe5\x86\xb2\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8\r\nPowered by DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95 DmozDir.org" /></a></div>\r\n<div class=\'content\'><h4><a href="http://www.chb01.cn" target="_blank">\xe8\xa2\x8b\xe5\xbc\x8f\xe8\x84\x89\xe5\x86\xb2\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8</a></h4>\r\n<p>\xe7\x94\x9f\xe4\xba\xa7\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8,\xe9\x99\xa4\xe5\xb0\x98\xe9\x85\x8d\xe4\xbb\xb6,\xe9\x99\xa4\xe5\xb0\x98\xe9\xaa\xa8\xe6\x9e\xb6,\xe9\x99\xa4\xe5\xb0\x98\xe5\xb8\x83\xe8\xa2\x8b,\xe8\x84\x89\xe5\x86\xb2\xe7\x94\xb5\xe7\xa3\x81\xe9\x98\x80,\xe6\x8e\xa7\xe5\x88\xb6\xe4\xbb\xaa,\xe6\xb0\x94\xe7\xbc\xb8\xe7\x9a\x84\xe4\xbc\x81\xe4\xb8\x9a\xe3\x80\x82</p>\r\n<address>www.chb01.cn</address>\r\n</div></li>\r\n<li><div class="img-preview"><a href="http://www.dmozdir.org/SiteInformation/?www.chuchenhb.com-----11893-----.shtml"><img src="../UploadImage/month-01-15/m4c99420100115121145.jpg" alt="\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8\xe9\x99\xa4\xe5\xb0\x98\xe5\xb8\x83\xe8\xa2\x8b\xe9\x99\xa4\xe5\xb0\x98\xe9\xaa\xa8\xe6\x9e\xb6-\xe5\xae\x8f\xe5\xae\x87\xe7\x8e\xaf\xe4\xbf\x9d\r\nPowered by DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95 DmozDir.org" /></a></div>\r\n<div class=\'content\'><h4><a href="http://www.chuchenhb.com" target="_blank">\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8\xe9\x99\xa4\xe5\xb0\x98\xe5\xb8\x83\xe8\xa2\x8b\xe9\x99\xa4\xe5\xb0\x98\xe9\xaa\xa8\xe6\x9e\xb6-\xe5\xae\x8f\xe5\xae\x87\xe7\x8e\xaf\xe4\xbf\x9d</a></h4>\r\n<p>\xe9\x99\xa4\xe5\xb0\x98\xe5\x99\xa8,\xe9\x99\xa4\xe5\xb0\x98\xe9\x85\x8d\xe4\xbb\xb6,\xe9\x99\xa4\xe5\xb0\x98\xe9\xaa\xa8\xe6\x9e\xb6,\xe9\x99\xa4\xe5\xb0\x98\xe5\xb8\x83\xe8\xa2\x8b,\xe8\x84\x89\xe5\x86\xb2\xe7\x94\xb5\xe7\xa3\x81\xe9\x98\x80,\xe6\x8e\xa7\xe5\x88\xb6\xe4\xbb\xaa,\xe6\xb0\x94\xe7\xbc\xb8\xe7\x9a\x84\xe4\xb8\x93\xe4\xb8\x9a\xe7\x94\x9f\xe4\xba\xa7\xe4\xbc\x81\xe4\xb8\x9a\xe3\x80\x82</p>\r\n<address>www.chuchenhb.com</address>\r\n</div></li>\r\n</ul>\r\n\t\t\t</div>\r\n\t\t\t<div class="conBox">\r\n <h3><a href="../jzgd.asp" target="_blank">\xe5\xbb\xba\xe7\xab\x99\xe5\xbd\x92\xe6\xa1\xa3</a> | <a href="../zxgd.asp" target="_blank">\xe8\xb5\x84\xe8\xae\xaf\xe5\xbd\x92\xe6\xa1\xa3</a></h3>\r\n<script>\r\nvar mediav_ad_pub = \'2KWB36_1975884\';\r\nvar mediav_ad_width = \'258\';\r\nvar mediav_ad_height = \'800\';\r\n</script>\r\n<script type="text/javascript" language="javascript" charset="utf-8" src="//static.mediav.com/js/mvf_g2.js"></script>\r\n\t\t\t</div>\r\n\t\t</div>\r\n\r\n\t\t<!--e=right-->\r\n\r\n\t</div>\r\n\t<!--s=maincontainer-->\r\n<script>document.getElementById("sidebar").style.height=document.getElementById("mainInner").offsetHeight+"px";</script>\r\n\r\n\t<!--s=footer--><div id="footer">\r\n\t\t<div class="footnav">\r\n\t\t\t<ul>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/About/">\xe5\x85\xb3\xe4\xba\x8e\xe6\x88\x91\xe4\xbb\xac</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserHelp.asp">\xe5\xb8\xae\xe5\x8a\xa9\xe4\xb8\xad\xe5\xbf\x83</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserSponsored.asp">\xe5\xb9\xbf\xe5\x91\x8a\xe8\xb5\x9e\xe5\x8a\xa9</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add">\xe6\x8f\x90\xe4\xba\xa4\xe7\xbd\x91\xe7\xab\x99</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/New.asp">\xe6\x9c\x80\xe6\x96\xb0\xe5\x8a\xa0\xe5\x85\xa5</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/Commend.asp">\xe6\x9c\x80\xe6\x96\xb0\xe6\x8e\xa8\xe8\x8d\x90</a></li>\r\n\t\t\t\t<li><a href="javascript:;" target="_self" onClick="this.style.behavior=\'url(#default#homepage)\';this.setHomePage(\'http://www.dmozdir.org\');return false;">\xe8\xae\xbe\xe4\xb8\xba\xe9\xa6\x96\xe9\xa1\xb5</a></li>\r\n\t\t\t\t<li><a href="Javascript:;" _fcksavedurl="Javascript:;" onclick=\'fAddFavorite("DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95","http://www.dmozdir.org")\'>\xe6\x94\xb6\xe8\x97\x8f\xe6\x9c\xac\xe7\xab\x99</a></li>\r\n\t\t\t</ul>\r\n\t\t</div></div>\r\n<p align="center">&copy; 2009 <span><a href="http://www.dmozdir.org"><strong>DmozDir</strong></a></span> \xe5\x86\x80ICP\xe5\xa4\x8708100951\xe5\x8f\xb7 <a href="http://www.dmozdir.org/tjshoulu.html" target="_blank"><font color="#ff0000"><b>DMOZ\xe7\x9b\xae\xe5\xbd\x95\xe5\xbf\xab\xe9\x80\x9f\xe7\x99\xbb\xe5\xbd\x95\xe5\x85\xa5\xe5\x8f\xa3</b></font></a>\r\n\t\t<p class="red" align="center"><span>\xe7\xbd\x91\xe7\xab\x99\xe5\x85\x8d\xe8\xb4\xb9\xe7\x99\xbb\xe5\xbd\x95\xef\xbc\x8c\xe6\x96\xb0\xe6\x94\xb6\xe5\xbd\x95\xe7\xbd\x91\xe7\xab\x99\xe9\xa6\x96\xe9\xa1\xb5\xe6\x98\xbe\xe7\xa4\xba\xef\xbc\x8c\xe6\x89\x80\xe6\x9c\x89\xe6\x8e\x92\xe5\x90\x8d\xe5\x85\xa8\xe8\x87\xaa\xe5\x8a\xa8\xe5\xae\x9e\xe6\x97\xb6\xe5\x88\xb7\xe6\x9b\xb4\xe6\x96\xb0\xef\xbc\x8c\xe7\xbd\x91\xe7\xab\x99\xe6\x8e\xa8\xe5\xb9\xbf\xe7\x9a\x84\xe6\x9c\x80\xe4\xbd\xb3\xe9\x80\x89\xe6\x8b\xa9\xe5\xb0\xb1\xe5\x9c\xa8<strong>DMOZ\xe4\xb8\xad\xe6\x96\x87\xe7\xbd\x91\xe7\xab\x99\xe5\x88\x86\xe7\xb1\xbb\xe7\x9b\xae\xe5\xbd\x95</strong></span></p>\r\n</div>\r\n<span style=display:none>\r\n<script>\r\nvar _hmt = _hmt || [];\r\n(function() {\r\n var hm = document.createElement("script");\r\n hm.src = "https://hm.baidu.com/hm.js?17e3ebb4cde1f3be101d65b0fe34af33";\r\n var s = document.getElementsByTagName("script")[0]; \r\n s.parentNode.insertBefore(hm, s);\r\n})();\r\n</script>\r\n</span>\r\n<script>\r\n(function(){\r\n var bp = document.createElement(\'script\');\r\n var curProtocol = window.location.protocol.split(\':\')[0];\r\n if (curProtocol === \'https\') {\r\n bp.src = \'https://zz.bdstatic.com/linksubmit/push.js\'; \r\n }\r\n else {\r\n bp.src = \'http://push.zhanzhang.baidu.com/push.js\';\r\n }\r\n var s = document.getElementsByTagName("script")[0];\r\n s.parentNode.insertBefore(bp, s);\r\n})();\r\n</script>\r\n</body>\r\n</html>'

上面是以二进制显示的,我们可以进行编码:

 
  1. #CMD窗口

  2. In [5]: response.body.decode('utf-8')

  3. Out[5]: '\r\n<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r\n<meta http-equiv="x-ua-compatible" content="ie=7" />\r\n<meta http-equiv="imagetoolbar" content="false" />\r\n<html xmlns="http://www.w3.org/1999/xhtml">\r\n<head>\r\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />\r\n<meta name="description" content="婚恋交友,生活与服务网站分类目录 大全,收录与婚恋交友,生活与服务相关的所有精品网站!欢迎您提交与婚恋交友,生活与服务相关的网站,这是您彰显实力的好机会,赶快行动吧!丰富详实的婚恋交友,生活与服务网站,尽在DMOZ中文网站分类目录!" />\r\n<meta name="keywords" content="婚恋交友,生活与服务,网站目录,分类目录,网站分类目录,网址导航,网址大全,网页目录,行业分类" />\r\n<meta name="author" content="点燃一支烟" />\r\n<title>婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录</title>\r\n\r\n<link rel="alternate" type="application/rss+xml" href="http://www.dmozdir.org/Rss/?SmallPath=411" title="订阅 婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录 分类最近更新(rss2)" />\r\n<link rel="shortcut icon" href="http://www.dmozdir.org/favicon.ico" />\r\n<link href="http://www.dmozdir.org/skin/blue/css/style.css" rel="stylesheet" type="text/css" />\r\n<script type="text/javascript" src="http://www.dmozdir.org/Config/js/js.js"></script>\r\n<script type="text/javascript" src="http://www.dmozdir.org/Config/js/ClickStat.js"></script>\r\n</head>\r\n<body onLoad="initJS()">\r\n<div id="container">\r\n\t<!--s=topbar-->\r\n\t<div id="topbar">\r\n\t\t<div class="toptext">\r\n\t\t\t<strong>DMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.</strong>\r\n\t\t\t<ul>\r\n\t\t\t\t<li class="first"><a href="javascript:;" target="_self" onclick="this.style.behavior=\'url(#default#homepage)\';this.setHomePage(\'http://www.dmozdir.org/\');return false;">设为首页</a></li>\r\n\t\t\t\t<li><a href="javascript:;" onclick="copyToClipBoard();">推荐本站给好友</a></li>\r\n\t\t\t</ul>\r\n\t\t</div>\r\n\t</div>\r\n\t<!--e=end-->\r\n\r\n\t<!--s=maincontainer-->\r\n\t<div id="main">\r\n\t\t<!--s=header-->\r\n\t\t<div class="header">\r\n\t\t\t<h1><a href="http://www.dmozdir.org/" title="DMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.由人工编辑,并提供网站分类目录检索及地区分类目录检索,是站长免费推广网站的有力平台!">DMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.</a></h1>\r\n\t\t\t<ul class="header-nav">\r\n\t\t\t\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserReg.asp">免费注册</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserLogin.asp">登录管理</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add" target="_blank">提交网站</a></li>\r\n\t\t\t\t<li class="userinfo">您好,欢迎来DMOZ中文网站分类目录!</li>\r\n\t\t\t\r\n\t\t\t</ul>\r\n\t\t\t<!--s=topmenu-->\r\n\t\t\t<div class="menu">\r\n\t\t\t\t<ul class="topmenu">\r\n\t\t\t\t\t<li class="thome"><a href="http://www.dmozdir.org/"><span>DmozDir首页</span></a></li>\r\n\t\t\t\t\t<li class="tadd"><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add"><img src="http://www.dmozdir.org/skin/blue/Images/hot_b.gif" /><span>提交网站</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnew"><a href="http://www.dmozdir.org/New.asp"><span>最新收录</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tgoin"><a href="http://www.dmozdir.org/Goin.asp"><span>入站排行榜</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnews"><a href="http://www.dmozdir.org/News/"><span>建站资讯</span></a></li>\r\n\t\t\t\t\t<li class="tline">|</li>\r\n\t\t\t\t\t<li class="tnews"><a href="http://www.dmozdir.org/About/"><span>了解本站</span></a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</div>\r\n\t\t\t<!--e=topmenu-->\r\n\t\t\t<h3 id="bigClassList" class="bigClassList" onmouseover="this.className=\'bigClassListOver\'" onmouseout="this.className=\'bigClassList\'">\r\n\t\t\t\t<a href="javascript://">目录分类</a>\r\n\t\t\t\t<ul class="ulList">\r\n\t\t\t\t\t<li><a href="http://www.dmozdir.org/Category/?Path=1">娱乐休闲</a></li><li><a href="http://www.dmozdir.org/Category/?Path=3">工商与经济</a></li><li><a href="http://www.dmozdir.org/Category/?Path=4">电脑与网络</a></li><li><a href="http://www.dmozdir.org/Category/?Path=5">公司与企业</a></li><li><a href="http://www.dmozdir.org/Category/?Path=6">教育与培训</a></li><li><a href="http://www.dmozdir.org/Category/?Path=7">文学</a></li><li><a href="http://www.dmozdir.org/Category/?Path=8">艺术</a></li><li><a href="http://www.dmozdir.org/Category/?Path=9">体 育与健身</a></li><li><a href="http://www.dmozdir.org/Category/?Path=10">新闻与媒体</a></li><li><a href="http://www.dmozdir.org/Category/?Path=11">卫生与健康</a></li><li><a href="http://www.dmozdir.org/Category/?Path=12">科学/文化</a></li><li><a href="http://www.dmozdir.org/Category/?Path=13">生 活与服务</a></li><li><a href="http://www.dmozdir.org/Category/?Path=14">旅游与交通</a></li><li><a href="http://www.dmozdir.org/Category/?Path=16">政治/法律/军事</a></li><li><a href="http://www.dmozdir.org/Category/?Path=17">社会科学</a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</h3>\r\n\t\t\t<h3 id="ProvinceList" class="bigClassList" onMouseOver="this.className=\'bigClassListOver\'" onMouseOut="this.className=\'bigClassList\'">\r\n\t\t\t\t<a href="javascript://">地区分类</a>\r\n\t\t\t\t<ul class="ulList">\r\n\t\t\t\t\t<li><a href="http://www.dmozdir.org/Area/?ProvinceID=1000">北京</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1001">上海</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1002">天津</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1003">重庆</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1004">浙江省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1005">广东省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1006">江苏省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1007">河北省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1008">山西省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1009">四川省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1010">河南省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1011">辽宁省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1012">吉林省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1013">黑龙江省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1014">山东省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1015">安徽省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1016">福建省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1017">湖北省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1018">湖南省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1019">海南省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1020">江西省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1021">贵州省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1022">云南省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1023">陕西省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1024">甘肃省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1025">广西区</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1026">宁夏区</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1027">青海省</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1028">新疆区</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1029">西藏区</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1030">内蒙古区</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1031">香港</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1032">澳门</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1033">台湾</a></li><li><a href="http://www.dmozdir.org/Area/?ProvinceID=1034">国外</a></li>\r\n\t\t\t\t</ul>\r\n\t\t\t</h3>\r\n\t\t</div>\r\n\t\t<!--e=header-->\r\n\r\n\t\t<div class="tsch">\r\n\t\t\t<span class="tschL"></span>\r\n\t\t\t<span class="tschR"></span>\r\n\t\t\t<div class="tschBox">\r\n\t\t\t\t<form name="TopSearch" action="http://www.dmozdir.org/" method="get">\r\n\t\t\t\t\t<input name="Keyword" type="text" class="infile" title="请输入关键词|Please Input The Keywords" value="" />\r\n\t\t\t\t\t<span class="stype">\r\n\t\t\t\t\t\t<span class="stypeinner">\r\n\t\t\t\t\t\t\t<select name="SearchType" class="type">\r\n\t\t\t\t\t\t\t\t<option value="Title">网站名称</option>\r\n\t\t\t\t\t\t\t\t<option value="Content">网站描述</option>\r\n\t\t\t\t\t\t\t\t<option value="Domain">网站域名</option>\r\n\t\t\t\t\t\t\t\t<option value="Tag">TAG关键词</option>\r\n\t\t\t\t\t\t\t</select>\r\n\t\t\t\t\t\t</span>\r\n\t\t\t\t\t</span>\r\n\t\t\t\t\t<button type="submit" class="btn" title=" 搜索|Search" />搜 索</button>\r\n\t\t\t\t\t<em class="text"><a href="http://www.dmozdir.org/User/UserHelp.asp">搜索帮助?</a></em>\r\n\t\t\t\t</form>\r\n\t\t\t</div>\r\n\t\t\t<ul class="tschKey">\r\n<a href="http://www.chuchenhb.com/xiaoxingchuchenqi.html" target="_blank">小型除尘器</a> <a href="http://www.chuchenhb.com/maichongchuchenqi.html" target="_blank">脉冲除尘器</a> <a href="http://www.chuchenhb.com/budaichuchenqi.html" target="_blank">布袋除尘器</a> <a href="http://www.chuchenhb.com/chuchengujia.html" target="_blank">除尘器骨架</a> <a href="http://www.chuchenhb.com/chuchenbudai.html" target="_blank">除尘器布袋</a> <a href="http://www.chuchenhb.com/diancimaichongfa.html" target="_blank">电磁脉冲阀</a> <a href="http://www.chuchenhb.com/danjichuchenqi.html" target="_blank">单机除尘器</a> <a href="http://www.chuchenhb.com/xuanfengchuchenqi.html" target="_blank">旋风除尘器</a> <a href="http://www.bthbchuchen.com" target="_blank">脉冲布袋除尘器</a>\r\n\t\t\t</ul>\r\n\t\t</div>\r\n\t\t<div class="site-notice"><a href="http://www.dmozdir.org/tjshoulu.html" target="_blank"><font color="#ff0000"><b>DMOZ目录快速登录入口</b></font></a>-免费收录各类优秀网站的中文网站目录.由人工编辑,并提供网站分类目录检索及地区分类目录检索,是站长免费推广网站的有力平台!</div>\r\n\t\t<div class="pageNaviGation">\r\n\t\t\t当前位置:<a href="http://www.dmozdir.org/">DMOZ中文网站分类目录</a> &gt;\r\n\t\t\t<a href="?Path=13">生活与服务</a> &gt; <strong><a href="?SmallPath=411">婚恋交 友</a></strong>(176) <a href="../Rss/?SmallPath=411" target="_blank">\r\n\t\t\t<img src="http://www.dmozdir.org/skin/blue/Images/feed.png" alt="订 阅最近更新Feed" border="0" /></a>\r\n\r\n\t\t\t<div class="showUserInfo"><strong>DMOZ中文网站分类目录</strong> - 网站免费登录, 免费推广</div>\r\n\t\t</div>\r\n\r\n\t\t<!--s=left-->\r\n\t\t<div id="mainWrapper">\r\n\t\t\t<div id="mainInner">\r\n\r\n\t\t\t\t<div class="conBox">\r\n\t\t\t\t\t<h3>生活与服务 &gt; 婚恋交友</h3>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<ul class="tab-sorting">\r\n\t\t\t\t\t\t<li class="first">排序方式:</li>\r\n\t\t\t\t\t\t<li class="check"><a href="?SmallPath=411&O=Goin">入站流量</a></li>\r\n\t\t\t\t\t\t<li><a href="?SmallPath=411&O=GoOut">出站流量</a></li>\r\n\t\t\t\t\t\t<li><a href="?SmallPath=411&O=Digg">人气指数</a></li>\r\n <li><a href="?SmallPath=411&O=Title">标题排序</a></li>\r\n\t\t\t\t\t</ul>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<ul class="websort">\r\n\t\t\t\t\t\t<li><a href="?SmallPath=410" title="各地生活收录 546 个网站">各地生活</a><sup>546</sup></li><li class="check"><a href="?SmallPath=411" title="婚恋交友收录 176 个网站">婚恋交友</a><sup>176</sup></li><li><a href="?SmallPath=412" title="公司企业收录 400 个网站">公司企业</a><sup>400</sup></li><li><a href="?SmallPath=413" title="生活常识收录 103 个网站">生活常识</a><sup>103</sup></li><li><a href="?SmallPath=414" title="餐饮/菜谱收录 360 个网站">餐饮/菜谱</a><sup>360</sup></li><li><a href="?SmallPath=415" title="购物收录 1192 个网站">购物</a><sup>1192</sup></li><li><a href="?SmallPath=416" title="租房收录 127 个网站">租房</a><sup>127</sup></li><li><a href="?SmallPath=417" title="租赁/借贷收录 112 个网站">租赁/借贷</a><sup>112</sup></li><li><a href="?SmallPath=418" title="天气预报收录 19 个网站">天气预报</a><sup>19</sup></li><li><a href="?SmallPath=419" title="家用电器收录 154 个网站">家用电器</a><sup>154</sup></li><li><a href="?SmallPath=420" title="常用查询收录 65 个网站">常用查询</a><sup>65</sup></li><li><a href="?SmallPath=421" title="地图收录 19 个网站">地图</a><sup>19</sup></li><li><a href="?SmallPath=422" title="手机短信收录 39 个网站">手机短信</a><sup>39</sup></li><li><a href="?SmallPath=423" title="预订服务收录 33 个网站">预订服务</a><sup>33</sup></li><li><a href="?SmallPath=424" title="拍卖收录 11 个网站">拍卖</a><sup>11</sup></li><li><a href="?SmallPath=425" title="家政服务收录 196 个网站">家政服务</a><sup>196</sup></li><li><a href="?SmallPath=426" title="个人美化收录 158 个网站">个人美化</a><sup>158</sup></li><li><a href="?SmallPath=427" title="生活情趣收录 52 个网站">生活情趣</a><sup>52</sup></li><li><a href="?SmallPath=428" title="装饰/装修收录 473 个网站">装饰/装修</a><sup>473</sup></li><li><a href="?SmallPath=429" title="紧急服务收录 15 个网站">紧急服务</a><sup>15</sup></li><li><a href="?SmallPath=430" title="综合网站收录 516 个网站">综合网站</a><sup>516</sup></li><li><a href="?SmallPath=431" title="新闻媒体收录 14 个网站">新闻媒体</a><sup>14</sup></li><li><a href="?SmallPath=432" title="成人用品收录 7 个网站">成人用品</a><sup>7</sup></li><li><a href="?SmallPath=433" title="网上救助收录 7 个网站">网上救助</a><sup>7</sup></li><li><a href="?SmallPath=434" title="会展活动收录 23 个网站">会展活动</a><sup>23</sup></li><li><a href="?SmallPath=435" title="求医问药收录 75 个网站">求医问药</a><sup>75</sup></li><li><a href="?SmallPath=436" title="体育健身收录 10 个网站">体育健身</a><sup>10</sup></li><li><a href="?SmallPath=437" title="论坛/聊天室收录 75 个网站">论坛/聊天室</a><sup>75</sup></li><li><a href="?SmallPath=576" title="办公服务收录 31 个网站">办公服务</a><sup>31</sup></li>\r\n\t\t\t\t\t</ul>\r\n\t\t\t\t\t\r\n\t\t\t\t\t<h4 class="applySite"><span><em title="向该目录提交网站"></em><a href="../User/UserPublish.asp?Action=Add&BigPath=13&SmallPath=411" class="red">向该目录提交网站</a></span></h4>\r\n\t\t\t\t\t<ul class="listitem"><li><h4 title="天喜缘婚介网-最好的婚征婚介网站"><a href="http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml" target="_blank">天喜缘婚介网-最好的婚征婚介网站</a></h4><p>天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率</p><address>www.love219.com</address></li><li><h4 title="成都盛世阳光婚庆策划有限公司"><a href="http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml" target="_blank">成都盛世阳光婚庆策划有限公司</a></h4><p>诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。 公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。</p><address>www.ssyg520.com</address></li><li><h4 title="情人网"><a href="http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml" target="_blank">情人网</a></h4><p>情人网交友 中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!</p><address>www.591lover.net</address></li><li><h4 title="国际免费婚介交友网站-相约100"><a href="http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml" target="_blank">国际免费婚介交友网站-相约100</a></h4><p>国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋 友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务</p><address>www.free-onlinedating.me</address></li><li><h4 title="安徽婚庆网"><a href="http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml" target="_blank">安徽婚庆网</a></h4><p>安徽婚庆网</p><address>www.ahhqw.com</address></li><li><h4 title="聚缘北海交友网"><a href="http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml" target="_blank">聚缘北海交友网</a></h4><p>聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。</p><address>www.jyjjyy.com</address></li><li><h4 title="爱我吧婚恋网"><a href="http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml" target="_blank">爱我吧婚恋网</a></h4><p>爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平</p><address>www.lovemeba.com</address></li><li><h4 title="77国际交友网"><a href="http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml" target="_blank">77国际交友网</a></h4><p>纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。</p><address>www.77lds.com</address></li><li><h4 title="东莞韩风尚婚纱摄影工作室"><a href="http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml" target="_blank">东莞韩风尚婚纱摄影工作室</a></h4><p>东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望</p><address>www.dg-hfs.com</address></li><li><h4 title="百合婚礼社区"><a href="http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml" target="_blank">百合婚礼社区</a></h4><p>百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面</p><address>www.lilywed.cn</address></li></ul>\r\n<form class="pagecount" onsubmit="location.replace(\'?SmallPath=411&PAGEList=\'+this.PageNumber.value);return false">\r\n\t<div class="PageNumbers">\r\n\t\t<span>1</span><a href="?SmallPath=411&PAGEList=2">2</a><a href="?SmallPath=411&PAGEList=3">3</a><a href="?SmallPath=411&PAGEList=4">4</a><a href="?SmallPath=411&PAGEList=5">5</a><a href="?SmallPath=411&PAGEList=6">6</a><a href="?SmallPath=411&PAGEList=7">7</a><a href="?SmallPath=411&PAGEList=8">8</a><a href="?SmallPath=411&PAGEList=9">9</a><a href="?SmallPath=411&PAGEList=2" title="下一页">&gt;</a><a href="?SmallPath=411&PAGEList=18" title="最后一页">&gt;|</a>\r\n\t</div>\r\n\t<div class="PageInfo">\r\n\t\t<span>176</span>记录\u3000每页<span>10</span>条<input type="text" size=3 name="PageNumber" value="1" /><input type="submit" value="Go" class="bt" />\r\n\t</div>\r\n</form>\r\n\r\n\t\t\t\t</div>\r\n\r\n\t\t\t</div>\r\n\t\t</div>\r\n\t\t<!--e=left-->\r\n\r\n\t\t<!--s=right-->\r\n\t\t\t\t<div id="sidebar">\r\n\t\t\t<div class="conBox">\r\n\t\t\t\t<h3>\r\n\t\t\t\t\t<span class="moreLink"><a href="../User/UserSponsored.asp" class="red">我也要出现在这里</a> | <a href="http://www.dmozdir.org/Commend.asp">更多</a></span>\r\n\t\t\t\t\t<strong>最新推荐</strong>\r\n\t\t\t\t</h3>\r\n\t\t\t\t<ul class="weblist"><li><div class="img-preview"><a href="http://www.dmozdir.org/SiteInformation/?www.chb01.cn-----7172-----.shtml"><img src="../UploadImage/month-04-28/dsdlu620090428131912.jpg" alt="袋式脉冲除尘器\r\nPowered by DMOZ中文网站分类目录 DmozDir.org" /></a></div>\r\n<div class=\'content\'><h4><a href="http://www.chb01.cn" target="_blank">袋式脉冲除尘器</a></h4>\r\n<p>生产除尘器,除尘配件,除尘骨架,除尘布袋,脉冲电磁阀,控制仪,气缸的企业。</p>\r\n<address>www.chb01.cn</address>\r\n</div></li>\r\n<li><div class="img-preview"><a href="http://www.dmozdir.org/SiteInformation/?www.chuchenhb.com-----11893-----.shtml"><img src="../UploadImage/month-01-15/m4c99420100115121145.jpg" alt="除尘器除尘布袋除尘骨架-宏宇环保\r\nPowered by DMOZ中文网站分类目录 DmozDir.org" /></a></div>\r\n<div class=\'content\'><h4><a href="http://www.chuchenhb.com" target="_blank">除尘器除尘布袋除尘骨架-宏宇环保</a></h4>\r\n<p>除尘器,除尘配件,除尘骨架,除尘布袋,脉冲电磁阀,控制仪,气缸的专业生产企业。</p>\r\n<address>www.chuchenhb.com</address>\r\n</div></li>\r\n</ul>\r\n\t\t\t</div>\r\n\t\t\t<div class="conBox">\r\n <h3><a href="../jzgd.asp" target="_blank">建站归档</a> | <a href="../zxgd.asp" target="_blank">资讯归档</a></h3>\r\n<script>\r\nvar mediav_ad_pub = \'2KWB36_1975884\';\r\nvar mediav_ad_width = \'258\';\r\nvar mediav_ad_height = \'800\';\r\n</script>\r\n<script type="text/javascript" language="javascript" charset="utf-8" src="//static.mediav.com/js/mvf_g2.js"></script>\r\n\t\t\t</div>\r\n\t\t</div>\r\n\r\n\t\t<!--e=right-->\r\n\r\n\t</div>\r\n\t<!--s=maincontainer-->\r\n<script>document.getElementById("sidebar").style.height=document.getElementById("mainInner").offsetHeight+"px";</script>\r\n\r\n\t<!--s=footer--><div id="footer">\r\n\t\t<div class="footnav">\r\n\t\t\t<ul>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/About/">关于我们</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserHelp.asp">帮助中心</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserSponsored.asp">广告赞助</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/User/UserPublish.asp?Action=Add">提交网站</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/New.asp">最新加入</a></li>\r\n\t\t\t\t<li><a href="http://www.dmozdir.org/Commend.asp">最新推荐</a></li>\r\n\t\t\t\t<li><a href="javascript:;" target="_self" onClick="this.style.behavior=\'url(#default#homepage)\';this.setHomePage(\'http://www.dmozdir.org\');return false;">设为首页</a></li>\r\n\t\t\t\t<li><a href="Javascript:;" _fcksavedurl="Javascript:;" onclick=\'fAddFavorite("DMOZ中文网站分类目录","http://www.dmozdir.org")\'>收藏本站</a></li>\r\n\t\t\t</ul>\r\n\t\t</div></div>\r\n<p align="center">&copy; 2009 <span><a href="http://www.dmozdir.org"><strong>DmozDir</strong></a></span> 冀ICP备08100951号 <a href="http://www.dmozdir.org/tjshoulu.html" target="_blank"><font color="#ff0000"><b>DMOZ目录快速登录入口</b></font></a>\r\n\t\t<p class="red" align="center"><span>网站免费登录,新收 录网站首页显示,所有排名全自动实时刷更新,网站推广的最佳选择就在<strong>DMOZ中文网站分类目录</strong></span></p>\r\n</div>\r\n<span style=display:none>\r\n<script>\r\nvar _hmt = _hmt || [];\r\n(function() {\r\n var hm = document.createElement("script");\r\n hm.src = "https://hm.baidu.com/hm.js?17e3ebb4cde1f3be101d65b0fe34af33";\r\n var s = document.getElementsByTagName("script")[0]; \r\n s.parentNode.insertBefore(hm, s);\r\n})();\r\n</script>\r\n</span>\r\n<script>\r\n(function(){\r\n var bp = document.createElement(\'script\');\r\n var curProtocol = window.location.protocol.split(\':\')[0];\r\n if (curProtocol === \'https\') {\r\n bp.src = \'https://zz.bdstatic.com/linksubmit/push.js\'; \r\n }\r\n else {\r\n bp.src = \'http://push.zhanzhang.baidu.com/push.js\';\r\n }\r\n var s = document.getElementsByTagName("script")[0];\r\n s.parentNode.insertBefore(bp, s);\r\n})();\r\n</script>\r\n</body>\r\n</html>'

大家看到了,这个response.body 很多内容,

我们要从里面找到 title、link 和 desc ,事实上就是一个沙中淘金的过程,所以接下来我们就要找到一个筛子,把沙子给去掉,淘出金子。

selector 选择器就是这么一个筛子,正如我们刚才所讲到的,可以使用 response.selector.xpath() 或者 response.selector.css() 或者  response.selector.extract() 或者 response.selector.re() 这四个基本方法来进行筛选。

我们首先教大家使用 xpath()

XPath 是一门在网页中查找特定信息的语言。所以用 Xpath 来筛选数据,比使用正则表达式容易些。

事实上,你使用正则表达式来查找 html 这类的网页文件的话,经常会出现一些问题,用 XPath 就不会,因为它是针对性的。

我们祥和里给出一个 XPath 表达式的例子,以及对应的含义:

/html/head/title:选择HTML文档中<head>标签中的<title>元素

/html/head/title/text():选择上面提到的<title>元素的文字

//td:选择所有的 <td> 元素

//div[@class="mine"]:选择所有具有 class="mine"属性的 div 元素

我们这里给大家演示一下:(值的一提的是:reponse.xpath() 已经映射到了 response.selector.xpath() ,所以,我们以后就只使用 response.selector.xpath() )

 
  1. #CMD窗口

  2. In [6]: response.selector.xpath('//title')

  3. Out[6]: [<Selector xpath='//title' data='<title>婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录</tit'>]

我们使用上面的语句得到 title,'//标签的名字' 表示选出这个网页里面所有这个标签的元素,大家可以看到,title只有一个。返回的是一个 Selector 对象的列表。

你想把这个列表给字符串化,可以使用 extract() ,如下,就得到了一个 unicode 的字符串。

 
  1. #CMD窗口

  2. In [7]: response.selector.xpath('//title').extract()

  3. Out[7]: ['<title>婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录</title>']

你如果想要得到 title 里面的文字(只显示title 的文字,不要标签),你就可以:

 
  1. #CMD窗口

  2. In [9]: response.selector.xpath('//title/text()').extract()

  3. Out[9]: ['婚恋交友-生活与服务-目录分类-DMOZ中文网站分类目录']

非常方便,比你挖空心思去写正则表达式要容易得多,而且不会出错,因为它是根据节点(也就是网页中的标签)来一个一个去查找的。

我们接下来就是提取数据了,尝试从页面中提取出对我们有用的数据。你可以从 response.body 里面去找,但我们极力不建议这样做,因为这浪费时间又不讨好,之前不是说了,有一个审查元素吗,我们来看看 我们想要的 title,link 和 desc 的规律。

《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径,python零基础,python

布袋除尘器_袋式脉冲除尘器_小型除尘器_除尘器骨架_除尘器布袋_UV光氧催化设备_VOC催化燃烧设备生产厂家,型号齐全,价格合理,批发定做。河北富宇环保设备有限公司

我们发现,在一个 ul 标签 和 li 标签中间,而且每个 li 标签对应一组数据,所以,我们先找 ul ,再找 li 就对了。

好,那我们来试一下:

 
  1. #CMD窗口

  2. In [12]: response.selector.xpath('//ul/li')

  3. Out[12]:

  4. [<Selector xpath='//ul/li' data='<li class="first"><a href="javascript:;"'>,

  5. <Selector xpath='//ul/li' data='<li><a href="javascript:;" onclick="copy'>,

  6. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  7. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  8. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  9. <Selector xpath='//ul/li' data='<li class="userinfo">您好,欢迎来DMOZ中文网站分类目录!'>,

  10. <Selector xpath='//ul/li' data='<li class="thome"><a href="http://www.dm'>,

  11. <Selector xpath='//ul/li' data='<li class="tadd"><a href="http://www.dmo'>,

  12. <Selector xpath='//ul/li' data='<li class="tline">|</li>'>,

  13. <Selector xpath='//ul/li' data='<li class="tnew"><a href="http://www.dmo'>,

  14. <Selector xpath='//ul/li' data='<li class="tline">|</li>'>,

  15. <Selector xpath='//ul/li' data='<li class="tgoin"><a href="http://www.dm'>,

  16. <Selector xpath='//ul/li' data='<li class="tline">|</li>'>,

  17. <Selector xpath='//ul/li' data='<li class="tnews"><a href="http://www.dm'>,

  18. <Selector xpath='//ul/li' data='<li class="tline">|</li>'>,

  19. <Selector xpath='//ul/li' data='<li class="tnews"><a href="http://www.dm'>,

  20. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  21. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  22. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  23. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  24. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  25. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  26. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  27. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  28. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  29. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  30. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  31. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  32. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  33. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  34. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Cate'>,

  35. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  36. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  37. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  38. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  39. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  40. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  41. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  42. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  43. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  44. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  45. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  46. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  47. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  48. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  49. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  50. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  51. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  52. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  53. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  54. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  55. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  56. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  57. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  58. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  59. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  60. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  61. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  62. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  63. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  64. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  65. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  66. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  67. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  68. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  69. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Area'>,

  70. <Selector xpath='//ul/li' data='<li class="first">排序方式:</li>'>,

  71. <Selector xpath='//ul/li' data='<li class="check"><a href="?SmallPath=41'>,

  72. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=411&amp;O=GoOut"'>,

  73. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=411&amp;O=Digg">'>,

  74. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=411&amp;O=Title"'>,

  75. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=410" title="各地生活'>,

  76. <Selector xpath='//ul/li' data='<li class="check"><a href="?SmallPath=41'>,

  77. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=412" title="公司企业'>,

  78. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=413" title="生活常识'>,

  79. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=414" title="餐饮/菜'>,

  80. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=415" title="购物收录'>,

  81. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=416" title="租房收录'>,

  82. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=417" title="租赁/借'>,

  83. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=418" title="天气预报'>,

  84. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=419" title="家用电器'>,

  85. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=420" title="常用查询'>,

  86. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=421" title="地图收录'>,

  87. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=422" title="手机短信'>,

  88. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=423" title="预订服务'>,

  89. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=424" title="拍卖收录'>,

  90. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=425" title="家政服务'>,

  91. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=426" title="个人美化'>,

  92. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=427" title="生活情趣'>,

  93. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=428" title="装饰/装'>,

  94. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=429" title="紧急服务'>,

  95. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=430" title="综合网站'>,

  96. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=431" title="新闻媒体'>,

  97. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=432" title="成人用品'>,

  98. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=433" title="网上救助'>,

  99. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=434" title="会展活动'>,

  100. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=435" title="求医问药'>,

  101. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=436" title="体育健身'>,

  102. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=437" title="论坛/聊'>,

  103. <Selector xpath='//ul/li' data='<li><a href="?SmallPath=576" title="办公服务'>,

  104. <Selector xpath='//ul/li' data='<li><h4 title="天喜缘婚介网-最好的婚征婚介网站"><a href'>,

  105. <Selector xpath='//ul/li' data='<li><h4 title="成都盛世阳光婚庆策划有限公司"><a href="'>,

  106. <Selector xpath='//ul/li' data='<li><h4 title="情人网"><a href="http://www.'>,

  107. <Selector xpath='//ul/li' data='<li><h4 title="国际免费婚介交友网站-相约100"><a href'>,

  108. <Selector xpath='//ul/li' data='<li><h4 title="安徽婚庆网"><a href="http://ww'>,

  109. <Selector xpath='//ul/li' data='<li><h4 title="聚缘北海交友网"><a href="http://'>,

  110. <Selector xpath='//ul/li' data='<li><h4 title="爱我吧婚恋网"><a href="http://w'>,

  111. <Selector xpath='//ul/li' data='<li><h4 title="77国际交友网"><a href="http://'>,

  112. <Selector xpath='//ul/li' data='<li><h4 title="东莞韩风尚婚纱摄影工作室"><a href="ht'>,

  113. <Selector xpath='//ul/li' data='<li><h4 title="百合婚礼社区"><a href="http://w'>,

  114. <Selector xpath='//ul/li' data='<li><div class="img-preview"><a href="ht'>,

  115. <Selector xpath='//ul/li' data='<li><div class="img-preview"><a href="ht'>,

  116. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Abou'>,

  117. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  118. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  119. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/User'>,

  120. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/New.'>,

  121. <Selector xpath='//ul/li' data='<li><a href="http://www.dmozdir.org/Comm'>,

  122. <Selector xpath='//ul/li' data='<li><a href="javascript:;" target="_self'>,

  123. <Selector xpath='//ul/li' data='<li><a href="Javascript:;" _fcksavedurl='>]

response.selector.xpath('//ul/li') 命令就把 response 里面所有的 ul/li 给打印出来了,我们要获得网站的描述的内容(desc),就还需要再加上一个 /p:

 
  1. #CMD窗口

  2. In [18]: response.selector.xpath('//ul/li/p')

  3. Out[18]:

  4. [<Selector xpath='//ul/li/p' data='<p>天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济'>,

  5. <Selector xpath='//ul/li/p' data='<p>诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿'>,

  6. <Selector xpath='//ul/li/p' data='<p>情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择'>,

  7. <Selector xpath='//ul/li/p' data='<p>国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为'>,

  8. <Selector xpath='//ul/li/p' data='<p>安徽婚庆网</p>'>,

  9. <Selector xpath='//ul/li/p' data='<p>聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交'>,

  10. <Selector xpath='//ul/li/p' data='<p>爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,'>,

  11. <Selector xpath='//ul/li/p' data='<p>纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。</p>'>,

  12. <Selector xpath='//ul/li/p' data='<p>东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位'>,

  13. <Selector xpath='//ul/li/p' data='<p>百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面<'>]

这里看不完整,我们可以使用 extract():
 

 
  1. #CMD窗口

  2. In [19]: response.selector.xpath('//ul/li/p').extract()

  3. Out[19]:

  4. ['<p>天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率</p>',

  5. '<p>诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。</p>',

  6. '<p>情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!</p>',

  7. '<p>国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务</p>',

  8. '<p>安徽婚庆网</p>',

  9. '<p>聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。</p>',

  10. '<p>爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平</p>',

  11. '<p>纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。</p>',

  12. '<p>东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望</p>',

  13. '<p>百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面</p>']

如果再加上 text() ,就只显示文本内容,删除了标签 p

 
  1. #CMD窗口

  2. In [20]: response.selector.xpath('//ul/li/p/text()').extract()

  3. Out[20]:

  4. ['天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率',

  5. '诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。',

  6. '情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!',

  7. '国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务',

  8. '安徽婚庆网',

  9. '聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。',

  10. '爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平',

  11. '纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。',

  12. '东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望',

  13. '百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面']

我们想要得到各网站的标题(title):我们审查元素看到,标题的内容是在 h4 标签里面的 a 标签的文本里面,所以:

 
  1. #CMD窗口

  2. In [25]: response.selector.xpath('//ul/li/h4/a/text()').extract()

  3. Out[25]:

  4. ['天喜缘婚介网-最好的婚征婚介网站',

  5. '成都盛世阳光婚庆策划有限公司',

  6. '情人网',

  7. '国际免费婚介交友网站-相约100',

  8. '安徽婚庆网',

  9. '聚缘北海交友网',

  10. '爱我吧婚恋网',

  11. '77国际交友网',

  12. '东莞韩风尚婚纱摄影工作室',

  13. '百合婚礼社区']

接下来,我们想得到网址的超链接(link),我们可以使用 response.selector.xpath('//ul/li/h4/a/@href').extract()

 
  1. #CMD窗口

  2. In [28]: response.selector.xpath('//ul/li/h4/a/@href').extract()

  3. Out[28]:

  4. ['http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml',

  5.  'http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml',

  6.  'http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml',

  7.  'http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml',

  8.  'http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml',

  9.  'http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml',

  10.  'http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml',

  11.  'http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml',

  12.  'http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml',

  13.  'http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml']

上面所有的命令,如果没有假设 extract() ,就是得到 selector 对象的列表,加上 extract() 之后呢,得到的就是 将 selector 对象中的 data 变成字符串 提取出来。

我们这里还可以写一个循环来打印内容:

 
  1. #CMD窗口

  2. In [44]: a=response.selector.xpath('//ul/li/h4/a/text()').extract()

  3. In [45]: for each in a:

  4. ...: print(each)

  5. ...:

  6. 天喜缘婚介网-最好的婚征婚介网站

  7. 成都盛世阳光婚庆策划有限公司

  8. 情人网

  9. 国际免费婚介交友网站-相约100

  10. 安徽婚庆网

  11. 聚缘北海交友网

  12. 爱我吧婚恋网

  13. 77国际交友网

  14. 东莞韩风尚婚纱摄影工作室

  15. 百合婚礼社区

一切OK了,接下来就是写我们的代码了,把它投入到生产线上去实现:

我们 退出 shell (使用命令 exit()),回到我们的 CMD,

 
  1. #CMD窗口

  2. In [48]: exit()

  3. C:\Users\XiangyangDai\Desktop\tutorial>

修改我们的 Spider 代码,也就是 dmoz_spider.py。我们就按刚才从 shell 获得的经验来写 parse() 函数。

 
  1. #dmoz_spider.py

  2. import scrapy

  3. class DmozSpider(scrapy.Spider):

  4. name = "dmoz"

  5. allowed_domains = ['dmozdir.org/Category']

  6. start_urls = ['http://www.dmozdir.org/Category/?SmallPath=411']

  7. # 'http://www.dmozdir.org/Category/?SmallPath=411']

  8. def parse(self, response):

  9. titles = response.selector.xpath('//ul/li/h4/a/text()').extract() #标题 title

  10. links = response.selector.xpath('//ul/li/h4/a/@href').extract() #超链接 link

  11. decss = response.selector.xpath('//ul/li/p/text()').extract() #描述 decs

  12. if len(titles) == len(links) == len(decss):

  13. for i in range(len(titles)):

  14. print(titles[i], links[i], decss[i])

写好之后,保存,进入 CMD,在 tutorial 根目录下执行命令:scrapy crawl dmoz

 
  1. #CMD窗口

  2. C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz

  3. 2018-12-17 19:32:48 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)

  4. 2018-12-17 19:32:48 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul 5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j 20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0

  5. 2018-12-17 19:32:48 [scrapy.crawler] INFO: Overridden settings: {'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial', 'NEWSPIDER_MODULE': 'tutorial.spiders'}

  6. 2018-12-17 19:32:48 [scrapy.middleware] INFO: Enabled extensions:

  7. ['scrapy.extensions.telnet.TelnetConsole',

  8. 'scrapy.extensions.corestats.CoreStats',

  9. 'scrapy.extensions.logstats.LogStats']

  10. 2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled downloader middlewares:

  11. ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

  12. 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

  13. 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

  14. 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

  15. 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

  16. 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

  17. 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

  18. 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

  19. 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

  20. 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

  21. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',

  22. 'scrapy.downloadermiddlewares.stats.DownloaderStats']

  23. 2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled spider middlewares:

  24. ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

  25. 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

  26. 'scrapy.spidermiddlewares.referer.RefererMiddleware',

  27. 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

  28. 'scrapy.spidermiddlewares.depth.DepthMiddleware']

  29. 2018-12-17 19:32:49 [scrapy.middleware] INFO: Enabled item pipelines:

  30. []

  31. 2018-12-17 19:32:49 [scrapy.core.engine] INFO: Spider opened

  32. 2018-12-17 19:32:49 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

  33. 2018-12-17 19:32:49 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  34. 2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)

  35. 2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  36. 2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  37. 中国论文写发网 http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml 中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com

  38. 专注代写论文网,论文代写,硕士论文代写,博士论文代写 http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml 专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!

  39. 论文天下 http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml 论文天下,免费提供:论文范文,免费论文,论文大全, 论文下载,论文格式,论文提纲,论文发表,论文开题报告,论文题目等资料的查阅,有偿提供:论文代写、代发服 务!

  40. 河南教师网 http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml 河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔 记/中国招教网/河南招教网/河南教师资格网

  41. 久久论文检测 http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml 久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧!

  42. 李国旺工作室 http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml 高三政治教学,政治高考,高中政治新课标,政治试卷,高中政治网址。

  43. 笔杆子论文 http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml 笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务

  44. 中国论文热线网 http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml 中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com

  45. 就要学习网 http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml 就要学习网是集教案,课件,试卷,毕业论文,教学视频为一体的免费资源网。

  46. 新论文代写网 http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml 毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论 文网|代做毕业设计|怎样写毕业论文

  47. 天喜缘婚介网-最好的婚征婚介网站 http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml 天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率

  48. 成都盛世阳光婚庆策划有限公司 http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml 诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京 、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。

  49. 情人网 http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml 情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!

  50. 国际免费婚介交友网站-相约100 http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml 国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务

  51. 安徽婚庆网 http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml 安徽婚庆网

  52. 聚缘北海交友网 http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml 聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。

  53. 爱我吧婚恋网 http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml 爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交 友平

  54. 77国际交友网 http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml 纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。

  55. 东莞韩风尚婚纱摄影工作室 http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml 东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望

  56. 百合婚礼社区 http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml 百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面

  57. 2018-12-17 19:32:49 [scrapy.core.engine] INFO: Closing spider (finished)

  58. 2018-12-17 19:32:49 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

  59. {'downloader/request_bytes': 698,

  60. 'downloader/request_count': 3,

  61. 'downloader/request_method_count/GET': 3,

  62. 'downloader/response_bytes': 14618,

  63. 'downloader/response_count': 3,

  64. 'downloader/response_status_count/200': 3,

  65. 'finish_reason': 'finished',

  66. 'finish_time': datetime.datetime(2018, 12, 17, 11, 32, 49, 552593),

  67. 'log_count/DEBUG': 4,

  68. 'log_count/INFO': 7,

  69. 'response_received_count': 3,

  70. 'scheduler/dequeued': 2,

  71. 'scheduler/dequeued/memory': 2,

  72. 'scheduler/enqueued': 2,

  73. 'scheduler/enqueued/memory': 2,

  74. 'start_time': datetime.datetime(2018, 12, 17, 11, 32, 49, 93393)}

  75. 2018-12-17 19:32:49 [scrapy.core.engine] INFO: Spider closed (finished)

我们就看中间这一部分:

 
  1. 2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  2. 2018-12-17 19:32:49 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  3. 中国论文写发网 http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml 中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com

  4. 专注代写论文网,论文代写,硕士论文代写,博士论文代写 http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml 专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!

  5. 论文天下 http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml 论文天下,免费提供:论文范文,免费论文,论文大全, 论文下载,论文格式,论文提纲,论文发表,论文开题报告,论文题目等资料的查阅,有偿提供:论文代写、代发服 务!

  6. 河南教师网 http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml 河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔 记/中国招教网/河南招教网/河南教师资格网

  7. 久久论文检测 http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml 久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧!

  8. 李国旺工作室 http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml 高三政治教学,政治高考,高中政治新课标,政治试卷,高中政治网址。

  9. 笔杆子论文 http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml 笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务

  10. 中国论文热线网 http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml 中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com

  11. 就要学习网 http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml 就要学习网是集教案,课件,试卷,毕业论文,教学视频为一体的免费资源网。

  12. 新论文代写网 http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml 毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论 文网|代做毕业设计|怎样写毕业论文

  13. 天喜缘婚介网-最好的婚征婚介网站 http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml 天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率

  14. 成都盛世阳光婚庆策划有限公司 http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml 诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京 、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。

  15. 情人网 http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml 情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!

  16. 国际免费婚介交友网站-相约100 http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml 国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务

  17. 安徽婚庆网 http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml 安徽婚庆网

  18. 聚缘北海交友网 http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml 聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。

  19. 爱我吧婚恋网 http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml 爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交 友平

  20. 77国际交友网 http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml 纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。

  21. 东莞韩风尚婚纱摄影工作室 http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml 东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望

  22. 百合婚礼社区 http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml 百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面

上面的结果没有错误。

这个是爬和取的过程,我们接下来就要使用 Items,我们前面说过,Items 是我们自定义的容器,用法和Python的字典是一样的,我们希望 Spider 将爬取然后筛选后的数据存放到 Items 容器里面,我们刚才也在 parse 里写了筛选出 Items 对应的数据的方法了。筛选之后,我希望将它存放到 Items 中去。

我们的 items.py 在 tutorial/items.py 路径下,items 既是容器,也是一个类,类名我们在这个项目中定义为 DmozItem

我们需要把 items 导入到 spider 中,才可以使用它,于是,我们在  dmoz_spider.py 文件中写道:

from turtorial.items import DmozItem

 
  1. #dmoz_spider.py

  2. import scrapy

  3. from tutorial.items import DmozItem

  4. class DmozSpider(scrapy.Spider):

  5. name = "dmoz"

  6. allowed_domains = ['dmozdir.org/Category']

  7. start_urls = ['http://www.dmozdir.org/Category/?SmallPath=230',

  8. 'http://www.dmozdir.org/Category/?SmallPath=411']

  9. def parse(self, response):

  10. titles = response.selector.xpath('//ul/li/h4/a/text()').extract() #标题 title

  11. links = response.selector.xpath('//ul/li/h4/a/@href').extract() #超链接 link

  12. descs = response.selector.xpath('//ul/li/p/text()').extract() #描述 desc

  13. items = []

  14. if len(titles) == len(links) == len(descs):

  15. for i in range(len(titles)):

  16. #print(titles[i], links[i], decss[i])

  17. item = DmozItem()

  18. #每一组保存为一个字典

  19. item['title'] = titles[i]

  20. item['link'] = links[i]

  21. item['desc'] = descs[i]

  22. #将每个字典添加到列表中

  23. items.append(item)

  24. return items

然后我们在CMD 中,tutorail 的根目录下,执行命令:scrapy crawl dmoz -o items.json -t json

-o 文件名 -t 保存形式。

 
  1. #CMD窗口

  2. C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz -o items.json -t json

  3. 2018-12-17 20:49:28 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)

  4. 2018-12-17 20:49:28 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul 5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j 20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0

  5. 2018-12-17 20:49:28 [scrapy.crawler] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'FEED_URI': 'items.json', 'BOT_NAME': 'tutorial', 'ROBOTSTXT_OBEY': True, 'FEED_FORMAT': 'json'}

  6. 2018-12-17 20:49:28 [scrapy.middleware] INFO: Enabled extensions:

  7. ['scrapy.extensions.feedexport.FeedExporter',

  8. 'scrapy.extensions.corestats.CoreStats',

  9. 'scrapy.extensions.telnet.TelnetConsole',

  10. 'scrapy.extensions.logstats.LogStats']

  11. 2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled downloader middlewares:

  12. ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

  13. 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

  14. 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

  15. 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

  16. 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

  17. 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

  18. 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

  19. 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

  20. 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

  21. 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

  22. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',

  23. 'scrapy.downloadermiddlewares.stats.DownloaderStats']

  24. 2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled spider middlewares:

  25. ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

  26. 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

  27. 'scrapy.spidermiddlewares.referer.RefererMiddleware',

  28. 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

  29. 'scrapy.spidermiddlewares.depth.DepthMiddleware']

  30. 2018-12-17 20:49:29 [scrapy.middleware] INFO: Enabled item pipelines:

  31. ['tutorial.pipelines.TutorialPipeline']

  32. 2018-12-17 20:49:29 [scrapy.core.engine] INFO: Spider opened

  33. 2018-12-17 20:49:29 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

  34. 2018-12-17 20:49:29 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  35. 2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)

  36. 2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  37. 2018-12-17 20:49:29 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  38. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  39. {'desc': '中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com',

  40. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml',

  41. 'title': '中国论文写发网'}

  42. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  43. {'desc': '专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!',

  44. 'link': 'http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml',

  45. 'title': '专注代写论文网,论文代写,硕士论文代写,博士论文代写'}

  46. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  47. {'desc': '论文天下,免费提供:论文范文,免费论文,论文大全, '

  48. '论文下载,论文格式,论文提纲,论文发表,论文开题报告,论文题目等资料的查阅,有偿提供:论文代写、代发服务!',

  49. 'link': 'http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml',

  50. 'title': '论文天下'}

  51. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  52. {'desc': '河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔记/中国招教网/河南招教网/河南教师资格网',

  53. 'link': 'http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml',

  54. 'title': '河南教师网'}

  55. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  56. {'desc': '久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧!',

  57. 'link': 'http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml',

  58. 'title': '久久论文检测'}

  59. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  60. {'desc': '高三政治教学,政治高考,高中政治新课标,政治试卷,高中政治网址。',

  61. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml',

  62. 'title': '李国旺工作室'}

  63. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  64. {'desc': '笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务',

  65. 'link': 'http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml',

  66. 'title': '笔杆子论文'}

  67. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  68. {'desc': '中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com',

  69. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml',

  70. 'title': '中国论文热线网'}

  71. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  72. {'desc': '就要学习网是集教案,课件,试卷,毕业论文,教学视频为一体的免费资源网。',

  73. 'link': 'http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml',

  74. 'title': '就要学习网'}

  75. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  76. {'desc': '毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论文网|代做毕业设计|怎样写毕业论文',

  77. 'link': 'http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml',

  78. 'title': '新论文代写网'}

  79. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  80. {'desc': '天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率',

  81. 'link': 'http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml',

  82. 'title': '天喜缘婚介网-最好的婚征婚介网站'}

  83. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  84. {'desc': '诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。',

  85. 'link': 'http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml',

  86. 'title': '成都盛世阳光婚庆策划有限公司'}

  87. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  88. {'desc': '情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!',

  89. 'link': 'http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml',

  90. 'title': '情人网'}

  91. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  92. {'desc': '国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务',

  93. 'link': 'http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml',

  94. 'title': '国际免费婚介交友网站-相约100'}

  95. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  96. {'desc': '安徽婚庆网',

  97. 'link': 'http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml',

  98. 'title': '安徽婚庆网'}

  99. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  100. {'desc': '聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。',

  101. 'link': 'http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml',

  102. 'title': '聚缘北海交友网'}

  103. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  104. {'desc': '爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平',

  105. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml',

  106. 'title': '爱我吧婚恋网'}

  107. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  108. {'desc': '纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。',

  109. 'link': 'http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml',

  110. 'title': '77国际交友网'}

  111. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  112. {'desc': '东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望',

  113. 'link': 'http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml',

  114. 'title': '东莞韩风尚婚纱摄影工作室'}

  115. 2018-12-17 20:49:30 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  116. {'desc': '百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面',

  117. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml',

  118. 'title': '百合婚礼社区'}

  119. 2018-12-17 20:49:30 [scrapy.core.engine] INFO: Closing spider (finished)

  120. 2018-12-17 20:49:30 [scrapy.extensions.feedexport] INFO: Stored json feed (20 items) in: items.json

  121. 2018-12-17 20:49:30 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

  122. {'downloader/request_bytes': 698,

  123. 'downloader/request_count': 3,

  124. 'downloader/request_method_count/GET': 3,

  125. 'downloader/response_bytes': 14618,

  126. 'downloader/response_count': 3,

  127. 'downloader/response_status_count/200': 3,

  128. 'finish_reason': 'finished',

  129. 'finish_time': datetime.datetime(2018, 12, 17, 12, 49, 30, 79269),

  130. 'item_scraped_count': 20,

  131. 'log_count/DEBUG': 24,

  132. 'log_count/INFO': 8,

  133. 'response_received_count': 3,

  134. 'scheduler/dequeued': 2,

  135. 'scheduler/dequeued/memory': 2,

  136. 'scheduler/enqueued': 2,

  137. 'scheduler/enqueued/memory': 2,

  138. 'start_time': datetime.datetime(2018, 12, 17, 12, 49, 29, 574379)}

  139. 2018-12-17 20:49:30 [scrapy.core.engine] INFO: Spider closed (finished)

执行完毕后,在 tutorial 根目录 下就会有一个名为 items.json 的文件。

内容如下:

 
  1. #items.json 文件内容

  2. [

  3. {"title": "\u4e2d\u56fd\u8bba\u6587\u5199\u53d1\u7f51", "desc": "\u4e2d\u56fd\u8bba\u6587\u5199\u53d1\u7f51\u63d0\u4f9b\u514d\u8d39\u8bba\u6587,\u804c\u79f0\u8bba\u6587,\u6bd5\u4e1a\u8bba\u6587,\u7855\u58eb\u8bba\u6587,\u672c\u79d1\u8bba\u6587,MBA\u8bba\u6587,\u7535\u5927\u8bba\u6587,\u8ff0\u804c\u62a5\u544a,\u8bba\u6587\u4e0b\u8f7d,\u5de5\u4f5c\u603b\u7ed3,\u8bba\u6587\u63a8\u8350\u53d1\u8868,\u8bba\u6587\u5199\u4f5c\u6307\u5bfc,\u8bba\u6587\u7ffb\u8bd1\u7b49\u670d\u52a1,\u7f51\u5740www.lwxfw.com", "link": "http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml"},

  4. {"title": "\u4e13\u6ce8\u4ee3\u5199\u8bba\u6587\u7f51,\u8bba\u6587\u4ee3\u5199,\u7855\u58eb\u8bba\u6587\u4ee3\u5199,\u535a\u58eb\u8bba\u6587\u4ee3\u5199", "desc": "\u4e13\u6ce8\u4ee3\u5199\u8bba\u6587\u7f51,\u8bba\u6587\u4ee3\u5199,\u7855\u58eb\u8bba\u6587\u4ee3\u5199,\u535a\u58eb\u8bba\u6587\u4ee3\u5199,\u5404\u7c7b\u804c\u79f0\u8bba\u6587\u4ee3\u5199\u4ee3\u53d1!", "link": "http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml"},

  5. {"title": "\u8bba\u6587\u5929\u4e0b", "desc": "\u8bba\u6587\u5929\u4e0b\uff0c\u514d\u8d39\u63d0\u4f9b\uff1a\u8bba\u6587\u8303\u6587\uff0c\u514d\u8d39\u8bba\u6587\uff0c\u8bba\u6587\u5927\u5168\uff0c \u8bba\u6587\u4e0b\u8f7d\uff0c\u8bba\u6587\u683c\u5f0f\uff0c\u8bba\u6587\u63d0\u7eb2\uff0c\u8bba\u6587\u53d1\u8868\uff0c\u8bba\u6587\u5f00\u9898\u62a5\u544a\uff0c\u8bba\u6587\u9898\u76ee\u7b49\u8d44\u6599\u7684\u67e5\u9605\uff0c\u6709\u507f\u63d0\u4f9b\uff1a\u8bba\u6587\u4ee3\u5199\u3001\u4ee3\u53d1\u670d\u52a1\uff01", "link": "http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml"},

  6. {"title": "\u6cb3\u5357\u6559\u5e08\u7f51", "desc": "\u6cb3\u5357\u6559\u5e08\u7f51/\u6cb3\u5357\u6559\u5e08\u8003\u8bd5\u7f51/\u6cb3\u5357\u6559\u5e08\u8d44\u683c\u7f51/\u6cb3\u5357\u6559\u80b2\u4fe1\u606f\u7f51/\u6cb3\u5357\u6559\u5e08\u8d44\u683c\u8bc1\u5386\u5e74\u771f\u9898/\u6cb3\u5357\u6559\u5e08\u8d44\u683c\u8bc1\u590d\u4e60\u8d44\u6599/\u6cb3\u5357\u62db\u6559\u8003\u8bd5\u771f\u9898/\u6cb3\u5357\u62db\u6559\u8003\u8bd5\u590d\u4e60\u8d44\u6599/\u5b66\u4e60\u7b14\u8bb0/\u4e2d\u56fd\u62db\u6559\u7f51/\u6cb3\u5357\u62db\u6559\u7f51/\u6cb3\u5357\u6559\u5e08\u8d44\u683c\u7f51", "link": "http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml"},

  7. {"title": "\u4e45\u4e45\u8bba\u6587\u68c0\u6d4b", "desc": "\u4e45\u4e45\u8bba\u6587\u68c0\u6d4b\u7f51\u4e13\u4e1a\u63d0\u4f9b\u514d\u8d39\u8bba\u6587\u68c0\u6d4b\u3001\u8bba\u6587\u68c0\u6d4b\u8f6f\u4ef6\u3001\u8bba\u6587\u6284\u88ad\u68c0\u6d4b\u3001\u77e5\u7f51\u8bba\u6587\u68c0\u6d4b\u3001\u4e07\u65b9\u8bba\u6587\u68c0\u6d4b\u3001\u8bba\u6587\u4fee\u6539\u8d44\u6599\u4ee5\u53ca\u514d\u8d39\u8bba\u6587\u68c0\u6d4b\u7cfb\u7edf\u3002\u8ba9\u60a8\u6bd5\u4e1a\u7b54\u8fa9\u65e0\u5fe7\uff01", "link": "http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml"},

  8. {"title": "\u674e\u56fd\u65fa\u5de5\u4f5c\u5ba4", "desc": "\u9ad8\u4e09\u653f\u6cbb\u6559\u5b66\uff0c\u653f\u6cbb\u9ad8\u8003\uff0c\u9ad8\u4e2d\u653f\u6cbb\u65b0\u8bfe\u6807\uff0c\u653f\u6cbb\u8bd5\u5377\uff0c\u9ad8\u4e2d\u653f\u6cbb\u7f51\u5740\u3002", "link": "http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml"},

  9. {"title": "\u7b14\u6746\u5b50\u8bba\u6587", "desc": "\u7b14\u6746\u5b50\u8bba\u6587\u7f51\u63d0\u4f9b\u514d\u8d39\u8bba\u6587\u3001\u6bd5\u4e1a\u8bba\u6587\u3001\u8bba\u6587\u8303\u6587\u3001\u8bba\u6587\u4e0b\u8f7d\u3001\u5404\u4e13\u4e1a\u8bba\u6587\u3001\u5de5\u4f5c\u603b\u7ed3\u3001\u8bba\u6587\u5b9a\u5236\u3001\u53d1\u8868\u8bba\u6587\u3001\u8d2d\u4e70\u8bba\u6587\u3001\u8bba\u6587\u5199\u4f5c\u6307\u5bfc\u7b49\u670d\u52a1", "link": "http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml"},

  10. {"title": "\u4e2d\u56fd\u8bba\u6587\u70ed\u7ebf\u7f51", "desc": "\u4e2d\u56fd\u8bba\u6587\u70ed\u7ebf\u7f51\u63d0\u4f9b\u804c\u79f0\u8bba\u6587\u63a8\u8350\u53d1\u8868\u3001\u7701\u7ea7\u520a\u7269\u3001\u6838\u5fc3\u520a\u7269\u3001CN\u3001ISSN\u520a\u7269\u63a8\u8350\u53d1\u8868\u7b49\u670d\u52a1,\u53ef\u4ee5\u63a8\u8350\u53d1\u8868\u591a\u4e13\u4e1a\u804c\u79f0\u8bba\u6587,\u662f\u60a8\u804c\u79f0\u8bc4\u5ba1\u8bba\u6587\u53d1\u8868\u7684\u6700\u4f73\u4f19\u4f34,\u7f51\u5740www.lwrxw.com", "link": "http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml"},

  11. {"title": "\u5c31\u8981\u5b66\u4e60\u7f51", "desc": "\u5c31\u8981\u5b66\u4e60\u7f51\u662f\u96c6\u6559\u6848\uff0c\u8bfe\u4ef6\uff0c\u8bd5\u5377\uff0c\u6bd5\u4e1a\u8bba\u6587\uff0c\u6559\u5b66\u89c6\u9891\u4e3a\u4e00\u4f53\u7684\u514d\u8d39\u8d44\u6e90\u7f51\u3002", "link": "http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml"},

  12. {"title": "\u65b0\u8bba\u6587\u4ee3\u5199\u7f51", "desc": "\u6bd5\u4e1a\u8bba\u6587|\u6bd5\u4e1a\u8bbe\u8ba1|\u6bd5\u4e1a\u8bba\u6587\u8303\u6587|\u8ba1\u7b97\u673a\u6bd5\u4e1a\u8bbe\u8ba1|\u6bd5\u4e1a\u8bba\u6587\u683c\u5f0f\u8303\u6587|\u673a\u68b0\u6bd5\u4e1a\u8bbe\u8ba1|\u884c\u653f\u7ba1\u7406\u6bd5\u4e1a\u8bba\u6587|\u6bd5\u4e1a\u8bbe\u8ba1\u5f00\u9898\u62a5\u544a|\u8ba1\u7b97\u673a\u7f51\u7edc\u6bd5\u4e1a\u8bba\u6587|\u6bd5\u4e1a\u8bbe\u8ba1\u8bba\u6587|\u6bd5\u4e1a\u8bba\u6587\u7f51|\u4ee3\u505a\u6bd5\u4e1a\u8bbe\u8ba1|\u600e\u6837\u5199\u6bd5\u4e1a\u8bba\u6587", "link": "http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml"},

  13. {"title": "\u5929\u559c\u7f18\u5a5a\u4ecb\u7f51-\u6700\u597d\u7684\u5a5a\u5f81\u5a5a\u4ecb\u7f51\u7ad9", "desc": "\u5929\u559c\u7f18\u5a5a\u4ecb\u5a5a\u5e86\u7f51\u662f\u6d4e\u5357\u6700\u4e13\u4e1a\u7684\u5a5a\u4ecb\u7f51\u7ad9\u3001\u5a5a\u5e86\u7f51\u7ad9\uff0c\u4ea4\u53cb\u7f51\u7ad9\uff0c\u53ca\u6d4e\u5357\u5f81\u5a5a\u3001\u6d4e\u5357\u4ea4\u53cb\u3001\u6d4e\u5357\u5a5a\u4ecb\u3001\u6d4e\u5357\u5e86\u5178\u3001\u6d4e\u5357\u793c\u4eea\u4e8e\u4e00\u4f53\uff0c\u7f51\u4e0b\u6709\u5b9e\u4f53\u5e97\u9762-\u6d4e\u5357\u5e02\u5e02\u4e2d\u533a\u5929\u559c\u7f18\u5a5a\u4ecb\u5a5a\u5e86\u4e2d\u5fc3\uff0c\u4e0d\u5b9a\u671f\u4e3e\u529e\u8054\u8c0a\u6d3b\u52a8\uff0c\u4fdd\u8bc1\u4f1a\u5458\u6210\u529f\u7387", "link": "http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml"},

  14. {"title": "\u6210\u90fd\u76db\u4e16\u9633\u5149\u5a5a\u5e86\u7b56\u5212\u6709\u9650\u516c\u53f8", "desc": "\u8bda\u4fe1\u6295\u8d44\u63a7\u80a1\u96c6\u56e2\u5c5e\u4e8e\u56db\u5ddd\u7701\u5927\u578b\u4f01\u4e1a\u96c6\u56e2\uff0c\u5ddd\u5185\u6392\u4e8e\u524d20\u540d\uff0c\u6ce8\u518c\u8d44\u91d13.5\u4ebf\u5143\uff0c\u62e5\u6709\u56fa\u5b9a\u8d44\u4ea746.5\u4ebf\u3002\u516c\u53f8\u603b\u90e8\u4f4d\u4e8e\u6210\u90fd\u5e02\u81f4\u6c11\u4e1c\u8def1\u53f7\u3002\u5728\u5317\u4eac\u3001\u4e0a\u6d77\u3001\u65b0\u7586\u7b49\u5730\u8bbe\u6709\u5206\u516c\u53f8\u3002\u8bda\u4fe1\u76db\u4e16\u9633\u5149\u5a5a\u5e86\u516c\u53f8\u662f\u5176\u5b50\u516c\u53f8\u3002", "link": "http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml"},

  15. {"title": "\u60c5\u4eba\u7f51", "desc": "\u60c5\u4eba\u7f51\u4ea4\u53cb\u4e2d\u5fc3\u4e3a\u4f60\u63d0\u4f9b\u6700\u4f73\u7684\u7f51\u4e0a\u60c5\u4eba\u4ea4\u53cb\u673a\u4f1a\uff0c\u8db3\u4e0d\u51fa\u6237\u4fbf\u80fd\u8ba9\u4f60\u6709\u66f4\u591a\u7684\u9009\u62e9\uff01", "link": "http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml"},

  16. {"title": "\u56fd\u9645\u514d\u8d39\u5a5a\u4ecb\u4ea4\u53cb\u7f51\u7ad9-\u76f8\u7ea6100", "desc": "\u56fd\u9645\u514d\u8d39\u5a5a\u4ecb\u4ea4\u53cb\u7f51\u7ad9\u662f\u76f8\u7ea6100\u63d0\u4f9b\u7684\u5b8c\u5168\u514d\u8d39\u7684\u56fd\u9645\u4ea4\u53cb\u7f51\u7ad9\u3002\u4f1a\u5458\u4ee5\u534e\u4eba\u4e3a\u4e3b\u904d\u5e03\u4e94\u6e56\u56db\u6d77,\u6240\u6709\u4f1a\u5458\u5b8c\u5168\u514d\u8d39\u3002\u6240\u6709\u5bfb\u627e\u56fd\u9645\u514d\u8d39\u5a5a\u4ecb\u4ea4\u53cb\u7f51\u7ad9\u7684\u670b\u53cb\u90fd\u80fd\u5728\u56fd\u9645\u4ea4\u53cb\u7f51\u7ad9\u5728\u627e\u5230\u5b8c\u5168\u514d\u8d39\u7684\u56fd\u9645\u514d\u8d39\u5a5a\u4ecb\u4ea4\u53cb\u7f51\u7ad9\u670d\u52a1", "link": "http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml"},

  17. {"title": "\u5b89\u5fbd\u5a5a\u5e86\u7f51", "desc": "\u5b89\u5fbd\u5a5a\u5e86\u7f51", "link": "http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml"},

  18. {"title": "\u805a\u7f18\u5317\u6d77\u4ea4\u53cb\u7f51", "desc": "\u805a\u7f18\u5317\u6d77\u4ea4\u53cb\u7f51\u662f\u5317\u6d77\u5730\u533a\u8f83\u89c4\u8303\u7684\u5a5a\u604b\u4ea4\u53cb\u7f51\u7ad9\uff0c\u81f4\u529b\u4e8e\u8425\u9020\u6709\u8da3\u800c\u5b89\u5168\u7684\u7f51\u7edc\u4ea4\u53cb\u793e\u533a\uff0c\u63d0\u4f9b\u641c\u7d22\u3001\u7f8e\u6587\u3001\u7ea6\u4f1a\u3001\u65e5\u8bb0\u3001\u804a\u5929\u3001\u7b49\u591a\u9879\u4ea4\u53cb\u670d\u52a1\u3002\u5e76\u4e0e\u5730\u65b9\u5a5a\u4ecb\u90e8\u95e8\u5efa\u7acb\u4e86\u826f\u597d\u7684\u5408\u4f5c\u5173\u7cfb\u3002", "link": "http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml"},

  19. {"title": "\u7231\u6211\u5427\u5a5a\u604b\u7f51", "desc": "\u7231\u6211\u5427\u5a5a\u604b\u7f51\u662f\u4e00\u4e2a\u771f\u5b9e\u3001\u4e25\u8083\u3001\u9ad8\u54c1\u4f4d\u7684\u5a5a\u604b\u5e73\u53f0\uff0c\u63d0\u4f9b\u79d1\u5b66\u3001\u9ad8\u6548\u7684\u5168\u7a0b\u670d\u52a1\uff0c\u5e2e\u52a9\u771f\u5fc3\u5bfb\u627e\u7ec8\u8eab\u4f34\u4fa3\u7684\u4eba\u58eb\u5b9e\u73b0\u548c\u8c10\u5a5a\u604b\uff0c\u52aa\u529b\u8425\u9020\u56fd\u5185\u6700\u4e13\u4e1a\u3001\u4e25\u8083\u7684\u5a5a\u604b\u4ea4\u53cb\u5e73", "link": "http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml"},

  20. {"title": "77\u56fd\u9645\u4ea4\u53cb\u7f51", "desc": "\u7eaf\u516c\u76ca\u6027\uff0c\u7231\u5fc3\u793e\u4ea4\u7f51\u7ad9\uff0c\u4e3a\u5e7f\u5927\u9752\u5e74\u53ca\u5355\u8eab\u4eba\u58eb\u63d0\u4f9b\u7684\u5168\u514d\u8d39\u4ea4\u53cb\u5e73\u53f0\u3002", "link": "http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml"},

  21. {"title": "\u4e1c\u839e\u97e9\u98ce\u5c1a\u5a5a\u7eb1\u6444\u5f71\u5de5\u4f5c\u5ba4", "desc": "\u4e1c\u839e\u97e9\u98ce\u5c1a\u5a5a\u7eb1\u6444\u5f71\u5de5\u4f5c\u5ba4\u662f\u5177\u6709\u72ec\u7279\u7684\u97e9\u56fd\u98ce\u683c\u7684\u4e1c\u839e\u5a5a\u7eb1\u6444\u5f71\u5de5\u4f5c\u5ba4\uff0c\u97e9\u98ce\u5c1a\u4f4d\u4e8e\u4e1c\u839e\u4e1c\u57ce\u533a\u65d7\u5cf0\u8def\u56fd\u6cf0\u5927\u53a610\u53f7,\u6211\u4eec\u6c38\u8fdc\u6ee1\u6000\u521b\u610f\u4e0e\u6e29\u60c5,\u901a\u8fc7\u4e00\u5bf9\u4e00\u7684\u670d\u52a1\u4e3a\u60a8\u63d0\u4f9b\u8d85\u8d8a\u60a8\u671f\u671b", "link": "http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml"},

  22. {"title": "\u767e\u5408\u5a5a\u793c\u793e\u533a", "desc": "\u767e\u5408\u5a5a\u793c\u793e\u533a\u8ba8\u8bba\u8bdd\u9898\u6db5\u76d6\u5a5a\u7eb1\u7167\u3001\u5a5a\u7eb1\u6444\u5f71\u3001\u5a5a\u793c\u7b79\u5907\u3001\u5a5a\u7eb1\u793c\u670d\u3001\u5a5a\u5e86\u7b49\u65b9\u9762", "link": "http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml"}

  23. ]

得到的保存的文件的内容就是我们需要的,但是这是二进制编码的形式。

(我目前还没有找到用于 Python 3 的解决方案,以后解决了再补充,也希望各位大佬看到了,能够不吝赐教。谢谢!)

哈哈,问题已经解决了,请看下面:

首先需要解释一点就是:pipeline.py 就是用于处理 item 的,所以,我们在pipeline.py 文件中对保存的文件进行处理操作:

将pipeline.py 写成这样:

 
  1. # -*- coding: utf-8 -*-

  2. # Define your item pipelines here

  3. #

  4. # Don't forget to add your pipeline to the ITEM_PIPELINES setting

  5. # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

  6. import json

  7. class TutorialPipeline(object):

  8. def __init__(self):

  9. self.f = open('items.json', 'wb')

  10. def process_item(self, item, spider):

  11. line = json.dumps(dict(item), ensure_ascii = False) + "\n"

  12. self.f.write(line.encode('utf-8'))

  13. return item

  14. def close_spider(self, spider):

  15. self.f.close()

因为读取到的网页是 二进制文件,所以我们在__init__ 方法中, 建一个名为 items.json 的文件,以二进制形式写入。

在 process_item 方法中,对 item 文件进行编码 写入操作,最后在 close_spider 方法中,关闭文件。

接下来,就在settings.py 文件中开启 pipeline,加入下面的命令即可:

 
  1. ITEM_PIPELINES = {

  2. 'tutorial.pipelines.TutorialPipeline': 300,

  3. }

其中,TutorialPipeline 就是 pipeline.py 文件中的 类名

另外有一点需要提醒的是:

因为我们在 pipeline.py 中完成了新建文件的操作,所以 在CMD 中输入的命令 应该改为:scrapy crawl dmoz -t json

 
  1. C:\Users\XiangyangDai\Desktop\tutorial>scrapy crawl dmoz -t json

  2. 2018-12-17 21:43:57 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)

  3. 2018-12-17 21:43:57 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul 5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j 20 Nov 2018), cryptography 2.4.2, Platform Windows-10-10.0.17134-SP0

  4. 2018-12-17 21:43:57 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'tutorial', 'NEWSPIDER_MODULE': 'tutorial.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['tutorial.spiders']}

  5. 2018-12-17 21:43:57 [scrapy.middleware] INFO: Enabled extensions:

  6. ['scrapy.extensions.logstats.LogStats',

  7. 'scrapy.extensions.telnet.TelnetConsole',

  8. 'scrapy.extensions.corestats.CoreStats']

  9. 2018-12-17 21:43:58 [scrapy.middleware] INFO: Enabled downloader middlewares:

  10. ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',

  11. 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

  12. 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

  13. 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

  14. 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',

  15. 'scrapy.downloadermiddlewares.retry.RetryMiddleware',

  16. 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

  17. 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

  18. 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

  19. 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

  20. 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',

  21. 'scrapy.downloadermiddlewares.stats.DownloaderStats']

  22. 2018-12-17 21:43:58 [scrapy.middleware] INFO: Enabled spider middlewares:

  23. ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

  24. 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

  25. 'scrapy.spidermiddlewares.referer.RefererMiddleware',

  26. 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',

  27. 'scrapy.spidermiddlewares.depth.DepthMiddleware']

  28. 2018-12-17 21:43:58 [scrapy.middleware] INFO: Enabled item pipelines:

  29. ['tutorial.pipelines.TutorialPipeline']

  30. 2018-12-17 21:43:58 [scrapy.core.engine] INFO: Spider opened

  31. 2018-12-17 21:43:58 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

  32. 2018-12-17 21:43:58 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

  33. 2018-12-17 21:43:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/robots.txt> (referer: None)

  34. 2018-12-17 21:43:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=230> (referer: None)

  35. 2018-12-17 21:43:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.dmozdir.org/Category/?SmallPath=411> (referer: None)

  36. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  37. {'desc': '中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论 文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com',

  38. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml',

  39. 'title': '中国论文写发网'}

  40. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  41. {'desc': '专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!',

  42. 'link': 'http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml',

  43. 'title': '专注代写论文网,论文代写,硕士论文代写,博士论文代写'}

  44. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  45. {'desc': '论文天下,免费提供:论文范文,免费论文,论文大全, '

  46. '论文下载,论文格式,论文提纲,论文发表,论文开题报告,论文题目等资料的查阅,有偿提供:论文代写、代发服务!',

  47. 'link': 'http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml',

  48. 'title': '论文天下'}

  49. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  50. {'desc': '河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔记/中国招教网/河南招教网/河南教师资格网',

  51. 'link': 'http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml',

  52. 'title': '河南教师网'}

  53. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  54. {'desc': '久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧!',

  55. 'link': 'http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml',

  56. 'title': '久久论文检测'}

  57. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  58. {'desc': '高三政治教学,政治高考,高中政治新课标,政治试卷,高中政治网址。',

  59. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml',

  60. 'title': '李国旺工作室'}

  61. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  62. {'desc': '笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务',

  63. 'link': 'http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml',

  64. 'title': '笔杆子论文'}

  65. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  66. {'desc': '中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com',

  67. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml',

  68. 'title': '中国论文热线网'}

  69. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  70. {'desc': '就要学习网是集教案,课件,试卷,毕业论文,教学视频为一体的免费资源网。',

  71. 'link': 'http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml',

  72. 'title': '就要学习网'}

  73. 2018-12-17 21:43:58 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=230>

  74. {'desc': '毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论文网|代做毕业设计|怎样写毕业论文',

  75. 'link': 'http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml',

  76. 'title': '新论文代写网'}

  77. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  78. {'desc': '天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率',

  79. 'link': 'http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml',

  80. 'title': '天喜缘婚介网-最好的婚征婚介网站'}

  81. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  82. {'desc': '诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都 市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。',

  83. 'link': 'http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml',

  84. 'title': '成都盛世阳光婚庆策划有限公司'}

  85. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  86. {'desc': '情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!',

  87. 'link': 'http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml',

  88. 'title': '情人网'}

  89. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  90. {'desc': '国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务',

  91. 'link': 'http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml',

  92. 'title': '国际免费婚介交友网站-相约100'}

  93. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  94. {'desc': '安徽婚庆网',

  95. 'link': 'http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml',

  96. 'title': '安徽婚庆网'}

  97. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  98. {'desc': '聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。',

  99. 'link': 'http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml',

  100. 'title': '聚缘北海交友网'}

  101. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  102. {'desc': '爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平',

  103. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml',

  104. 'title': '爱我吧婚恋网'}

  105. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  106. {'desc': '纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。',

  107. 'link': 'http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml',

  108. 'title': '77国际交友网'}

  109. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  110. {'desc': '东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们 永远满怀创意与温情,通过一对一的服务为您提供超越您期望',

  111. 'link': 'http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml',

  112. 'title': '东莞韩风尚婚纱摄影工作室'}

  113. 2018-12-17 21:43:59 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.dmozdir.org/Category/?SmallPath=411>

  114. {'desc': '百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面',

  115. 'link': 'http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml',

  116. 'title': '百合婚礼社区'}

  117. 2018-12-17 21:43:59 [scrapy.core.engine] INFO: Closing spider (finished)

  118. 2018-12-17 21:43:59 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

  119. {'downloader/request_bytes': 698,

  120. 'downloader/request_count': 3,

  121. 'downloader/request_method_count/GET': 3,

  122. 'downloader/response_bytes': 14618,

  123. 'downloader/response_count': 3,

  124. 'downloader/response_status_count/200': 3,

  125. 'finish_reason': 'finished',

  126. 'finish_time': datetime.datetime(2018, 12, 17, 13, 43, 59, 33263),

  127. 'item_scraped_count': 20,

  128. 'log_count/DEBUG': 24,

  129. 'log_count/INFO': 7,

  130. 'response_received_count': 3,

  131. 'scheduler/dequeued': 2,

  132. 'scheduler/dequeued/memory': 2,

  133. 'scheduler/enqueued': 2,

  134. 'scheduler/enqueued/memory': 2,

  135. 'start_time': datetime.datetime(2018, 12, 17, 13, 43, 58, 626475)}

  136. 2018-12-17 21:43:59 [scrapy.core.engine] INFO: Spider closed (finished)

items.json 文件内容如下:

 
  1. {"link": "http://www.dmozdir.org/SiteInformation/?www.lwxfw.com-----13589-----.shtml", "title": "中国论文写发网", "desc": "中国论文写发网提供免费论文,职称论文,毕业论文,硕士论文,本科论文,MBA论文,电大论文,述职报告,论文下载,工作总结,论文推荐发表,论文写作指导,论文翻译等服务,网址www.lwxfw.com"}

  2. {"link": "http://www.dmozdir.org/SiteInformation/?www.zzlunwen010.com-----28351-----.shtml", "title": "专注代写论文网,论文代写,硕士论文代写,博士论文代写", "desc": "专注代写论文网,论文代写,硕士论文代写,博士论文代写,各类职称论文代写代发!"}

  3. {"link": "http://www.dmozdir.org/SiteInformation/?www.su30.net-----20547-----.shtml", "title": "论文天下", "desc": "论文天下,免费提供:论文范文,免费论文,论文大全, 论文下载,论文格式,论文提纲,论文发表,论文开题报告,论文题目等资料的查阅,有偿提供:论文代写、代发服务!"}

  4. {"link": "http://www.dmozdir.org/SiteInformation/?www.hateacher.com-----31307-----.shtml", "title": "河南教师网", "desc": "河南教师网/河南教师考试网/河南教师资格网/河南教育信息网/河南教师资格证历年真题/河南教师资格证复习资料/河南招教考试真题/河南招教考试复习资料/学习笔记/中国招教网/河南招教网/河南教师资格网"}

  5. {"link": "http://www.dmozdir.org/SiteInformation/?www.99fx.net-----38891-----.shtml", "title": "久久论文检测", "desc": "久久论文检测网专业提供免费论文检测、论文检测软件、论文抄袭检测、知网论文检测、万方论文检测、论文修改资料以及免费论文检测系统。让您毕业答辩无忧!"}

  6. {"link": "http://www.dmozdir.org/SiteInformation/?www.lgwlncy.com-----12221-----.shtml", "title": "李国旺工作室", "desc": "高三政治教学,政治高考,高中政治新课标,政治试卷,高中政治网址。"}

  7. {"link": "http://www.dmozdir.org/SiteInformation/?www.bgzlw.com-----45851-----.shtml", "title": "笔杆子论文", "desc": "笔杆子论文网提供免费论文、毕业论文、论文范文、论文下载、各专业论文、工作总结、论文定制、发表论文、购买论文、论文写作指导等服务"}

  8. {"link": "http://www.dmozdir.org/SiteInformation/?www.lwrxw.com-----15692-----.shtml", "title": "中国论文热线网", "desc": "中国论文热线网提供职称论文推荐发表、省级刊物、核心刊物、CN、ISSN刊物推荐发表等服务,可以推荐发表多专业职称论文,是您职称评审论文发表的最佳伙伴,网址www.lwrxw.com"}

  9. {"link": "http://www.dmozdir.org/SiteInformation/?www.62355065.cn-----11960-----.shtml", "title": "就要学习网", "desc": "就要学习网是集教案,课件,试卷,毕业论文,教学视频为一体的免费资源网。"}

  10. {"link": "http://www.dmozdir.org/SiteInformation/?www.newlw.com-----25276-----.shtml", "title": "新论文代写网", "desc": "毕业论文|毕业设计|毕业论文范文|计算机毕业设计|毕业论文格式范文|机械毕业设计|行政管理毕业论文|毕业设计开题报告|计算机网络毕业论文|毕业设计论文|毕业论文网|代做毕业设计|怎样写毕业论文"}

  11. {"link": "http://www.dmozdir.org/SiteInformation/?www.love219.com-----14846-----.shtml", "title": "天喜缘婚介网-最好的婚征婚介网站", "desc": "天喜缘婚介婚庆网是济南最专业的婚介网站、婚庆网站,交友网站,及济南征婚、济南交友、济南婚介、济南庆典、济南礼仪于一体,网下有实体店面-济南市市中区天喜缘婚介婚庆中心,不定期举办联谊活动,保证会员成功率"}

  12. {"link": "http://www.dmozdir.org/SiteInformation/?www.ssyg520.com-----27215-----.shtml", "title": "成都盛世阳光婚庆策划有限公司", "desc": "诚信投资控股集团属于四川省大型企业集团,川内排于前20名,注册资金3.5亿元,拥有固定资产46.5亿。公司总部位于成都市致民东路1号。在北京、上海、新疆等地设有分公司。诚信盛世阳光婚庆公司是其子公司。"}

  13. {"link": "http://www.dmozdir.org/SiteInformation/?www.591lover.net-----36999-----.shtml", "title": "情人网", "desc": "情人网交友中心为你提供最佳的网上情人交友机会,足不出户便能让你有更多的选择!"}

  14. {"link": "http://www.dmozdir.org/SiteInformation/?www.free-onlinedating.me-----10110-----.shtml", "title": "国际免费婚介交友网站-相约100", "desc": "国际免费婚介交友网站是相约100提供的完全免费的国际交友网站。会员以华人为主遍布五湖四海,所有会员完全免费。所有寻找国际免费婚介交友网站的朋友都能在国际交友网站在找到完全免费的国际免费婚介交友网站服务"}

  15. {"link": "http://www.dmozdir.org/SiteInformation/?www.ahhqw.com-----18983-----.shtml", "title": "安徽婚庆网", "desc": "安徽婚庆网"}

  16. {"link": "http://www.dmozdir.org/SiteInformation/?www.jyjjyy.com-----19343-----.shtml", "title": "聚缘北海交友网", "desc": "聚缘北海交友网是北海地区较规范的婚恋交友网站,致力于营造有趣而安全的网络交友社区,提供搜索、美文、约会、日记、聊天、等多项交友服务。并与地方婚介部门建立了良好的合作关系。"}

  17. {"link": "http://www.dmozdir.org/SiteInformation/?www.lovemeba.com-----9983-----.shtml", "title": "爱我吧婚恋网", "desc": "爱我吧婚恋网是一个真实、严肃、高品位的婚恋平台,提供科学、高效的全程服务,帮助真心寻找终身伴侣的人士实现和谐婚恋,努力营造国内最专业、严肃的婚恋交友平"}

  18. {"link": "http://www.dmozdir.org/SiteInformation/?www.77lds.com-----37176-----.shtml", "title": "77国际交友网", "desc": "纯公益性,爱心社交网站,为广大青年及单身人士提供的全免费交友平台。"}

  19. {"link": "http://www.dmozdir.org/SiteInformation/?www.dg-hfs.com-----18760-----.shtml", "title": "东莞韩风尚婚纱摄影工作室", "desc": "东莞韩风尚婚纱摄影工作室是具有独特的韩国风格的东莞婚纱摄影工作室,韩风尚位于东莞东城区旗峰路国泰大厦10号,我们永远满怀创意与温情,通过一对一的服务为您提供超越您期望"}

  20. {"link": "http://www.dmozdir.org/SiteInformation/?www.lilywed.cn-----9976-----.shtml", "title": "百合婚礼社区", "desc": "百合婚礼社区讨论话题涵盖婚纱照、婚纱摄影、婚礼筹备、婚纱礼服、婚庆等方面"}文章来源地址https://www.toymoban.com/news/detail-600664.html

终于是中文了,看着就是舒服。

到了这里,关于《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【100天精通python】Day41:python网络爬虫开发_爬虫基础入门

    目录  专栏导读  1网络爬虫概述 1.1 工作原理 1.2 应用场景 1.3 爬虫策略

    2024年02月12日
    浏览(49)
  • 【零基础入门Python爬虫】第三节 Python Selenium

    Python Selenium 是一种自动化测试框架,可以模拟用户在浏览器中的交互行为。它是一个基于浏览器驱动程序的工具,可用于Web应用程序测试、数据采集等方面,能够让开发人员通过代码自动化地模拟用户在浏览器中的操作,并获取到所需的数据。 Selenium的主要优势是它可以模拟

    2024年02月04日
    浏览(61)
  • Python基础入门之网络爬虫利器:lxml详解

    导语:网络爬虫是数据采集和信息提取的重要工具之一。在Python中,lxml库是一款功能强大且高效的网络爬虫工具,具有解析HTML和XML文档、XPath定位、数据提取等功能。本文将详细介绍lxml库的使用方法,并提供相应的代码示例。 lxml库 lxml是一个HTML/XML的解析器,主要的功能是

    2024年02月07日
    浏览(49)
  • python爬虫基础入门——利用requests和BeautifulSoup

    (本文是自己学习爬虫的一点笔记和感悟) 经过python的初步学习,对字符串、列表、字典、元祖、条件语句、循环语句……等概念应该已经有了整体印象,终于可以着手做一些小练习来巩固知识点,写爬虫练习再适合不过。 爬虫的本质就是从网页中获取所需的信息,对网页

    2024年02月15日
    浏览(60)
  • Python爬虫学习笔记(一)---Python入门

    pycharm的安装可以自行去搜索教程。 pycharm的使用需要注意: 1、venv文件夹是这个项目的虚拟环境文件,应与代码文件分开。 2、如果运行没有,最后一行是“进程已结束,退出代码为0”,如果最后不是0,那么,就说明运行出错。 print括号中使用单引号或者双引号都是可以的。

    2024年01月17日
    浏览(33)
  • 【超简版,代码可用!】【0基础Python爬虫入门——下载歌曲/视频】

    科普: get:公开数据 post:加密 ,个人信息 科普: 爬哪个网址? 怎么找视频/音频网址? 都是指URL,并非最上方的地址 把URL复制即可 如下操作: 解释:【看不懂没关系!请看下面的代码!可以直接套用】 res=requests.get(url) # 发送请求 print(res.content) # 获取二进制数据 wb 写入

    2024年01月24日
    浏览(52)
  • 014集:python访问互联网:网络爬虫实例—python基础入门实例

    以pycharm环境为例: 首先需要安装各种库(urllib:requests:Openssl-python等) python爬虫中需要用到的库,大致可分为:1、实现 HTTP 请求操作的请求库;2、从网页中提取信息的解析库;3、Python与数据库交互的存储库;4、爬虫框架;5、Web框架库。 一、请求库 实现 HTTP 请求操作 1、

    2024年01月16日
    浏览(51)
  • 最简单的python爬虫案例,适合入门学习

    用python从网页爬取数据,网上相关文章很多,但能让零基础初学者轻松上手的却很少。可能是有的作者觉得有些知识点太简单不值得花费精力讲,结果是难者不会会者不难,初学者常常因此而蒙圈。本人也是小白,刚摸索着爬了两个简单的网页数据,经历了初学者易犯的各种

    2024年02月08日
    浏览(41)
  • Python爬虫入门:HTTP与URL基础解析及简单示例实践

    在数字化时代,数据已成为一种宝贵的资源。Python作为一种强大的编程语言,在数据采集和处理方面表现出色。爬虫技术,即网络爬虫,是Python中用于数据采集的重要工具。本文作为Python爬虫基础教程的第一篇,将深入讲解URL和HTTP的基础知识,为后续的爬虫实践打下坚实的基

    2024年03月22日
    浏览(44)
  • Python爬虫学习笔记(一)————网页基础

    目录 1.网页的组成 2.HTML (1)标签 (2)比较重要且常用的标签: ①列表标签 ②超链接标签 (a标签) ③img标签:用于渲染,图片资源的标签 ④div标签和span标签 (3)属性 (4)常用的语义化标签 (5)元素的分类及特点 ①块元素 ②行内元素 ③行内块元素 (6)文件路径 (

    2024年02月15日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包