第一个demo

admin

爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:

安装1、通过GitHub下载

1. require_once __DIR__ . '/../autoloader.php';
   
2. use phpspider\core\phpspider;

复制代码

2、通过composer下载

1. composer require owner888/phpspider

复制代码

1. require './vendor/autoload.php';
   
2. use phpspider\core\phpspider;

复制代码

3、加上一段很讨厌的注释，别问我为什么，我就是这么讨厌 ^_^

1. /* Do NOT delete this comment */
   
2. /* 不要删除这段注释 */

复制代码

1. $configs = array(
   
2.     'name' => '糗事百科',
   
3.     'domains' => array(
   
4.         'qiushibaike.com',
   
5.         'www.qiushibaike.com'
   
6.     ),
   
7.     'scan_urls' => array(
   
8.         'http://www.qiushibaike.com/'
   
9.     ),
   
10.     'content_url_regexes' => array(
    
11.         "http://www.qiushibaike.com/article/\d+"
    
12.     ),
    
13.     'list_url_regexes' => array(
    
14.         "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+"
    
15.     ),
    
16.     'fields' => array(
    
17.         array(
    
18.             // 抽取内容页的文章内容
    
19.             'name' => "article_content",
    
20.             'selector' => "//*[@id='single-next-link']",
    
21.             'required' => true
    
22.         ),
    
23.         array(
    
24.             // 抽取内容页的文章作者
    
25.             'name' => "article_author",
    
26.             'selector' => "//div[contains(@class,'author')]//h2",
    
27.             'required' => true
    
28.         ),
    
29.     ),
    
30. );
    
31. $spider = new phpspider($configs);
    
32. $spider->start();

复制代码

爬虫的整体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 然后通过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面如下:


$configs对象如何定义, 后面会作详细介绍.^_^