Webスクレイピング手法　preg_match vs. simple_html_dom

March 14, 2016 – 11:57 am

公開Webから情報を抽出するWebスクレイピングについてさまざま議論されている。このブログサイトでも、Yahoo Financeから為替とか株価データを抽出する方法を試してきた。そこでは、php関数 preg_match_all()を用いた正規表現マッチによる。正規表現マッチ以外にも、DOM解析による方法などがあるようだ。

ここでは、日経電子版のフロントページ(http://www.nikkei.com/)に掲載される主な市場指標から表示値の取得をターゲットとし、preg_match_all.phpとDOM解析を基本とするsimple_html_dom.phpの二つのツールを用いてスクレイピング法を比較してみた。

結論めいたことを言うと、原始的で泥臭い手法ではあるが、私にとっては、正規表現マッチによる方法が小回りが利いて良さそうだ。

preg_match_allを使った値の取得：

test_preg_match.php ソース：


<?php

    $url ="http://www.nikkei.com/"; 
//
    $ch  = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $feed = curl_exec($ch);
    curl_close($ch);
//

$feed = str_replace(array("\r\n","\r","\n"), '', $feed);

$n = preg_match_all("/\"a-vam\">([^<]+)<span[^<]+_unit\">\(([^<]*)\)<\/span>/", $feed, $cell, PREG_PATTERN_ORDER);
print_r($cell);
$n = preg_match_all("/<span class=\"m-market_exchange_date\">([^<]*)<\/span>/", $feed, $cell, PREG_PATTERN_ORDER);
print_r($cell);
$n = preg_match_all("/<td class=\"m-market_rate\">([^<]*)<\/td>/", $feed, $cell, PREG_PATTERN_ORDER);
print_r($cell);
$n = preg_match_all("/<td class=\"m-market_before[^<]+\">([^<]*)<\/td>/", $feed, $cell, PREG_PATTERN_ORDER);
print_r($cell);
$n = preg_match_all("/<td class=\"m-market_percent[^<]+\">([^<]*)<\/td>/", $feed, $cell, PREG_PATTERN_ORDER);
print_r($cell); 

?>

test_preg_match.php 出力例：

simple_html_dom を活用した値の取得

test_html_dom.phpソース:

<?php
include "simple_html_dom.php";
    $url ="http://www.nikkei.com/";
//
    $ch  = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $feed = curl_exec($ch);
    curl_close($ch);
//

$feed = str_replace(array("\r\n","\r","\n"), '', $feed);

$html = new simple_html_dom();
$html->load( $feed );

$feed_table_tag = "";
foreach($html->find("table") as $element){
   $feed_table_tag  .= $element->outertext;
}

$html->load( $feed_table_tag );
$array01 = $html->find("span.a-vam");
$array02 = $html->find("span.m-market_exchange_date"); 

$cell = array();
foreach( $html->find("span.a-vam") as $element) {
//   echo $element->plaintext . "\n";
     $cell[0][] = $element->outertext;
     $cell[1][] = $element->innertext;
     $cell[2][] = $element->plaintext;
}
print_r($cell);

$cell = array();
foreach( $html->find("span.m-market_exchange_date") as $element) {
//    echo $element->outertext . "\n";
    $cell[0][] = $element->outertext;
    $cell[1][] = $element->innertext;
}
print_r($cell);

$cell = array();
foreach( $html->find("td.m-market_rate") as $element) {
//    echo $element->outertext . "\n";
    $cell[0][] = $element->outertext;
    $cell[1][] = $element->innertext;
}
print_r($cell);

$cell = array();
foreach( $html->find("td.m-market_rate") as $element) {
//    echo $element->outertext . "\n";
    $cell[0][] = $element->outertext;
    $cell[1][] = $element->innertext;
}
print_r($cell);

$cell = array();
foreach( $html->find("td.m-market_before") as $element ) {
//         echo $element->outertext . "\n";
    $cell[0][] = $element->outertext;
    $cell[1][] = $element->innertext;
}
print_r($cell);

$cell = array();
foreach( $html->find("td.m-market_percent") as $element ) {
//         echo $element->outertext . "\n";
    $cell[0][] = $element->outertext;
    if ( !$element->innertext ) $element->innertext = " ";
    $cell[1][] = $element->innertext;
}
print_r($cell);

?>

test_html_dom.php 出力例

2024	11	10	09	08	07	06
	05	04	03	02	01
2023	12	11	10	09	08	07
	06	05	04	03	02	01
2022	12	11	10	09	08	07
	06	05	04	03	02	01
2021	12	11	10	09	08	07
	06	05	04	03	02	01
2020	12	11	10	09	08	07
	06	05	04	03	02	01
2019	12	11	10	09	08	07
	06	05	04	03	02	01
2018	12	11	10	09	08	07
	06	05	04	03	02	01
2017	12	11	10	09	08	07
	06	05	04	03	02	01
2016	12	11	10	09	08	07
	06	05	04	03	02	01
2015	12	11	10	09	08	07
	06	05	04	03	02	01
2014	12	11	10	09	08	07
	06	05	04	03	02	01
2013	12	11	10	09	08	07
	06	05	04	03	02	01
2012	12	11	10	09	08	07
	06	05	04	03	02	01
2011	12	11	10	09	08	07
	06	05	04	03	02	01
2010	12	11	10	09	08	07
	06	05	04	03	02	01
2009	12	11	10	09	08	07
	06	05	04	03	02	01
2008	12	11	10	09	08	07
	06	05	04	03	02	01
2007	12	11	07	02	01
2006	11

Yama's Memorandum