PHPでのページング処理のサンプル。「とりあえず9JP」で、紹介されていたPHPのページング処理を見たら、対象のログファイルを全て読み込んで、そこから必要なデータを出力していたので、軽いファイルの時はまだしも、ちょっとファイルサイズが大きくなったら厳しいと思ったので、片手間に改良してみました。

改良版

PHPでのページング処理のサンプル。で作られたソースを極力変えずに、必要な部分のみ改修してあります。ちょっとエラーもあったので、合わせて修正してあります。

ソース

class TekitouPager {

    private $dataArr = array();
    private $pageNum = null;
    private $maxPageNum = null;

    function __construct($dataFile, $maxRecodeNum,$pageNum = '') {
        $start = $pageNum * $maxRecodeNum;
        $end = $start + $maxRecodeNum;
        $file = new SplFileObject($dataFile);
        for($i=$start;$i<$end;$i++){
            $file->seek($i);
            $this->dataArr[] = $file->current();
        }
        //ページ数を計算
        $count = 0;
        foreach ($file as $line) {
            $count++;
        }
        $this->maxPageNum = ceil($count / $maxRecodeNum);
        $this->pageNum = intval($pageNum);
    }

    function getPageData() {
        //指定されたページの配列を返す
        return $this->dataArr;
    }

    function getNaviLink() {
        $naviLink = '';
        for ($i = 0; $i < $this->maxPageNum ; $i++) {
            //現在のページと一致する場合、太字等の強調
            if ($i != $this->pageNum) {
                $naviLink .= sprintf('<a href="%s?page=%d">%d</a>&nbsp;', $_SERVER['SCRIPT_NAME'], $i, $i);
            }
            else {
                $naviLink .= sprintf('<b><a href="%s?page=%d">%d</a></b>&nbsp;', $_SERVER['SCRIPT_NAME'], $i, $i);
            }
        }
        return $naviLink;
    }

    function getNextLink() {
        //次のページが存在する場合、次のページへのリンク
        if ($this->maxPageNum > $this->pageNum + 1) {
            return sprintf('<a href="%s?page=%d">Next</a>&nbsp;', $_SERVER['SCRIPT_NAME'], $this->pageNum + 1);
        }

    }

    function getPrevLink() {
        //現在のページが0では無い場合、前のページへのリンク
        if ($this->pageNum != 0) {
            return sprintf('<a href="%s?page=%d">Prev</a>&nbsp;', $_SERVER['SCRIPT_NAME'], $this->pageNum - 1);
        }
    }

}

if(isset($_GET['page'])){
    $page = $_GET['page'];
}else{
    $page = 0;
}
$pager = new TekitouPager('data.dat', 5,$page);
var_dump($pager->getPageData());
echo $pager->getPrevLink() . $pager->getNaviLink() . $pager->getNextLink();

2011/06/28 23:15 追記

とりあえず9JPの@buffbuffratさんから、次ページリンクの処理がこのままだとできないと指摘をいただいたため、慌てて修正しました。ありがとうございます。

変更箇所は、ファイルが何行あるのか調べるという部分です。

$file = new SplFileObject($dataFile);
//ページ数を計算
$count = 0;
foreach ($file as $line) {
    $count++;
}

こんな感じです。

なにを変えたか

ページング自体のロジックは変更していません。ファイルを読み込む方法を変更してあります。元のソースは file() で全てを読み込み、配列に格納していましたが1000行も超えてくるとメモリ消費も馬鹿になりません。

そこで、SplFileObjectを使って、ファイルポインタを移動して、必要な行のみを取得しています。これであれば、メモリも最低限でいけます。

さすがに数万とかになってくるとポインタ移動だけで、けっこうな負荷になりますが、それでも全部読み込むよりはましだと思います。

実際にパフォーマンスを測ってみた

abで簡単にパフォーマンスを測ってみました。

ファイルサイズが大きくなるにつれてパフォーマンスの差も出てきますね。

モデルの作成

config/database.php

class DATABASE_CONFIG {

 //MySQL_DB
 var $default = array(
  'driver' => 'mysql',
  'persistent' => false,
  'host' => 'localhost',
  'login' => 'id',
  'password' => 'pass',
  'database' => 'name',
  'prefix' => '',
 );

 //PostgreSQL_DB
 var $pg = array(
  'driver' => 'postgres',
  'persistent' => false,
  'host' => '192.168.0.100',
  'login' => 'id',
  'password' => 'pass',
  'database' => 'name',
  'encoding' => 'EUC_JP',
  'prefix' => '',
  'port' => 5432,
 );
}

app_model.php

//PostgreSQL用（EUC）
class PgAppModel extends Model {

 function beforeFind($queryData) {
  // クエリパラメータの配列を、DB文字コードに変換
  array_walk_recursive($queryData, array($this, 'encodeToDbEncoding'));
  return $queryData;
 }

 function afterFind($results, $primary = false) {
  // 取得結果の配列を、内部文字コードに変換
  array_walk_recursive($results, array($this, 'decodeFromDbEncoding'));
  return $results;
 }

 function beforeSave($options = array()) {
  // saveするデータの配列を、DB文字コードに変換
  array_walk_recursive($this->data, array($this, 'encodeToDbEncoding'));
  return true;
 }

 function query() {
  // Model::queryは可変の引数をとるので同じようオーバーライドにする
  $params = func_get_args();
  array_walk_recursive($params, array($this, 'encodeToDbEncoding'));
  $results = call_user_func_array(array('Model', 'query'), $params);
  if (is_array($results)) {
   $results = $this->afterFind($results);
  }
  return $results;
 }

 function encodeToDbEncoding(&$value, $key) {
  if (is_string($value)) {
   $value = mb_convert_encoding($value, 'EUC-JP', Configure::read('App.encoding'));
  }
 }

 function decodeFromDbEncoding(&$value, $key) {
  if (is_string($value)) {
   //機種依存文字をEUC-JP -> UTF-8にすると文字化けするので、一旦 sjis-win に変換する
   //$value = mb_convert_encoding(mb_convert_encoding($value, 'sjis-win','EUC-JP'),Configure::read('App.encoding'), 'sjis-win');
   //でも、一部の機種依存のみの対応で大丈夫そうなので、 eucJP-win にする
   $value = mb_convert_encoding($value,Configure::read('App.encoding'), 'eucJP-win');
  }
 }
}

//MySQL用（UTF-8）
class AppModel extends Model {
}

ちょっと気をつけたいのは、EUC-JPからUTF-8に変換する際に、機種依存文字（「①」「㈱」「Ⅰ」など）が文字化けしてしまいます。いったん、sjis-winに変換してからUTF-8に変換をすれば文字化けをすることがありません。よく使われる文字の対応だけであれば、eucJP-winからUTF-8への変換でいけるようです。

各モデル

/**
 * PostgreSQLを利用するモデル
 */
class Hoge extends PgAppModel{

 var $name = 'Hoge';
 var $useDbConfig = 'pg'; //PostgreSQLのデータベース情報に対応
 var $useTable = 'hoge'; //CakePHPの命名規則に従ってない場合、ここで指定
 var $primaryKey = 'cid'; //プライマリーキーも同様

}

/**
 * MySQLを利用するモデル
 */
class Fuga extends AppModel{

 var $name = 'Fuga';

}

トランザクション

違うデータベースを使用していた場合でも、トランザクションはできます。

//それぞれのモデルをロード
App::import('Model','MyModel');
App::import('Model','PgModel');
$my = new MyModel;
$pg = new PgModel;

//MySQLトランザクション
$dataSourceMy = $my->getDataSource();
$dataSourceMy->begin($my);

//PostgreSQLトランザクション
$dataSourcePg = $pg->getDataSource();
$dataSourcePg->begin($pg);

//結果格納用
$return = array();

//登録処理
$return[] = $my->save($data);
$return[] = $pg->save($data);

//ロールバック・コミット
if(in_array(false,$return,true)) {
	$dataSourceMy->rollback($my);
	$dataSourcePg->rollback($pg);

	return false;
} else {
	$dataSourceMy->commit($my);
	$dataSourcePg->commit($pg);

	return true;
}

もっとスマートな方法があるのかもしれないですが、とりあえずこれで複数データベースに対応ができます。

今回は、データを save しようとしたら出たエラー「relation ‘hoge’ does not exist」。実行しているSQLを確認すると…。

SELECT currval('hoge_did_sequence') as max

あー、しまった。プライマリーキー用のシーケンス名が違うからか。というわけでモデルに

var $sequence = '名前';

と設定してあげることで大丈夫です。

と思ったら、いろいろな人が既に反応していた…。でももう書いちゃったし、公開するか…。

var_dump(wbsRequest('GET', 'http://httpstat.us/200',array('key' => 'value')));
var_dump(wbsRequest2('GET', 'http://httpstat.us/200',array('key' => 'value')));
var_dump(wbsRequest('GET', 'http://httpstat.us/404'));
var_dump(wbsRequest2('GET', 'http://httpstat.us/404'));

//@soraiyさん作改良版
function wbsRequest($method, $url, $params = array())
{
	$data = http_build_query($params);
	$header = Array("Content-Type: application/x-www-form-urlencoded");
	$options = array('http' => Array(
		'method' => $method,
		'header'  => implode("\r\n", $header),
	));

	//ステータスをチェック / PHP5専用 get_headers()
	$respons = get_headers($url);
	if(preg_match("/(404|403|500)/",$respons['0'])){
		return false;
	}

	if($method == 'GET') {
		$url = ($data != '')?$url.'?'.$data:$url;
	}elseif($method == 'POST') {
		$options['http']['content'] = $data;
	}
	$content = file_get_contents($url, false, stream_context_create($options));

	return $content;
}

//cURL版
function wbsRequest2($method, $url, $params = array())
{
	$data = http_build_query($params);
	if($method == 'GET') {
		$url = ($data != '')?$url.'?'.$data:$url;
	}

	$ch = curl_init($url);

	if($method == 'POST'){
		curl_setopt($ch,CURLOPT_POST,1);
		curl_setopt($ch,CURLOPT_POSTFIELDS,$data);
	}

	//curl_setopt($ch, CURLOPT_HEADER,true); //header情報も一緒に欲しい場合
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
	curl_setopt($ch, CURLOPT_TIMEOUT, 2);
	$res = curl_exec($ch);

	//ステータスをチェック
	$respons = curl_getinfo($ch, CURLINFO_HTTP_CODE);
	if(preg_match("/^(404|403|500)$/",$respons)){
		return false;
	}

	return $res;
}

cURL便利だよ！

cURLは、細かくハンドリングできるし、なにより curl_multi_init が素晴らしいですね。並列で実行できます。

file_get_contentsよりもcURLの方が高速だよ！

1ラインで手軽に書ける file_get_contents は僕も重宝していますが、パフォーマンスにおいては、cURLの方が2倍弱ほど高速です。

ステータスコードをチェック！

リモートが 404 とか返してきたらエラーになっちゃうので、事前に get_headers とか使ってあげると良いかも。@でエラー抑止して$http_response_headerで取得してもいいと思います。

httpstat.us便利！

ステータスコードのチェックするときに、自前で用意しなくても http://httpstat.us/ ならURLの後ろにステータスコードを付け加えれば、そのコードで返してくれます。いつ使うんだ…と思っていたら、普通に便利でした。

ちなみに

POST時のパラメータ格納部分

//$options['content'] = $data;
$options['http']['content'] = $data;

これが正しい…はず。

…と、勢いで作ってみたけど、間違っている箇所あるかも。校正プリーズ。

simple_html_dom.php

function file_get_html() {
    $dom = new simple_html_dom;
    $args = func_get_args();
    $context = stream_context_create(array('http' => array(
        'method' => 'GET',
        'header' => 'User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; .NET4.0E)',//ユーザエージェント
    )));
    $dom->load(call_user_func_array('file_get_contents', array($args['0'], false, $context)), true);
    return $dom;
}

file_get_html() をまるっと置き換えればOK。

HTTPステータスコードが404 Not Foundのページを、301 Moved Permanentlyでトップページにリダイレクトをかける方法は、下記のようにmod_rewriteを使えば簡単にできるのだけど、CakePHPの場合はwebrootディレクトリ直下の.htaccessで、同様のことをindex.phpにパラメータを渡して、例のURLを実現しているので使えない。

シンプルなやり方

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ / [R=301,L]

CakePHP用

appディレクトリ直下に error.php を作成し、404の時にheader()で301リダイレクトをかけるだけ。

class AppError extends ErrorHandler {

	function error404() {
		header("HTTP/1.1 301 Moved Permanently");
		header("Location: http://www.example.com/");
	}

}

本当は、素直に404 Not Found専用のページを作るのが良いんだけど、案件によって必要だったので。

$lists = array(
	array(
		'id' => 1,
		'name' => 'a',
	),
	array(
		'id' => 2,
		'name' => 'b',
	),
	array(
		'id' => 3,
		'name' => 'c',
	),
	array(
		'id' => 4,
		'name' => 'd',
	),
);

多次元配列で、idをキーに降順でソート

usort($lists, create_function('$a,$b','return($b[\'id\'] - $a[\'id\']);'));

多次元配列で、nameをキーに昇順でソート

usort($lists, create_function('$a,$b','return($a[\'name\'] - $b[\'name\']);'));

usort()を使えばユーザ定義比較関数を使うことができるので、階層の深い多次元配列でもソート可能。

array_multisort()を使う

array_multisort() は本当に便利な関数で、上記と同じことをができる。

$keys = array();
foreach ($lists as $val) $keys[] = $val['name'];
array_multisort($keys, SORT_DESC, $lists);

usort() と array_multisort() の実行速度を比較

apacheのabでパフォーマンスを比較したところ、僕の環境下では array_multisort() の方が、usort() よりも5倍早かった。

連想インデックスを保持しつつソート

$lists = array(
	'a' => array(
		'id' => 1,
		'name' => 'a',
	),
	'b' => array(
		'id' => 2,
		'name' => 'b',
	),
	'c' => array(
		'id' => 3,
		'name' => 'c',
	),
	'd' => array(
		'id' => 4,
		'name' => 'd',
	),
);

連想配列で、idをキーに降順でソート（連想インデックスを保持）

uasort($lists, create_function('$a,$b','return($b[\'id\'] - $a[\'id\']);'));

連想インデックスでソート

$lists = array(
	'safari' => array(
		'id' => 1,
	),
	'ie' => array(
		'id' => 2,
	),
	'firefox' => array(
		'id' => 3,
	),
	'chrome' => array(
		'id' => 4,
	),
	'opera' => array(
		'id' => 5,
	),
);

（多次元）配列で、連想インデックスを降順でソート（連想インデックスを保持）

krsort($lists);
//ksort()が昇順

下記の uksort() を使えば、この場合は krsort() と同じ結果に。

uksort($lists, create_function('$a,$b','return(strcasecmp($b,$a));'));

uksort() を使うメリットとしては、やはりユーザ定義比較関数が使えるので、PHPマニュアルにあるように下記のようなことができる。

function cmp($a, $b){
	$a = preg_replace('@^(a|an|the) @', '', $a);
	$b = preg_replace('@^(a|an|the) @', '', $b);
	return strcasecmp($a, $b);
}

$a = array("John" => 1, "the Earth" => 2, "an apple" => 3, "a banana" => 4);

uksort($a, "cmp");

日付・時刻でソート

$lists = array(
	array(
		'id' => 1,
		'date' => '2011-01-01 12:00:00',
	),
	array(
		'id' => 2,
		'date' => '2010-12-01 12:00:00',
	),
	array(
		'id' => 3,
		'date' => '2011-02-01 12:00:00',
	),
	array(
		'id' => 4,
		'date' => '2009-01-01 12:00:00',
	),
);

strtotime() でタイムスタンプに変換して比較することもできる。便利。

usort($lists, create_function('$a,$b','return(strtotime($a[\'date\']) > strtotime($b[\'date\']));'));

/app/config/bootstrap.php

App::build(array(
    'views' => array(
        ROOT.DS.APP_DIR.DS.'views'.DS.$_SERVER['HTTP_HOST'].DS,
        ROOT.DS.APP_DIR.DS.'views'.DS,
    ),
));

こうすれば

/app/views/www.example-a.com/
/app/views/www.example-b.com/

で、それぞれ使い分けることが可能。

ちょっと前に少し話題になったPHPをスクリプト毎（URIベース）で、topコマンド風に状況が見られるphptopを動かしてみた。

必要な環境

• PHP5.2.0以上
• Perl
• CPAN Term::Size
• phptopのダウンロード

phptopのwikiにはphptop requires at least PHP >= 4.3.10 or PHP >= 5.0.3.って書いてあるけど、PHP5.2からの関数 memory_get_peak_usage() を使ってメモリ使用量を取得しているので、PHP5.2.0以上は必要。と思う。というか、5.1以下ではエラーで動かなかった。

なお、Term::Sizeモジュールを使用しているので、CPANからインストールしておくこと。

設定

/etc/php.ini

log_errors=on
auto_prepend_file=/usr/local/src/phptop_hook.php

/usr/local/src/phptop

#118行目あたり・単純にコメントアウトしても動くみたい
#setlocale(POSIX::LC_NUMERIC, 'C'); # Use . as decimal separator
setlocale(LC_NUMERIC, 'C'); # Use . as decimal separator

#355行目あたり
#push(@log, '/var/log/apache2/error*log', '/var/log/apache2/*/error*log') if !@log;
push(@log, '/var/log/httpd/*error_log', '/var/log/httpd/*/error_log') if !@log;

Apacheのエラーログの場所は適宜変更。Apacheエラーログに、phptop_hook.phpを通じてデータを吐き出す仕様になっている。

使用方法

php.iniを変更したので、Apacheを再起動後、PHPスクリプトへアクセスをする。Apacheのエラーログにデータが書き出されているのを確認したら、下記コマンドにてデータが出力される。

$./phptop -t 15 -s mem

No phptop records found. と出たら、正常にデータが取れていないので、エラーログを確認したり、php.iniが反映されているか確認する。

これを実践的に使う機会は、あまりないと思うけど（誰かが作った謎なシステムを別の側面から把握するためとか？）なかなか面白いなーと思った。

ソース

クローラクラス

<?php
class multiCrawler{

	var $uriArray = array();
	var $output = array();
	var $timeout = 0;
	var $ua = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12';

	//最大同時接続数
	var $accessMaxNum = 4;
	var $start = 0;

	//エラーログを出力するかどうか
	var $errorLog = false;
	var $errorLogFile = 'crowl_error.txt';

	//クロール対象URLをセット
	function setUri($uri){
		$this->uriArray = (is_array($uri))?$uri:array($uri);
	}

	//クロールエラーログフラグをセット
	function setErrorLogFlg($bool){
		$this->errorLog = $bool;
	}

	//クロールエラーログファイルをセット
	function setErrorLogFile($file){
		$this->errorLogFile = $file;
	}

	//タイムアウトをセット
	function setTimeout($timeout){
		$this->timeout = (is_int($timeout))?$timeout:0;
	}

	//エラーを出力
	function outputError($uri,$error){
		$fp = fopen($this->errorLogFile,'a');
		fputs($fp,date('Y-m-d H:i:s') . ' ' . $uri . ' : ' . $error."\n");
		fclose($fp);
	}

	//実行
	function execute(){

		$this->output = array();

		$count = count($this->uriArray);
		$num = ceil($count / $this->accessMaxNum);
		for($i=0;$i<$num;$i++){
			sleep(1);
			$this->start = $i * $this->accessMaxNum;
			$this->end = ($i + 1) * $this->accessMaxNum;
			$this->fetchUri();
		}

		return $this->output;
	}

	//クロール
	function fetchUri(){

		for($i=$this->start;$i<$this->end;$i++){
			if(!isset($this->uriArray[$i]) || $this->uriArray[$i] == ''){
				$this->end = $i;
				break;
			}
		}

		for($i=$this->start;$i<$this->end;$i++){

			$ch[$i] = curl_init();
			curl_setopt($ch[$i],CURLOPT_URL, trim($this->uriArray[$i]));
			curl_setopt($ch[$i],CURLOPT_HEADER, 0);
			curl_setopt($ch[$i],CURLOPT_RETURNTRANSFER,1);
			curl_setopt($ch[$i],CURLOPT_FAILONERROR,1);
			curl_setopt($ch[$i],CURLOPT_FOLLOWLOCATION,1);
			curl_setopt($ch[$i],CURLOPT_MAXREDIRS,3);
			curl_setopt($ch[$i],CURLOPT_SSL_VERIFYPEER,false);
			curl_setopt($ch[$i],CURLOPT_SSL_VERIFYHOST,false);
			curl_setopt($ch[$i],CURLOPT_USERAGENT,$this->ua);
			if($this->timeout){
				curl_setopt($ch[$i],CURLOPT_CONNECTTIMEOUT,$this->timeout);
				curl_setopt($ch[$i],CURLOPT_TIMEOUT,$this->timeout);
			}
		}

		$mh = curl_multi_init();

		for($i=$this->start;$i<$this->end;$i++){
			curl_multi_add_handle($mh,$ch[$i]);
		}

		$active = null;
		do {
			$mrc = curl_multi_exec($mh, $active);
		} while ($mrc == CURLM_CALL_MULTI_PERFORM);

		while ($active && $mrc == CURLM_OK) {
			if (curl_multi_select($mh) != -1) {
				do {
					$mrc = curl_multi_exec($mh, $active);
				} while ($mrc == CURLM_CALL_MULTI_PERFORM);
			}
		}

		for($i=$this->start;$i<$this->end;$i++){
			$this->output[$i] = (curl_error($ch[$i]) == '')?curl_multi_getcontent($ch[$i]):false;
			if($this->output[$i] === false && $this->errorLog){
				$this->outputError($this->uriArray[$i],curl_error($ch[$i]));
			}
			curl_multi_remove_handle($mh,$ch[$i]);
			curl_close($ch[$i]);
		}

		curl_multi_close($mh);

	}
}

使ってみる

<?php
	include('multiCrawler.php');
	$uriArray = array(
		'http://www.yahoo.co.jp/',
		'http://www.google.co.jp/',
	);

	$mc = new multiCrawler;
	$mc->setUri($uriArray);
	//$mc->setErrorLogFlg(1); //エラーログ
	//$mc->setTimeout(10); //タイムアウト設定
	$result = $mc->execute();

	print_r($result);

ソースを見てもらえれば、そんなに難しいことはやっていないので、カスタマイズも簡単。同時に4URLへ接続し（設定したURLが5つ以上の場合は、1秒間のスリープ）、データをごそっと配列へ入れて返す仕様。

つまり、設定したURLが膨大、もしくはアクセス先のファイルサイズが大きいと、それだけメモリ食う。使う際には、配列に格納じゃなくて、ファイルに書き出しとかすれば良いんじゃないかな。

今度は、RubyかPythonで、もっと柔軟なクローラでも作ってみますか。