事情的起源比较简单,我需要把一个导航页的数据整理好写入数据库。一个比较直观的方法是对html文件进行分析,通用的方法是用php的正则表达式来匹配。但是这样做开发和维护都很困难,代码可读性非常差。
导航页的数据都是规则的排列在dom树当中的,用js可以用几个循环轻松的对其进行操作,而且js需要依赖浏览器,操作数据库很困难。其实php就有现成的类库对dom树种的节点进行增删改查操作,在此做一些笔记。
这里涉及到2个类 domdocument 和 domxpath。
其实思路比较明确,就是通过domdocument将一个html file转换成dom树的数据结构,再用domxpath的实例去搜索这个dom树,拿到想要特定节点,接下来就可以对当前节点的子树进行遍历,得到想要的结果。
在当前目录下有一个这样一个导航的html文件 ./hao.html
现在需要得到所有<a>标签的中文内容,php代码如下:
代码如下:
<?php
//将html/xml文件转换成dom树
$dom = new domdocument();
$dom->loadhtmlfile(hao.html);
//得到所有class为fix的dl标签
// example 1: for everything with an id
//$elements = $xpath->query(//*[@id]);
// example 2: for node data in a selected id
//$elements = $xpath->query(/html/body/div[@id='yourtagidhere']);
// example 3: same as above with wildcard
//$elements = $xpath->query(*/div[@id='yourtagidhere']);
$xpath = new domxpath($dom);
$dls = $xpath->query('//dl[@class=fix]');
foreach ($dls as $dl) {
$spans = $dl->childnodes;
foreach ($spans as $span) {
echo trim($span->textcontent).\t;
}
echo \n;
}
?>
输出结果如下:
注意:值得注意的一点是domdocument的默认编码方式是latin,所以在处理utf编码的中文的时候,需要在<head>后面紧跟着填入
代码如下:
<meta http-equiv=content-type content="text/html; charset=gbk""c2021.aspx" target=_blank>IT技术专栏