企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
>[info]场景:爬虫爬完取数据 下载地址:https://github.com/samacs/simple_html_dom [toc] 解析器不仅仅只是帮助我们验证html文档; 更能解析不符合W3C标准的html文档。 它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;最后会为各位介绍如何避免消耗过多的内存。 ## :-: **开始使用** 上传类文件以后,有三种方式调用这个类: 从url中加载html文档 从字符串中加载html文档 从文件中加载html文档 ~~~ <?php // 新建一个Dom实例 $html = new simple_html_dom(); // 从url中加载 $html->load_file('http://www.jb51.net'); // 从字符串中加载 $html->load('<html><body>从字符串中加载html文档演示</body></html>'); //从文件中加载 $html->load_file('path/file/test.html'); ?> ~~~ 如果从字符串加载html文档,需要先从网络上下载。建议使用CURL来抓取html文档并加载DOM中。 PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 : ~~~ // Create a DOM object from a string $html = str_get_html('<html><body>Hello!</body></html>'); // Create a DOM object from a URL $html = file_get_html('http://www.google.com/'); // Create a DOM object from a HTML file $html = file_get_html('test.htm'); ~~~ ## :-: **查找html元素** 可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例 ~~~ <?php //查找html文档中的超链接元素 $a = $html->find('a'); //查找文档中第(N)个超链接,如果没有找到则返回空数组. $a = $html->find('a', 0); // 查找id为main的div元素 $main = $html->find('div[id=main]',0); // 查找所有包含有id属性的div元素 $divs = $html->find('div[id]'); // 查找所有包含有id属性的元素 $divs = $html->find('[id]'); ?> ~~~ 还可以使用类似jQuery的选择器来查找定位元素: ~~~ <?php // 查找id='#container'的元素 $ret = $html->find('#container'); // 找到所有class=foo的元素 $ret = $html->find('.foo'); // 查找多个html标签 $ret = $html->find('a, img'); ~~~ 解析器支持对子元素的查找 ~~~ <?php // 查找 ul列表中所有的li项 $ret = $html->find('ul li'); //查找 ul 列表指定class=selected的li项 $ret = $html->find('ul li.selected'); ?> ~~~ 如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素 ~~~ <?php // 返回父元素 $e->parent; // 返回子元素数组 $e->children; // 通过索引号返回指定子元素 $e->children(0); // 返回第一个资源速 $e->first_child (); // 返回最后一个子元素 $e->last_child (); // 返回上一个相邻元素 $e->prev_sibling (); //返回下一个相邻元素 $e->next_sibling (); ?> ~~~ ## :-: **元素属性操作** 使用简单的正则表达式来操作属性选择器。 [attribute] – 选择包含某属性的html元素 [attribute=value] – 选择所有指定值属性的html元素 [attribute!=value]- 选择所有非指定值属性的html元素 [attribute^=value] -选择所有指定值开头属性的html元素 [attribute$=value] 选择所有指定值结尾属性的html元素 [attribute*=value] -选择所有包含指定值属性的html元素 在解析器中调用元素属性 在DOM中元素属性也是对象: ``` php <?php // 本例中将$a的锚链接值赋给$link变量 $link = $a->href; ?> ``` 或者 ```php <?php $link = $html->find('a',0)->href; ? ``` 每个对象都有4个基本对象属性: tag – 返回html标签名 innertext – 返回innerHTML outertext – 返回outerHTML plaintext – 返回html标签中的文本 在解析器中编辑元素 编辑元素属性的用法和调用它们是类似的: ~~~ <?php //给$a的锚链接赋新值 $a->href = 'http://www.jb51.net'; // 删除锚链接 $a->href = null; // 检测是否存在锚链接 if(isset($a->href)) { //代码 } ?> ~~~ 解析器中没有专门的方法来添加、删除元素,不过可以变通一下使用: ~~~ <?php // 封装元素 $e->outertext = '<div class="wrap">' . $e->outertext . '<div>'; // 删除元素 $e->outertext = ''; // 添加元素 $e->outertext = $e->outertext . '<div>foo<div>'; // 插入元素 $e->outertext = '<div>foo<div>' . $e->outertext; ?> ~~~ 保存修改后的html DOM文档也非常简单: ``` php <?php $doc = $html; // 输出 echo $doc; ?> ``` ## :-: **如何避免解析器消耗过多内存** Simple HTML DOM解析器消耗内存过多的问题。 如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。 解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。 当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存 ``` php <?php $html->clear(); ?> ``` ## :-: **示例** ### :-: **效果** ![](https://box.kancloud.cn/274ef5be73011bf7cf08714c5bef1ded_725x358.png) ### :-: **php代码** ~~~ <?php header("Content-type: text/html; charset=utf-8"); include('simple_html_dom/simple_html_dom.php');//引入类库文件 $html = file_get_html('dom.html');//获取html文件 //给页面中的a标签添加类名、设置样式 $html->find('a',0)->setAttribute('class','bar'); $html->find('a',0)->setAttribute('style','color:red'); //打印指定标签内容 foreach($html->find('div#gbar') as $e) echo $e->innertext . '<br>'; //向指定标签中添加内容 $aaa = [1,2,3]; $tr = ''; foreach($aaa as $color) $tr.="<td>".$color."</td>"; $html->find('tr',3)->innertext = $tr; //保存修改到指定文件 $html->save('demo.html'); ?> ~~~ ### :-: **html文件** ~~~ <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>php_simple_dom</title> </head> <body> <div class="container" id="gbar"> <h1>一娃</h1> <h2>二娃</h2> <h3>三娃</h3> <ul> <li>吉林</li> <li>辽宁</li> <li>上海</li> <li>广州</li> </ul> <input type="text" value="111"/> <input type="datetime"/> <textarea>lallallallalala</textarea> <a href="https://www.baidu.com" class="bar" color="red" style="color:red">百度一下</a> <img src="https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq/it/u=2812136344,465892702&fm=58" style="width: 30px;height: 30px"> <span class="gb1">这是span标签</span> <button>提交</button> <br> <table> <thead> <tr> <th>1111</th> <th>2222</th> <th>3333</th> </tr> </thead> <tbody> <tr> <td align="center">121212</td> <td>343434</td> <td>565656</td> </tr> <tr> <td>121212</td> <td>343434</td> <td>565656</td> </tr> <tr></tr> </tbody> </table> <div>hahahhaha</div> </div> </body> </html> ~~~