2安装成功后，我们就可以进行测试了，为了更好地说明问题，这里假设爬取的数据如下，内容比较简单对应的网页源码结构如下根据网页结构，解析代码如下，这里我是本地打开html文件，爬虫的话，直接使用requests请求对应的页面。

这就是浏览器请求了网站的服务器，获取到网络资源那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息通常爬虫是从某个网站的某个页面开始，爬取。

1 pip3 install selenium 安装Phantomjs 按照系统环境下载phantomjs，下载完成之后，将phantomjsexe解压到python的script文件夹下 使用selenium+phantomjs实现简单爬虫 789 from selenium import webdriver driver = webdriver。

1HtmlAgilityPack是一个开源的解析HTML元素的类库，最大的特点是可以通过XPath来解析HMTL，如果您以前用C#操作过XML，那么使用起HtmlAgilityPack也会得心应手下面以一个简单的例子来介绍下HtmlAgilityPack的使用，对于Asp。