1获取当前网页标题String#160title=drivergetTitle2获取当前网页的URLString url=drivergetCurrentUrl3获取元素的文本值，比如链接，纯文本等String text=driverfindElementBy locationgetText4。

法1直接分析ajax调用的接口然后通过代码请求这个接口法2使用Selenium+chromedriver模拟浏览器行为获取数据Selenium 相当于是一个机器人可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填。

用selenium 或者前台实现也行或者用个gui，在里面展示html页面然后捕获。

使用xpath=selectoption定位获取到一个元素集合，然后再取这个集合的个数就是option的个数。

Selenium打开一个页面之后，默认是在父页面进行操作，此时如果这个页面还有子页面，想要获取子页面的节点元素信息则需要切换到子页面进行擦走，这时候switch_toframe就来了如果想回到父页面，用switch_toparent_frame。

1可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到2使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据。

整个网页代码啥样的代码中只出现两个div那就用css选择器，看下面。

作为在传智刚刚学完这测试段课程的人，来给你简单描述一下，我用的是webdriver，如果你的目标是点击一个超链接，就需要通过以下步骤来进行1首先你要先获取到这个超链接元素标签的属性信息id，name，位置，或者超链接文本2。

由于方法1有问题，只能获取到下载页面链接，所以换用Re解决，代码如下import。

如果跳转是在当前窗口跳转，直接通过driver的相关方法获取就可以如果跳转时打开了新窗口，需要先进行窗口切换，然后再获取内容。

网页爬取不一定要用Selenium，Selenium是为了注入浏览器获取点击行为的调试工具，如果网页无需人工交互就可以抓取，不建议你使用selenium要使用它，你需要安装一个工具软件，使用Chrome浏览器需要下载chromedriverexe到system32下。

如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。

selenium webdriver的硬伤在于它无法真正判断页面上的元素什么时候能生成完毕，换句话说 ，假如获取页面上的元素失败，而这个元素是由js，ajax生成并且是未知的情况下例如要抓取网页关键词，但是关键词的内容是什么，一共有。

获取标签内容 使用elementattribute方法获取dom元素的内容，如dr = driverfind_element_by_id#39tooltip#39drget_attribute#39dataoriginaltitle#39 #获取tooltip的内容 drtext #获取该链接的text 获取标签属性 l。

办法获取页面上所有元素属性包含quothrefquot的元素，可以用getAttribute“href”方法，然后做个循环依次点击Selenium是一个用于Web应用程序测试的工具Selenium测试直接运行在浏览器中，就像真正的用户在操作一样支持的浏览器。

pspython下的确是是有个第三方包叫Ghostpy可以取得，但是尝试后效果并不好，估计是因为Ghostpy的webkit对html5的支持并不好选择用selenium，但是没找到selenium的webdriver下取得所有资源加载链接的方法selenium包下。

给re的数据类型有错，希望值是字符串，提供的确实其他类型。

在python里面安装robot framework，然后再装selenium library，通过xpath来定位页面元素并操作。