最简单可以用urllib，python2x和python3x的用法不同，以python2x为例import urllibhtml = urllibopenurltext = htmlread复杂些可以用requests库，支持各种请求类型，支持cookies，header等 再复杂些的可以用。

利用python爬取网页内容需要用scrapy爬虫框架，但是很简单，就三步 定义item类 开发spider类 开发pipeline 想学习更深的爬虫，可以用疯狂python讲义。

用Beautiful Soup这类解析模块Beautiful Soup 是用Python写的一个HTMLXML的解析器，它可以很好的处理不规范标记并生成剖析树parse tree它提供简单又常用的导航navigating，搜索以及修改剖析树的操作用urllib或者urllib。

1编写爬虫思路确定下载目标，找到网页，找到网页中需要的内容对数据进行处理保存数据2知识点说明1确定网络中需要的信息，打开网页后使用F12打开开发者模式在Network中可以看到很多信息，我们在页面上看到的文字。

方法名非常简单，符合 Python 优雅的风格，这里不妨对这两种方式简单的说明定位到元素以后势必要获取元素里面的内容和属性相关数据，获取文本获取元素的属性还可以通过模式来匹配对应的内容这个功能看起来比较鸡肋，可以。