1、1这里假设我们抓取的数据如下，主要包括用户昵称内容好笑数和评论数这4个字段，如下对应的网页源码如下，包含我们所需要的数据2对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面程序运行截图如下，已经成功爬取到数据抓取。

2、1首先，打开原网页，如下，这里假设要爬取的字段包括昵称内容好笑数和评论数接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中2然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合。

3、ceshi = client#39ceshi#39 #建ceshi数据库ganji_url_list = ceshi#39ganji_url_list#39 #建立表文件ganji_url_info = ceshi#39ganji_url_info#39 2判断页面结构是否和我们想要的页面结构相匹配，比如有时候会有404页面3从页面中提取我们想要的链接，也就是每个详情页面的链接。

4、$ sudo aptget install python3bs4注这里我使用的是python3的安装方式，如果你用的是python2，可以使用下面命令安装$ sudo pip install beautifulsoup44requests模块浅析1发送请求首先当然是要导入 Requests 模块 import requests然后，获取目标抓取网页这里我以下为例 r = requests。

5、1首先，安装requets模块，这个直接在cmd窗口输入命令“pipinstallrequests”就行，如下2接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下3最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析。

6、总之，你可以使用 randomrandint 函数来随机生成指定范围内的整数pip install beautifulsoup4 然后，您可以使用以下代码来获取网页中的payload数据=== from bs4 import BeautifulSoup 获取网页数据 html = quotpayload dataquotsoup = BeautifulSouphtml， #39htmlparser#39获取payload payload =。

7、打开网页源码，对应网页结构如下，很简单，所有字段内容都可以直接找到2针对以上网页结构，我们就可以编写相关代码来爬取网页数据了，很简单，先根据url地址，利用requests请求页面，然后再利用BeautifulSoup解析数据根据标签和属性定位就行，如下程序运行截图如下，已经成功爬取到数据Python爬取网页。

8、用urllib或者urllib2推荐将页面的html代码下载后，用beautifulsoup解析该html然后用beautifulsoup的查找模块或者正则匹配将你想获得的内容找出来，就可以进行相关处理了，例如from BeautifulSoup import BeautifulSoup html = #39testtest body#39soup = BeautifulSouphtmlsoupcontents0name u#39html#39soup。

9、1了解Python如何获取网页内容2导入 urllibrequest模块3使用 获取对象4获取的是一个网页的对象5若要打印对象的内容，可以继续使用read方法。

10、2从疫情首页提取最近一日数据 soup = BeautifulSouphome_page， #x27lxml#x27script = soupfindid=#x27getAreaStat#x27text = scriptstring 3提取数据获取json格式数据 json_str = refindallr#x27\+\#x27， text04把json格式转换为python类型 last_。

11、最后我们将会得到一个类似这样的字典Python 1 2 3 4 5 payload = quotusernamequot quotltUSER NAMEquot，quotpasswordquot quotltPASSWORDquot，quotcsrfmiddlewaretokenquot quotltCSRF_TOKENquot 请记住，这是这个网站的一个具体案例虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤。

12、使用正则表达式，比如要匹配“ID501A”中的数字，代码如下import re f=recompilequot？lt=ID*=Aquota=refindallf，quotID501Aquotprinta。

13、read方法用于读取URL上的数据，向getHtml函数传递一个网址，并把整个页面下载下来执行程序就会把整个网页打印输出二，筛选页面中想要的数据 Python 提供了非常强大的正则表达式，我们需要先要了解一点python 正则表达式的知识才行假如我们百度贴吧找到了几张漂亮的壁纸，通过到前段查看工具找到了。

14、请点击输入图片描述 然后在python的编辑器中输入import选项，提供这两个库的服务 请点击输入图片描述 urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可请点击输入图片描述 抓取下来了，还不算，必须要进行读取，否则无效请点击输入图片描述 5 接下来就是。

15、思路如下使用urllib2库，打开页面，获取页面内容，再用正则表达式提取需要的数据就可以了下面给你个示例代码供参考，从百度贴吧抓取帖子内容，并保存在文件中* codingutf8 *import urllib2import reurl=#39page=urllib2urlopenurlreaddecode#39gbk#39_re=recompile#39#39br_。

16、具体步骤整体思路流程 简单代码演示准备工作下载并安装所需要的python库，包括对所需要的网页进行请求并解析返回的数据对于想要做一个简单的爬虫而言，这一步其实很简单，主要是通过requests库来进行请求，然后对返回的数据进行一个解析，解析之后通过对于元素的定位和选择来获取所需要的数据元素，进而获取到。

17、用python爬取网页信息的话，需要学习几个模块，urllib，urllib2，urllib3，requests。