python

当前位置:中华考试网 >> python >> python爬虫 >> 文章内容

关于requests模块的安装及使用方法,看你能懂多少

来源:中华考试网  [2020年12月3日]  【

  requests模块是python中原生的基于网络请求的模块,是python的一个HTTP客户端库,跟urllib,urllib2类似,其主要作用是用来模拟浏览器发起请求。功能强大,用法简洁高 效。在爬虫领域中占据着半壁江山的地 位。今天,小编就介绍一下是requests模块的安装及使用方法。

  一、安装

  第一步:pip安装

  https://pypi.org/project/pip/#files下载pip压缩文件包,最好将其下载到scripts目录下。进入到安装目录下,执行:

  python setup.py install

  将

  D:\envi\python2.7\Scripts添加到环境变量新打开一个命令行窗口,执行

  pip list

  第二步:requests安装命令

  pip install requests

  二、使用:爬取百度网站内容

  导入模块

  #导入requests模块

  import requests

  指定url

  #1:指定url

  url='https://www.baidu.com/'

  发起请求

  #2:发起请求(get方法会返回一个响应对象)

  response = requests.get(url=url)

  获取响应数据

  #3:获取响应数据

  page_text = response.text

  持久化存储

  #4:持久化存储

  with open('./baidu.html','w',encoding='utf-8') as fp:

  fp.write(page_text)

  print('爬完了')

  三:requests异常处理

  异常:比如网络连接错误、http错误异常、重定向异常、请求url超时异常等等。

  处理:可以利用 response.raise_for_status() 语句去捕捉异常,该语句在方法内部判断r.status_code是否等于200,如果不等于,则抛出异常。

  爬取网页的通用代码框架:

  try:

  response=requests.get(url)

  response.raise_for_status() #如果状态不是200,则引发异常

  except:

  print("产生异常")

  requests 会自动实现持久连接keep-alive,requests 支持 HTTP 连接保持和连接池,支持使用 cookie 保持会话,支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码,现代、国际化、人性化。

  如今python编程语言市场需求大,薪资待遇上万尽在咫尺!如果你也想学习python技术可以填写下面表单,Python学习资料限时免费领取!

责编:fushihao

上一篇:想学爬虫必看!关于爬虫的基础知识

下一篇: 没有了

  • 会计考试
  • 建筑工程
  • 职业资格
  • 医药考试
  • 外语考试
  • 学历考试