python

当前位置:中华考试网 >> python >> python爬虫 >> 文章内容

怎么用python爬取网页文字?

来源:中华考试网  [2020年10月16日]  【

   用Python进行爬取网页文字的代码:

  #!/usr/bin/python

  # -*- coding: UTF-8 -*-

  import requests

  import re

  # 下载一个网页

  url = 'https://www.biquge.tw/75_75273/3900155.html'

  # 模拟浏览器发送http请求

  response = requests.get(url)

  # 编码方式

  response.encoding='utf-8'

  # 目标小说主页的网页源码

  html = response.text

  print(html)

  1、编写爬虫思路:

  确定下载目标,找到网页,找到网页中需要的内容。对数据进行处理。保存数据。

  2、知识点说明:

  1)确定网络中需要的信息,打开网页后使用F12打开开发者模式。

  在Network中可以看到很多信息,我们在页面上看到的文字信息都保存在一个html文件中。点击文件后可以看到response,文字信息都包含在response中。

  对于需要输入的信息,可以使用ctrl+f,进行搜索。查看信息前后包含哪些特定字段。

  对于超链接的提取,可以使用最左边的箭头点击超链接,这时Elements会打开有该条超链接的信息,从中判断需要提取的信息。从下载小说来看,在目录页提取出小说的链接和章节名。

  2)注意编码格式

  输入字符集一定要设置成utf-8。页面大多为GBK字符集。不设置会乱码。

责编:hym
  • 会计考试
  • 建筑工程
  • 职业资格
  • 医药考试
  • 外语考试
  • 学历考试