作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851

1. 简单说明爬虫原理

向网站发起请求，获取资源后分析并提取有用数据的程序；

通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用；

---

 

2. 理解爬虫开发过程

1).简要说明浏览器工作原理；

发起请求（使用http库向目标站点发起请求，即发送一个Request）

获取响应内容（如果服务器能正常响应，则会得到一个Response）

解析内容（解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等）

保存数据（数据库（MySQL，Mongdb、Redis）和文件）

---

 

2).使用 requests 库抓取网站数据；

requests.get(url) 获取校园新闻首页html代码

 

url='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(url)

 

---

 

3).了解网页

写一个简单的html文件，包含多个标签，类，id

4).使用 Beautiful Soup 解析网页；

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

select（选择器）定位数据

找出含有特定标签的html元素

找出含有特定类名的html元素

找出含有特定id名的html元素

代码：

import requestsfrom bs4 import BeautifulSouphtml_sample = ' \ \  \  
Hello
 \   This is link1\   This is link2\  \ 'soup = BeautifulSoup(html_sample,'html.parser')soup.text#　找出标签为‘h1’的HTML元素,返回listprint(soup.select('h1')[0].text)#  找出类名为‘link’的HTML元素for i in range(len(soup.select('.link'))):    print(soup.select('.link')[i].text)#　找出含有特定id名的html元素print(soup.select('#title')[0].text)

运行结果：

---

 

3.提取一篇校园新闻的标题、发布时间、发布单位

url = ''

 代码：

import requestsfrom bs4 import BeautifulSoupurl='http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'res=requests.get(url)type(res)res.encoding="utf-8"res.textsoup=BeautifulSoup(res.text,'html.parser')print("标题："+soup.select('.show-title')[0].text)print("发布时间+来源："+soup.select('.show-info')[0].text)

 运行结果：