将数据通过requests请求爬下来后需要经过Xpath解析,解析过后的数据就可以通过某种数据保存方式保存下来了,不管是存为数据库格式或者文本格式都可以。
保存数据的方法
- open函数保存
- pandas包保存
- csv模块保存
- numpy包保存
1. open函数保存
参数 | 用法 |
---|---|
r | 只读。若不存在文件会报错。 |
w | 只写。若不存在文件会自动新建。 |
a | 附加到文件末尾。 |
rb, wb, ab | 操作二进制 |
r+ | 读写模式打开 |
- 使用with open()新建对象
- 写入数据
代码演示
1 | # _*_ coding:utf-8 _*_ |
2. 使用pandas保存数据
2.1 Python数据分析的工具包
- numpy:(Numerical Python的简称),是高性能科学计算和数据分析的基础包
- pandas:基于Numpy创建的Python包,含有使数据分析工作变得更加简单的高级数据结构和操作工具
- matplotlib:是一个用于创建出版质量图表的绘图包(主要是2D方面)- 常见的导入方法:
1 | import pandas as pd #导入pandas |
注意:pandas 、numpy和matplotlib都需要事先安装。
2.2 pandas保存数据到Excel
- 导入相关的库
- 将爬取到的数据储存为DataFrame对象(DataFrame 是一个表格或者类似二维数组的结构,它的各行表示一个实例,各列表示一个变量)
- to_excel() 实例方法:用于将DataFrame保存到Excel
1 | df.to_excel('文件名.xlsx', sheet_name = 'Sheet1') #其中df为DataFrame结构的数据,sheet_name = 'Sheet1'表示将数据保存在Excel表的第一张表中 |
- read_excel() 方法:从excel文件中读取数据
1 | pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA']) |
2.3 pandas保存数据到csv文件
- 导入相关的库
- 将数据储存为DataFrame对象
- 保存数据到csv文件
1 | import pandas as pd |
3. 用pandas保存数据到本地excel
上文我们已经用open函数保存成功文件了,现在用pandas将爬取的内容进行保存。
1 | # _*_ coding:utf-8 _*_ |
没有指定文件路径会默认保存到当前文件夹。