「Python数据处理」3.2

3.2 在实际数据建模应用中，常常需要读取外部数据文件，比如Excel文件、TXT文件和CSV文件，请编程实现以下任务：1）请读取“一、车次上车人数统计表.xlsx”中得sheet2数据，用一个数据框df1来表示；2）请读取文感谢件txt1中得数据，用一个数据框df2来表示；3）大容量文件得读取需要采用分块读取得方式来处理数据，比如csv文件常用来存放大容量文件。请采用分块读取得方式读取“data.csv”文件，每次读取20000行，读取出来得数据分别用数据框A1，A2，A3，A4……等来表示。

[知识点及要求]外部数据文件读取：Excel、TXT、Csv。

示例代码如下：

import pandas as pd

df1 = pd.read_excel('一、车次上车人数统计表.xlsx')

df2 = pd.read_table('txt1.txt',header=None)

reader = pd.read_csv('data.csv',chunksize=20000)

k=0;

names = locals()#设置全局变量

for i in reader:

k=k+1

names['A%s'%k]=pd.Dataframe(i)#创建A1~Ak个变量，分别保存各分块

print('第'+str(k)+'次读取数据规模为： ',len(i))

print(i.shape)

运行结果如下图：

更多内容请见网易云课堂Python大数据学习吧：

study.163/provider/480000002230206/index.htm?share=2&shareId=480000002230206