pythonpandas读取⼤型⽂件
数据处理：pandas处理⼤型csv⽂件，使⽤pandas分块处理⼤⽂件
1. 读取限定列
⼀个 csv⽂件中，有很多列，⽽我们只关⼼其中的某些列是，如果把每⾏数据都读取出来，在提取信息，显然会增加IO的量，可以在读
read_csv()时，给定参数，增加效率。
file = pd.read_csv("filename.csv",usecols=["col1","col2",...])
2.读取限定⾏
增加read_csv()⽅法中的nrows参数，设定读取的⾏数。
file = pd.read_csv("filename.csv",nrows=1000,usecols=["col1",...])
3.分块读取
python怎么读csv数据
chunksize可以指定⼀个分块⼤⼩来读取⽂件，返回的是⼀个迭代器，⼀个textfilereader对象。chunksize =1000，代表每次读取1000⾏。reader = pd.read_csv("filename.csv",nrows=1000,usecols=[],chunksize=1000,iterator=True) reader
可以使⽤列表添加每块，最后使⽤pd.concat([],ignore_index=True)，将数据拼接在⼀起。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。