python⾥读写excel等数据⽂件的6种常⽤⽅式
下⾯整理下python有哪些⽅式可以读取数据⽂件。
1. python内置⽅法(read、readline、readlines)
read() : ⼀次性读取整个⽂件内容。推荐使⽤read(size)⽅法,size越⼤运⾏时间越长
readline() :每次读取⼀⾏内容。内存不够时使⽤,⼀般不太⽤
readlines() :⼀次性读取整个⽂件内容,并按⾏返回到list,⽅便我们遍历
2. 内置模块(csv)
python内置了csv模块⽤于读写csv⽂件,csv是⼀种逗号分隔符⽂件,是数据科学中最常见的数据存储格式之⼀。
csv模块能轻松完成各种体量数据的读写操作,当然⼤数据量需要代码层⾯的优化。
csv模块读取⽂件
# 读取csv⽂件
import csv
with open('test.csv','r')as myFile:
ader(myFile)
for line in lines:
print(line)
csv模块写⼊⽂件
'''
遇到问题没⼈解答?⼩编创建了⼀个Python学习交流QQ:531509025
寻有志同道合的⼩伙伴,互帮互助,⾥还有不错的视频学习教程和PDF电⼦书!
'''
import csv
with open('test.csv','w+')as myFile:
myWriter=csv.writer(myFile)
# writerrow⼀⾏⼀⾏写⼊
myWriter.writerow([7,8,9])
myWriter.writerow([8,'h','f'])
# writerow多⾏写⼊
myList=[[1,2,3],[4,5,6]]
myWriter.writerows(myList)
3. 使⽤numpy库(loadtxt、load、fromfile)
loadtxt⽅法
loadtxt⽤来读取⽂本⽂件(包含txt、csv等)以及.gz 或.bz2格式压缩⽂件,前提是⽂件数据每⼀⾏必须要有数量相同的值。import numpy as np
# loadtxt()中的dtype参数默认设置为float
# 这⾥设置为str字符串便于显⽰
np.loadtxt('test.csv',dtype=str)
# out:array(['1,2,3', '4,5,6', '7,8,9'], dtype='<U5')
load⽅法
load⽤来读取numpy专⽤的.npy, .npz 或者pickled持久化⽂件。
import numpy as np
# 先⽣成npy⽂件
np.save('test.npy', np.array([[1,2,3],[4,5,6]]))
# 使⽤load加载npy⽂件
np.load('test.npy')
'''
out:array([[1, 2, 3],python怎么读入excel
[4, 5, 6]])
'''
fromfile⽅法
fromfile⽅法可以读取简单的⽂本数据或⼆进制数据,数据来源于tofile⽅法保存的⼆进制数据。读取数据时需要⽤户指定元素类型,并对数组的形状进⾏适当的修改。
'''
遇到问题没⼈解答?⼩编创建了⼀个Python学习交流QQ:531509025
寻有志同道合的⼩伙伴,互帮互助,⾥还有不错的视频学习教程和PDF电⼦书!
'''
import numpy as np
x = np.arange(9).reshape(3,3)
np.fromfile('test.bin',dtype=np.int)
# out:array([0, 1, 2, 3, 4, 5, 6, 7, 8])
4. 使⽤pandas库(read_csv、read_excel等)
pandas是数据处理最常⽤的分析库之⼀,可以读取各种各样格式的数据⽂件,⼀般输出dataframe格式。
如:txt、csv、excel、json、剪切板、数据库、html、hdf、parquet、pickled⽂件、sas、stata等等
read_csv⽅法
read_csv⽅法⽤来读取csv格式⽂件,输出dataframe格式。
import pandas as pd
read_excel⽅法
读取excel⽂件,包括xlsx、xls、xlsm格式
import pandas as pd
read_table⽅法
通过对sep参数(分隔符)的控制来对任何⽂本⽂件读取
read_json⽅法
读取json格式⽂件
df = pd.DataFrame([['a','b'],['c','d']],index=['row 1','row 2'],columns=['col 1','col 2'])
j = df.to_json(orient='split')
read_html⽅法
读取html表格
read_clipboard⽅法
读取剪切板内容
read_pickle⽅法
读取plckled持久化⽂件
read_sql⽅法
读取数据库数据,连接好数据库后,传⼊sql语句即可
read_dhf⽅法
读取hdf5⽂件,适合⼤⽂件读取
read_parquet⽅法
读取parquet⽂件
read_sas⽅法
读取sas⽂件
read_stata⽅法
读取stata⽂件
read_gbq⽅法
读取google bigquery数据
5、读写excel⽂件(xlrd、xlwt、openpyxl等)
python⽤于读写excel⽂件的库有很多,除了前⾯提到的pandas,还有xlrd、xlwt、openpyxl、xlwings等等。
主要模块:
xlrd库:从excel中读取数据,⽀持xls、xlsx
xlwt库:对excel进⾏修改操作,不⽀持对xlsx格式的修改
xlutils库:在xlw和xlrd中,对⼀个已存在的⽂件进⾏修改
openpyxl:主要针对xlsx格式的excel进⾏读取和编辑
xlwings:对xlsx、xls、xlsm格式⽂件进⾏读写、格式修改等操作
xlsxwriter:⽤来⽣成excel表格,插⼊数据、插⼊图标等表格操作,不⽀持读取
Microsoft Excel API:需安装pywin32,直接与Excel进程通信,可以做任何在Excel⾥可以做的事情,但⽐较慢6. 操作数据库(pymysql、cx_Oracle等)
python⼏乎⽀持对所有数据库的交互,连接数据库后,可以使⽤sql语句进⾏增删改查。
主要模块:
pymysql:⽤于和mysql数据库的交互sqlalchemy:⽤于和mysql数据库的交互
cx_Oracle:⽤于和oracle数据库的交互
sqlite3:内置库,⽤于和sqlite数据库的交互pymssql:⽤于和sql server数据库的交互pymongo:⽤于和mongodb⾮关系型数据库的交互redis、pyredis:⽤于和redis⾮关系型数据库的交互

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。