python⾥读写excel等数据⽂件的6种常⽤⽅式(⼩结)⽬录
1. python内置⽅法(read、readline、readlines)
2. 内置模块(csv)
3. 使⽤numpy库(loadtxt、load、fromfile)
4. 使⽤pandas库(read_csv、read_excel等)
5、读写excel⽂件(xlrd、xlwt、openpyxl等)
6. 操作数据库(pymysql、cx_Oracle等)
下⾯整理下python有哪些⽅式可以读取数据⽂件。
1. python内置⽅法(read、readline、readlines)
read() :⼀次性读取整个⽂件内容。推荐使⽤read(size)⽅法,size越⼤运⾏时间越长
readline() :每次读取⼀⾏内容。内存不够时使⽤,⼀般不太⽤
readlines() :⼀次性读取整个⽂件内容,并按⾏返回到list,⽅便我们遍历
2. 内置模块(csv)
python内置了csv模块⽤于读写csv⽂件,csv是⼀种逗号分隔符⽂件,是数据科学中最常见的数据存储格式之⼀。
csv模块能轻松完成各种体量数据的读写操作,当然⼤数据量需要代码层⾯的优化。
csv模块读取⽂件
# 读取csv⽂件
import csv
with open('test.csv','r') as myFile:
ader(myFile)
for line in lines:
print (line)
csv模块写⼊⽂件
import csv
with open('test.csv','w+') as myFile:
myWriter=csv.writer(myFile)
# writerrow⼀⾏⼀⾏写⼊
myWriter.writerow([7,8,9])
myWriter.writerow([8,'h','f'])
# writerow多⾏写⼊
myList=[[1,2,3],[4,5,6]]
myWriter.writerows(myList)
3. 使⽤numpy库(loadtxt、load、fromfile)
loadtxt⽅法
loadtxt⽤来读取⽂本⽂件(包含txt、csv等)以及.gz 或.bz2格式压缩⽂件,前提是⽂件数据每⼀⾏必须要有数量相同的值。import numpy as np
# loadtxt()中的dtype参数默认设置为float
# 这⾥设置为str字符串便于显⽰
np.loadtxt('test.csv',dtype=str)
# out:array(['1,2,3', '4,5,6', '7,8,9'], dtype='<U5')
load⽅法
load⽤来读取numpy专⽤的.npy, .npz 或者pickled持久化⽂件。
import numpy as np
# 先⽣成npy⽂件
np.save('test.npy', np.array([[1, 2, 3], [4, 5, 6]]))
# 使⽤load加载npy⽂件
np.load('test.npy')
'''
out:array([[1, 2, 3],
[4, 5, 6]])
'''
fromfile⽅法
fromfile⽅法可以读取简单的⽂本数据或⼆进制数据,数据来源于tofile⽅法保存的⼆进制数据。读取数据时需要⽤户指定元素类型,并对数组的形状进⾏适当的修改。
import numpy as np
x = np.arange(9).reshape(3,3)
np.fromfile('test.bin',dtype=np.int)
# out:array([0, 1, 2, 3, 4, 5, 6, 7, 8])
4. 使⽤pandas库(read_csv、read_excel等)
pandas是数据处理最常⽤的分析库之⼀,可以读取各种各样格式的数据⽂件,⼀般输出dataframe格式。
如:txt、csv、excel、json、剪切板、数据库、html、hdf、parquet、pickled⽂件、sas、stata等等
read_csv⽅法
read_csv⽅法⽤来读取csv格式⽂件,输出dataframe格式。
import pandas as pd
read_excel⽅法
读取excel⽂件,包括xlsx、xls、xlsm格式
import pandas as pd
read_table⽅法
通过对sep参数(分隔符)的控制来对任何⽂本⽂件读取
read_json⽅法
读取json格式⽂件
df = pd.DataFrame([['a', 'b'], ['c', 'd']],index=['row 1', 'row 2'],columns=['col 1', 'col 2'])
j = df.to_json(orient='split')
read_html⽅法
读取html表格
read_clipboard⽅法
读取剪切板内容
read_pickle⽅法
读取plckled持久化⽂件
read_sql⽅法
读取数据库数据,连接好数据库后,传⼊sql语句即可
read_dhf⽅法
读取hdf5⽂件,适合⼤⽂件读取
read_parquet⽅法
读取parquet⽂件
read_sas⽅法
python怎么读取excel文件数据
读取sas⽂件
read_stata⽅法
读取stata⽂件
read_gbq⽅法
读取google bigquery数据
5、读写excel⽂件(xlrd、xlwt、openpyxl等)
python⽤于读写excel⽂件的库有很多,除了前⾯提到的pandas,还有xlrd、xlwt、openpyxl、xlwings等等。
主要模块:
xlrd库:从excel中读取数据,⽀持xls、xlsx
xlwt库:对excel进⾏修改操作,不⽀持对xlsx格式的修改
xlutils库:在xlw和xlrd中,对⼀个已存在的⽂件进⾏修改
openpyxl:主要针对xlsx格式的excel进⾏读取和编辑
xlwings:对xlsx、xls、xlsm格式⽂件进⾏读写、格式修改等操作
xlsxwriter:⽤来⽣成excel表格,插⼊数据、插⼊图标等表格操作,不⽀持读取
Microsoft Excel API:需安装pywin32,直接与Excel进程通信,可以做任何在Excel⾥可以做的事情,但⽐较慢6. 操作数据库(pymysql、cx_Oracle等)
python⼏乎⽀持对所有数据库的交互,连接数据库后,可以使⽤sql语句进⾏增删改查。
主要模块:
pymysql:⽤于和mysql数据库的交互
sqlalchemy:⽤于和mysql数据库的交互
cx_Oracle:⽤于和oracle数据库的交互
sqlite3:内置库,⽤于和sqlite数据库的交互
pymssql:⽤于和sql server数据库的交互
pymongo:⽤于和mongodb⾮关系型数据库的交互
redis、pyredis:⽤于和redis⾮关系型数据库的交互
到此这篇关于python⾥读写excel等数据⽂件的6种常⽤⽅式(⼩结)的⽂章就介绍到这了,更多相关python读写excel内容请搜索以前的⽂章或继续浏览下⾯的相关⽂章希望⼤家以后多多⽀持!

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。