⽤Python的pandas框架操作Excel⽂件中的数据教程
引⾔
本⽂的⽬的，是向您展⽰如何使⽤来执⾏⼀些常见的Excel任务。有些例⼦⽐较琐碎，但我觉得展⽰这些简单的东西与那些你可以在其他地⽅到的复杂功能同等重要。作为额外的福利，我将会进⾏⼀些模糊字符串匹配，以此来展⽰⼀些⼩花样，以及展⽰pandas是如何利⽤完整的Python模块系统去做⼀些在Python中是简单，但在Excel中却很复杂的事情的。
有道理吧？让我们开始吧。
为某⾏添加求和项
我要介绍的第⼀项任务是把某⼏列相加然后添加⼀个总和栏。
⾸先我们将导⼊到pandas数据框架中。
import pandas as pd
import numpy as np
df = pd.read_excel("excel-comp-data.xlsx")
df.head()
我们想要添加⼀个总和栏来显⽰Jan、Feb和Mar三个⽉的销售总额。
在Excel和pandas中这都是简单直接的。对于Excel，我在J列中添加了公式sum(G2:I2)。在Excel中看上去是这样的：
python货币转换
下⾯，我们是这样在pandas中操作的：
df["total"] = df["Jan"] + df["Feb"] + df["Mar"]
df.head()
接下来，让我们对各列计算⼀些汇总信息以及其他值。如下Excel表所⽰，我们要做这些⼯作：
如你所见，我们在表⽰⽉份的列的第17⾏添加了SUM(G2:G16)，来取得每⽉的总和。
进⾏在pandas中进⾏列级别的分析很简单。下⾯是⼀些例⼦：
df["Jan"].sum(), df["Jan"].mean(),df["Jan"].min(),df["Jan"].max()
(1462000, 97466.666666666672, 10000, 162000)
现在我们要把每⽉的总和相加得到它们的和。这⾥pandas和Excel有点不同。在Excel的单元格⾥把每个⽉的总和相加很简单。由于pandas需要维护整个DataFrame的完整性，所以需要⼀些额外的步骤。
⾸先，建⽴所有列的总和栏
sum_row=df[["Jan","Feb","Mar","total"]].sum()
sum_row
Jan  1462000
Feb  1507000
Mar    717000
total  3686000
dtype: int64
这很符合直觉，不过如果你希望将总和值显⽰为表格中的单独⼀⾏，你还需要做⼀些微调。
我们需要把数据进⾏变换，把这⼀系列数字转换为DataFrame，这样才能更加容易的把它合并进已经存在的数据中。T 函数可以让我们把按⾏排列的数据变换为按列排列。
df_sum=pd.DataFrame(data=sum_row).T
df_sum
在计算总和之前我们要做的最后⼀件事情是添加丢失的列。我们使⽤reindex来帮助我们完成。技巧是添加全部的列然后让pandas去添加所有缺失的数据。
df_sum=index(lumns)
df_sum
现在我们已经有了⼀个格式良好的DataFrame，我们可以使⽤append来把它加⼊到已有的内容中。
df_final=df.append(df_sum,ignore_index=True)
df_final.tail()
额外的数据变换
另外⼀个例⼦，让我们尝试给数据集添加状态的缩写。
对于Excel，最简单的⽅式是添加⼀个新的列，对州名使⽤vlookup函数并填充缩写栏。
我进⾏了这样的操作，下⾯是其结果的截图：
你可以注意到，在进⾏了vlookup后，有⼀些数值并没有被正确的取得。这是因为我们拼错了⼀些州的名字。在Excel中处理这⼀问题是⼀个巨⼤的挑战（对于⼤型数据集⽽⾔）
幸运的是，使⽤pandas我们可以利⽤强⼤的python⽣态系统。考虑如何解决这类⿇烦的数据问题，我考虑进⾏⼀些模糊⽂本匹配来决定正确的值。
幸运的是其他⼈已经做了很多这⽅⾯的⼯作。库包含⼀些⾮常有⽤的函数来解决这类问题。⾸先要确保你安装了他。
我们需要的另外⼀段代码是州名与其缩写的映射表。⽽不是亲⾃去输⼊它们，⾕歌⼀下你就能到这段代码。
⾸先导⼊合适的fuzzywuzzy函数并且定义我们的州名映射表。
from fuzzywuzzy import fuzz
from fuzzywuzzy import process
state_to_code = {"VERMONT": "VT", "GEORGIA": "GA", "IOWA": "IA", "Armed Forces Pacific": "AP", "GUAM": "GU",
"KANSAS": "KS", "FLORIDA": "FL", "AMERICAN SAMOA": "AS", "NORTH CAROLINA": "NC", "HAWAII": "HI",
"NEW YORK": "NY", "CALIFORNIA": "CA", "ALABAMA": "AL", "IDAHO": "ID", "FEDERATED STATES OF MICRONESIA": "FM",
"Armed Forces Americas": "AA", "DELAWARE": "DE", "ALASKA": "AK", "ILLINOIS": "IL",
"Armed Forces Africa": "AE", "SOUTH DAKOTA": "SD", "CONNECTICUT": "CT", "MONTANA": "MT", "MASSACHUSETTS": "MA",
"PUERTO RICO": "PR", "Armed Forces Canada": "AE", "NEW HAMPSHIRE": "NH", "MARYLAND": "MD", "NEW MEXICO": "NM",
"MISSISSIPPI": "MS", "TENNESSEE": "TN", "PALAU": "PW", "COLORADO": "CO", "Armed Forces Middle East": "AE",
"NEW JERSEY": "NJ", "UTAH": "UT", "MICHIGAN": "MI", "WEST VIRGINIA": "WV", "WASHINGTON": "WA",
"MINNESOTA": "MN", "OREGON": "OR", "VIRGINIA": "VA", "VIRGIN ISLANDS": "VI", "MARSHALL ISLANDS": "MH",
"WYOMING": "WY", "OHIO": "OH", "SOUTH CAROLINA": "SC", "INDIANA": "IN", "NEVADA": "NV", "LOUISIANA": "LA",
"NORTHERN MARIANA ISLANDS": "MP", "NEBRASKA": "NE", "ARIZONA": "AZ", "WISCONSIN": "WI", "NORTH DAKOTA": "ND",
"Armed Forces Europe": "AE", "PENNSYLVANIA": "PA", "OKLAHOMA": "OK", "KENTUCKY": "KY", "RHODE ISLAND": "RI",
"DISTRICT OF COLUMBIA": "DC", "ARKANSAS": "AR", "MISSOURI": "MO", "TEXAS": "TX", "MAINE": "ME"}
这⾥有些介绍模糊⽂本匹配函数如何⼯作的例⼦。
('MINNESOTA', 95)
现在我知道它是如何⼯作的了，我们创建⾃⼰的函数来接受州名这⼀列的数据然后把他转换为⼀个有效的缩写。这⾥我们使⽤
score_cutoff的值为80。你可以做⼀些调整，看看哪个值对你的数据来说⽐较好。你会注意到，返回值要么是⼀个有效的缩写，要么是⼀个np.nan 所以域中会有⼀些有效的值。
def convert_state(row):
abbrev = actOne(row["state"],choices=state_to_code.keys(),score_cutoff=80)
if abbrev:
return state_to_code[abbrev[0]]
return np.nan
把这列添加到我们想要填充的单元格，然后⽤NaN填充它
df_final.insert(6, "abbrev", np.nan)
df_final.head()
我们使⽤apply 来把缩写添加到合适的列中。
df_final['abbrev'] = df_final.apply(convert_state, axis=1)
df_final.tail()
我觉的这很酷。我们已经开发出了⼀个⾮常简单的流程来智能的清理数据。显然，当你只有15⾏左右数据的时候这没什么了不起的。但是如果是15000⾏呢？在Excel中你就必须进⾏⼀些⼈⼯清理了。
分类汇总
在本⽂的最后⼀节中，让我们按州来做⼀些分类汇总（subtotal）。
在Excel中，我们会⽤subtotal ⼯具来完成。
输出如下：
在pandas中创建分类汇总，是使⽤groupby 来完成的。
df_sub=df_final[["abbrev","Jan","Feb","Mar","total"]].groupby('abbrev').sum()
df_sub
然后，我们想要通过对data frame中所有的值使⽤ applymap 来把数据单位格式化为货币。
def money(x):
return "${:,.0f}".format(x)
formatted_df = df_sub.applymap(money)
formatted_df
格式化看上去进⾏的很顺利，现在我们可以像之前那样获取总和了。
sum_row=df_sub[["Jan","Feb","Mar","total"]].sum()
sum_row
Jan  1462000
Feb  1507000
Mar    717000
total  3686000
dtype: int64
把值变换为列然后进⾏格式化。
df_sub_sum=pd.DataFrame(data=sum_row).T
df_sub_sum=df_sub_sum.applymap(money)
df_sub_sum
最后，把总和添加到DataFrame中。
final_table = formatted_df.append(df_sub_sum)
final_table
你可以注意到总和⾏的索引号是‘0'。我们想要使⽤rename 来重命名它。
final_table = ame(index={0:"Total"})
final_table
结论
到⽬前为⽌，⼤部分⼈都已经知道使⽤pandas可以对数据做很多复杂的操作——就如同Excel⼀样。因为我⼀直在学习pandas，但我发现我还是会尝试记忆我是如何在Excel中完成这些操作的⽽不是在pandas中。我意识到把它俩作对⽐似乎不是很公平——它们是完全不同的⼯具。但是，我希望能接触到哪些了解Excel并且想要学习⼀些可以满⾜分析他们数据需求的其他替代⼯具的那些⼈。我希望这些例⼦可以帮助到其他⼈，让他们有信⼼认为他们可以使⽤pandas来替换他们零碎复杂的Excel，进⾏数据操作。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。