1. Python数据处理和分析常用语句
数据分析的普通步骤包括数据获取、数据整理、数据描述、数据分析
1.1 数据获取
1.1.1 数据获取方式
1.1.2 查看数据属性
Data.shape 查看数据多少行、多少列
Data.dtypes 查看各数据字段的属性
1.2 数据整理
#第二步：做一些数据的基本处理：
1.2.1 数据基本处理（类excel）
用subplot函数#0.数据类型的转换
例如：如果要做时间序列分析，首先要将交易日期从通用对象（object）转换为日期对象（datetime）
df['date'] = pd.to_datetime(df['date'])
#1.如何获取导入的数据有几行几列？
直接用df.shape，返回一个维度（几行，几列）的元组；
df.iloc[:, 0].size #获取行数
#2.如何查看指定行、列、子集？
#df = ad_excel('1.xls',sheetname= '店铺分析日报')
df = df.loc[:,['股票代码','股票名称', '营业总收入']]#访问指定的列
#df=df['股票代码'] #查看指定列
#DataFrame.ix['index_name'] #查看指定行
#dataframe[m:n] #选择多行
#dataframe[dataframe['col3'>5]] #条件筛选
#dataframe.ix[0:3,0:5] #选择子集
#3.如何添加新的列
例1：添加一个总和栏来显示Jan、Feb和Mar三个月的销售总额
df['total'] = df['Jan']+df['Feb']+df['Mar']
例2：把计算结果添加为一个新的列
df['P/E'] = df.收盘价/df.基本每股收益#新的列名，后面是对应的数值
例3：在excel表最后加一行求各列和
sum_row=df[['Jan','Feb','Mar','total']].sum()
#4.如何删除行列
#df_delete=df.drop(['result'],axis=1) #删除列
#DataFrame.drop(['index1','index2'...]) #删除行
#5.如何对数据进行排序？
df['P/E'].size #获取‘P/E’这列共有多少行
newdf=df_delete.sort('P/E') #默认升序罗列
sort_index也可以进行排序
#6.如何对数据进行筛选？
#1.筛选出predictaqi_norm1这一列大于100的行；
也可以写为：data[data.收盘价>100]
#2.使用&（并）与| （或者）实现多条件筛选
aqicsv[(aqicsv.predictaqi_norm1>150) |(aqicsv.predictaqi_norm1<100) ]
#3.筛选后取此外两列数据
如果只需要其中两列数据，而同时利用此外两列进行筛选时可以这样.如果只需要其中的某几列可以写为aqicsv[['FID','x','y']]
aqicsv[['x','y']][(aqicsv.FID >10000) | (aqicsv.predictaqi_norm1 >150)]
#4.isin()用法：筛选某一列数据符合等于规定值
(它使得我们可以定义一个列表，里面包含我们所希翼查的值);
data7=data[data['股票代码'].isin(['sh600141','sh600754','sh603017','sh603198'])]
#同样，以上这个语句可以用query()函数来查询，需要安装numexpr；
data8=data.query('股票代码== ['sh600141','sh600754','sh603017','sh603198']')
#map()函数也有这个功能，样式如下：
#5.字符串方法：筛选某一列内容包含特定值
例如出MA金叉死叉列所有含金叉的行，但列不能含空值
data8=data7[data7['MA金叉死叉'].ains('金叉')]
#6.如果列中存在空值，空值处理方法：
#6.1 用fillna()方法将空值填充
data7=data.fillna(value='你好')
#6.2 或者将列中的空值删除；
stock_data = stock_data[stock_data['市盈率TTM'].notnull()]
#或者6.2 用dropna删除缺失值
stock_data.dropna(subset=['下个月涨跌幅'], inplace=True)
#7.pandas能够理解日期，在对日期数据筛选方面可以对某年、某月进行筛选；
data[data['交易日期']='2022-03']
data[data['交易日期']='2022']
data[(data['交易日期'] >='20220701') & (data['交易日期'] <= '20220715')].head()
#8.对时间序列数据，设置交易日期为新的索引
df2 = data.set_index(['交易日期'])
#通过切分来获得一段区间
df2['2022']
df2['2022-Dec']
#9.用unique()函数来获取一个不含重复项的小列表
#如果这个小列表同时要包含其他列信息，可以用drop_duplicates（）函数
#7.数据转置
df_sum=pd.DataFrame(data=sum_row).T
#8.简单的统计与筛选
1.2.2 将分割数据读取到一张DataFrame
# 第五步：数据跟文件夹的交互——读取、保存
#1.用for循环和append函数将文件夹中不同表格的数据经过筛选后加载到同一张表格
import pandas as pd
import os
stock_code_list=[]
for root,dirs,files in os.walk('overview-data-sh/'):
if files:
for f in files:
if'sh6'in f:
stock_code_list.append(f.split('.csv')[0])
all_stock_sh=pd.DataFrame()
for code in stock_code_list:
stock_ad_csv('overview-data-sh/'+code+'.csv',encoding='gbk')
stock_data=stock_data[['交易日期','股票代码', '股票名称','涨跌幅', '成交额', '换手率', '流通市值','市盈率TTM', '市销率TTM', '市现率TTM', '市净率', 'MA_5', 'MA_10','MA_20', 'MA_30', 'MA_60','MA金叉死叉','MACD_金叉死叉','KDJ_金叉死叉','收盘价','开盘价']]

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。