⽤对数⼏率回归实现周志华《机器学习》习题3.3西⽠分
类，python编程
数据集如下，要求根据西⽠的两个属性x1(密度)，x2(含糖率)实现对西⽠好⽠（1）还是坏⽠（0）的分类
代码如下：
# -*- coding: utf-8 -*-
#对率回归分类
import numpy as np
from numpy import linalg
import pandas as pd
#读取数据集
html学多久
inputfile = 'd:/pythonwork/data/xigua.xls'
data_original = pd.read_excel(inputfile, 'xigua')
#数据的初步转化与操作--属性x变量2⾏17列数组，并添加⼀组1作为吸⼊的偏置x^=（x;1）
x=np.array([list(data_original[u'密度']),list(data_original[u'含糖率']),[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
y=np.array([1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0])
#定义初始参数
beta = np.array([[0],[0],[1]])      #β列向量
old_l = 0 #3.27式l值的记录，这是上⼀次迭代的l值
n=0
while 1:
beta_T_x = np.dot(beta.T[0], x)  # 对β进⾏转置取第⼀⾏（因为β转置后是array([[0, 0, 1]]，取第⼀⾏得到array([0, 0, 1])
# ，再与x相乘（dot）,beta_T_x表⽰β转置乘以x)
cur_l = 0  #当前的l值
for i in range(17):
cur_l = cur_l + ( -y[i]*beta_T_x[i]+np.log(p(beta_T_x[i])) )#计算当前3.27式的l值，这是⽬标函数，希望他越⼩越好
#迭代终⽌条件
if np.abs(cur_l - old_l) <= 0.000001:  #精度，⼆者差在0.000001以内就认为可以了，说明l已经很收敛了
break              #满⾜条件直接跳出循环
#⽜顿迭代法更新β
#求关于β的⼀阶导数和⼆阶导数
n=n+1
old_l = cur_l
dbeta = 0
d2beta = 0
for i in range(17):
dbeta = dbeta - np.dot(np.array([x[:,i]]).T,( y[i]-(  np.exp(beta_T_x[i])/(p(beta_T_x[i])) ) )) #⼀阶导数
d2beta =d2beta + np.dot(np.array([x[:,i]]).T,np.array([x[:,i]]).T.T) * (  np.exp(beta_T_x[i])/(p(beta_T_x[i])) ) * (1-(  np.exp(beta_T_x[i])/(p(beta    beta = beta - np.dot(linalg.inv(d2beta),dbeta)
print '模型参数是：',beta
print '迭代次数：',n

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。