python怎么读取txt数据_对⽂件读取及数据处理⽅法
总结
1、处理包含数据的⽂件
最近利⽤Python读取txt⽂件时遇到了⼀个⼩问题，就是在计算两个np.narray()类型的数组时，出现了以下错误：
TypeError: ufunc 'subtract' did not contain a loop with signature matching types dtype('
作为⼀个Python新⼿，遇到这个问题后花费了挺多时间，在⽹上了许多⼤神们写的例⼦，最后终于解决了。
总结如下：
(1)出现此问题的原因是：⽬的是想计算两个数组间的差值，但数组中的元素不是数据类型(float或int等)，⽽是str类型的。
(2)解决⽅法：在为空数组添加数据过程中，将每个数据强制转化为float型。
如将“character.append(dataSet[i][:-1])”修改为“ character.append([float(tk) for tk in dataSet[i][:-1]])”
现将利⽤Python读取txt⽂件的过程总结如下：
python版本为python3.6
(1)函数定义，存放于Function.py⽂件中：
from numpy import *
import random
#读取数据函数，返回list类型的训练数据集和测试数据集
def loadData(fileName):
trainingData=[]
testData=[]
with open(fileName) as txtData:
adlines()
for line in lines:
lineData=line.strip().split(',') #去除空⽩和逗号“,”
if random.random()<0.7: #数据集分割⽐例
trainingData.append(lineData) #训练数据集
else:
testData.append(lineData) #测试数据集
return trainingData,testData
#输⼊数据为list类型，分割数据集，分割为特征和标签两部分，返回数据为np.narray类型
def splitData(dataSet):
character=[]
character.append([float(tk) for tk in dataSet[i][:-1]])
label.append(dataSet[i][-1])
return array(character),array(label)
(2)实现两个数组间的减法，存放于main.py⽂件中：
#__author__=='qustl_000'
#-*- coding: utf-8 -*-
import numpy as np
import Function
fileName="1.txt"
trainingData,testData=Function.loadData(fileName)
trainingCharacter,trainingLabel=Function.splitData(trainingData) testCharacter,testLabel=Function.splitData(testData)
diff1=np.tile(testCharacter[0],(len(trainingCharacter),1))-trainingCharacter print('测试数据集的⼀条数据，扩充到与训练数据集同维：')
print(np.tile(testCharacter[0],(len(trainingCharacter),1)))
print('训练数据集：')
print(trainingCharacter)
print('作差后的结果：')
print(diff1)
(3)运⾏结果：
测试数据集的⼀条数据，扩充到与训练数据集同维：
[[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.5 60. ]
[ 1.6 40. ] [ 1.6 50. ] [ 1.6 60. ] [ 1.6 70. ] [ 1.7 60. ] [ 1.7 70. ] [ 1.7 80. ] [ 1.8 60. ] [ 1.8 80. ] [ 1.8 90. ] [ 1.9 90. ]]
作差后的结果：[[ 0. 20. ]
[ 0. 10. ]
[ -0.1 20. ] [ -0.1 10. ] [ -0.1 0. ]
[ -0.1 -10. ] [ -0.2 0. ]
[ -0.2 -10. ] [ -0.2 -20. ] [ -0.3 0. ]
[ -0.3 -20. ] [ -0.3 -30. ] [ -0.4 -30. ]]数据集如下：1.5,40,thin 1.5,50,fat
1.5,60,fat
1.7,60,thin
1.7,70,fat
1.7,80,fat
1.8,60,thin
1.8,70,thin
1.8,80,fat
1.8,90,fat
1.9,80,thin
1.9,90,fat
2、处理⽂本⽂件，如情感识别类的⽂件
在进⾏⽂本的情感分类时，从电影评论数据集⽹站上下载数据集后，发现数据集中存在许多不需要的符号。截取部分包含多余字符的数据如下：
下载数据集后，所有txt⽂件存放在两个⽂件夹：“neg”(包含消极评论)和“pos”(包含积极地评论)中。
两者的存放⽬录如下：“F:\Self_Learning\机器学习\python\Bayes\review_polarity\txt_sentoken”。后⾯需要⽤到⽂件路径，此路径可根据⾃⼰存放⽬录修改。
主要涉及到的python操作有：多余字符的删除、⽂件夹中多⽂件的操作。
2.1 多余字符的删除
⾸先，我们要删除多余的符号，获得⼲净的数据。
经过查资料，知道删除⼀条⽂本数据中不需要的符号，可以通过re.sub(chara,newChara,data)函数实现，其中chara是需要删除的字符，newChara是删除字符后相应位置的替换字符，data是需要操作的数据。⽐如下⾯的代码，指的是删除lines中包含的前⾯列出的字符，并⽤空⽩替换：
lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、~@#￥%…&*()0123456789]+", " ", lines)
2.2 python对多⽂件的操作
下⾯的程序中，pathDirPos指的是所有积极评论的txt⽂件所在的⽬录，在此指的是“F:\Self_Learning\机器学习
\python\Bayes\review_polarity\txt_sentoken\pos”。child就是获得的每个txt⽂件全名。
for allDir in pathDirPos:
child = os.path.join('%s' % allDir)
2.3 电影评论数据集预处理
下⾯给出对于电影评论数据集的预处理程序(python3.6).
'''获取数据，并去除数据中的多余符号，返回list类型的数据集'''
def loadData(pathDirPos,pathDirNeg):
for allDir in pathDirPos:
lineDataPos = []
child = os.path.join('%s' % allDir)
filename = r"review_polarity/txt_sentoken/pos/" + child
with open(filename) as childFile:
for lines in childFile:
lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、~@#￥%…&*()0123456789]+", " ", lines) line = lineString.split(' ') #⽤空⽩分割每个⽂件中的数据集(此时还包含许多空⽩字符)
for strc in line:
if strc != "" and len(strc) > 1: #删除空⽩字符，并筛选出长度⼤于1的单词
lineDataPos.append(strc)
posAllData.append(lineDataPos)
python怎么读文件夹下的文件夹# 消极评论
for allDir in pathDirNeg:
lineDataNeg = []
child = os.path.join('%s' % allDir)
filename = r"review_polarity/txt_sentoken/neg/" + child
with open(filename) as childFile:
for lines in childFile:
lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、~@#￥%…&*()0123456789]+", " ", lines) line = lineString.split(' ') #⽤空⽩分割每个⽂件中的数据集(此时还包含许多空⽩字符)
for strc in line:
if strc != "" and len(strc) > 1: #删除空⽩字符，并筛选出长度⼤于1的单词
lineDataNeg.append(strc)
negAllData.append(lineDataNeg)
return posAllData,negAllData
'''划分数据集，将数据集划分为训练数据和测试数据，参数splitPara为分割⽐例'''
def splitDataSet(pathDirPos,pathDirNeg,splitPara):
trainingData=[]
testData=[]
traingLabel=[]

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。