Python数据分析与可视化学习笔记（⼀）数据分析与可视化概述
数据分析与可视化（⼀）
1.1 数据分析
1.1.1 数据、信息与数据分析
数据： 数据是指对客观事件进⾏记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进⾏记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。是信息的表现形式和载体，可以是符号、⽂字、数字、语⾳、图像、视频等。
信息：信息是数据的内涵，信息是加载于数据之上，对数据作具有含义的解释。（⽤来消除不确定性）
数据和信息是不可分离的，信息依赖数据来表达，数据则⽣动具体表达出信息。
数据是符号，是物理性的，信息是对数据进⾏加⼯处理之后得到并对决策产⽣影响的数据，是逻辑性和观念性的；
数据是信息的表现形式，信息是数据有意义的表⽰。数据是信息的表达、载体，信息是数据的内涵，是形与质的关系。
subtotal函数的使用方法的109
数据本⾝没有意义，数据只有对实体⾏为产⽣影响时才成为信息。
数据分析：数据分析是指⽤适当的统计分析⽅法对收集来的⼤量数据进⾏分析，为提取有⽤信息和形成结论⽽对数据加以详细研究和概括总结的过程。数据分析有狭义和⼴义之分。狭义的数据分析是指根据分析⽬的，采⽤对⽐分析、分组分析、交叉分析和回归分析等分析⽅法对搜集来的数据进⾏处理与分析提取有价值的信息，发挥数据的作⽤，并得到⼀个统计量结果的过程。⼴义的数据分析是指针对搜集来的数据运⽤基础探索、统计分析、深层挖掘等⽅法，发现数据中有⽤的信息和未知的规律与模式，进⽽为下⼀步的业务决策提供理论与实践依据。⼴义的数据分析就包含了数据挖掘。
1.1.2数据分析与数据挖掘的区别
数据挖掘：数据挖掘是指从⼤量的、不完全的、有噪声的、模糊的和随机的实际应⽤数据中，通过应⽤聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。
差异⾓度数据分析数据挖掘定义描述和探索性分析，评估现状和修正不⾜技术技术性的“采矿”过程，发现未知的模式和规律
侧重点实际的业务知识实际的业务知识
python数据分析基础教程答案
技能统计学、数据库、Excel、可视化等过硬的数学功底和编程技术
结果需结合业务知识解读统计结果模型或规则
数据分析和数据挖掘都是基于搜集来的数据，应⽤数学、统计和计算机等技术抽取出数据中的有⽤信息，进⽽为决策提供依据和指导⽅向。
1.1.3数据分析的流程
需求分析：数据分析中的需求分析也是数据分析环节的第⼀步和最重要的步骤之⼀，决定了后续的分析的⽅向、⽅法。
数据获取：数据是数据分析⼯作的基础，是指根据需求分析的结果提取，收集数据。
diag开发工程师
数据预处理：数据预处理是指对数据进⾏数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变得⼲净整齐，可以直接⽤于分析建模这⼀过程的总称。
分析与建模：分析与建模是指通过对⽐分析、分组分析、交叉分析、回归分析等分析⽅法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。
模型评价与优化：模型评价是指对已经建⽴的⼀个或多个模型，根据其模型的类别，使⽤不同的指标评价其性能优劣的过程。
部署：部署是指通过了正式应⽤数据分析结果与结论应⽤⾄实际⽣产系统的过程。
自学mysql数据库
1.2 数据可视化
数据可视化：数据可视化是关于数据视觉表现形式（即⼀种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量）的科学技术研究。它主要是借助图形化⼿段，清晰有效地传达与沟通信息（即数据的可视化展⽰），有助于确定需要进⼀步调查的异常值、差距、趋势和有趣的数据点。有效的可视化可显著减少受众处理信息和获取有价值见解所需的时间，是⼀个化繁为简的过程。（表达观点、发现联系）
数据分析是⼀个探索性的过程，通常从特定的问题开始，⽽数据分析和数据可视化这两个术语密不可分。在实际处理数据时，数据分析先于可视化输出，⽽可视化分析⼜是呈现有效分析结果的⼀种好⽅法。
数据：聚焦于解决数据的采集、清理、预处理、分析和挖掘
图形：聚焦于解决对光学图象进⾏接收、提取信息、加⼯变换、模式识别及存储显⽰
可视化：聚焦于解决将数据转换成图形，并进⾏交互处理
1.3 数据分析与可视化常⽤⼯具
1. Microsoft Excel
Excel是⼤家熟悉的电⼦表格软件，已被⼴泛使⽤了很多年，如今甚⾄有很多的数据只能以Excel表格的形式获取到，但是它的局限在于它⼀次性所能处理的数据量，⽽且除⾮通晓VBA这个Excel内置的编程语⾔，否则针对不同数据集来绘制⼀张图表将是⼀件极其繁琐的事。
2. R语⾔
R语⾔是集统计分析与图形显⽰于⼀体的⽤于分析、绘图的语⾔和操作环境的软件，是属于GNU系统的⼀个⾃由、免费、源代码开放的软件，是⼀个⽤于统计计算和统计制图的优秀⼯具。
3. Python语⾔
Python是⼀种动态的、⾯向对象的、解释型脚本语⾔，起初被⽤于编写⾃动化脚本，后随着版本迭代
及功能升级，⽬前也可以⽤于单独开发，是⼀门跨平台的脚本语⾔（Python规定了⼀个Python语法规则，实现了Python语法的解释程序就成为了Python的解释器。
）Python代码具有简洁性、易读性和易维护性等优点。
4. JavaScript
JavaScript（缩写为JS）是⼀种⾼级的、多范式、解释型的编程语⾔，是⼀门基于原型、函数先⾏的语⾔，它⽀持⾯向对象编程、命令式编程以及函数式编程。它提供语法来操控⽂本、数组、⽇期以及正则表达式，不⽀持I/O（⽐如⽹络、存储和图形等），但可以由它的宿主环境提供⽀持，是⼀种基于对象和事件驱动并具有相对安全性的客户端脚本语⾔。
5. PHP
list contains
PHP（“超⽂本预处理器”）是⼀种通⽤开源脚本语⾔。语法吸收了C语⾔、Java和Perl的特点，利于学习，使⽤⼴泛，主要适⽤于Web开发领域，但它其中丰富的图形库意味着它可以应⽤于数据的可视化。
1.4 Python数据分析与可视化常⽤类库
1. Numpy
Numpy软件包是Python⽣态系统中数据分析，机器学习和科学计算的主⼒军。 它极⼤地简化了向量和矩阵的操作处理⽅式，它提供了许多⾼级的数值编程⼯具，如：矩阵数据类型、⽮量处理，以及精密的运算库。专为进⾏严格的数字处理⽽产⽣。多为很多⼤型⾦融公司使⽤，以及核⼼的科学计算组织如：Lawrence Livermore，NASA⽤其处理⼀些本来使⽤C++，Fortran或Matlab等所做的任务。
2. SciPy
SciPy库依赖于NumPy，它提供了便捷且快速的N维数组操作。 SciPy库的构建与NumPy数组⼀起⼯作，并提供了许多⽤户友好和⾼效的数字实践，可便捷地解决科学计算中的⼀些标准问题。
3. Pandas
pandas 是基于NumPy 的⼀种⼯具，该⼯具是为了解决数据分析任务⽽创建的。它纳⼊了⼤量库和⼀些标准的数据模型，提供了⾼效地操作⼤型数据集所需的⼯具，提供了⼤量能使我们快速便捷地处理数据的函数和⽅法。
4. Matplotlib
Matplotlib 是⼀个 Python 的 2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境⽣成出版质量级别的图形。它可与Numpy⼀起使⽤，提供⼀种有效的MATLAB开源替代⽅案；它也可以和图形⼯具包
⼀起使⽤，让⽤户很轻松地将数据图形化；同时它还提供多样的输出格式。
个人怎样弄小程序
5. Seaborn
Seaborn是基于matplotlib的图形可视化python包。它提供了⼀种⾼度交互式界⾯，便于⽤户能够做出各种有吸引⼒的统计图表。
6. Scikit-learn
基于SciPy，开发者们针对不同的应⽤领域发展出的众多的分⽀版本被统⼀称为Scikits，即SciPy⼯具包的意思。⽽在这些分⽀版本中，最有名，也是专门⾯向机器学习的⼀个就是Scikit-learn。Scikit-learn是Python语⾔中专门针对机器学习应⽤⽽发展起来的⼀款开源框架。作为专门⾯向机器学习的Python开源框架，内部实现了各种各样成熟的算法，容易安装和使⽤，样例丰富，⽽且教程和⽂档也⾮常详细，但它不⽀持深度学习和强化学习，也不⽀持图模型和序列预测，不⽀持Python之外的语⾔，不⽀持PyPy，也不⽀持GPU加速。Scikit-learn的基本功能主要被分为六⼤部分：分类，回归，聚类，数据降维，模型选择和数据预处理。
本⽂部分内容来⾃清华⼤学出版社《Python数据分析与可视化》作者：魏伟⼀ 李晓红
很棒的书哦，感兴趣的同学可以购买本书来学习哟~

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。