excel学习库-大数据与AI时代

什么是大数据？

“大数据”这个词相信大家都十分熟悉。从字面理解，这不就是很多很多的数据吗？

1.44MB256GB1TBPB和EB（1PB=1024GB，1EB=1024PB）

图1：大数据概念图

Gartner

图2：大数据与其3V特征

Volume2020年12月5.2112.25

Velocity2亿100MB

VarietyGPS定位数据V2X网络连接数据

大数据与AI

AI是数据科学和计算机科学的一个重要技术领域，通俗来说就是让计算机来做一些以往由人类智能来完成的事情，例如下围棋和驾驶汽车等。下图是从2011年以来，关于“大数据”和“AI”的百度搜索指数。可见“大数据”在12年之前甚少被搜索，在17年左右到达了搜索的巅峰，之后有所回落。而“AI”则在11年及更早就被人们所了解并搜索，在17年开始搜索量猛增。

图3：“大数据”和“AI”的百度搜索指数

总体来看，这近10年来“大数据”以及“AI”的搜索热度具有类似的涨跌态势，其原因是二者确有联系，而且相辅相成。近年来AI技术的发展，最主要是构筑在机器学习技术应用的新基础之上。机器学习实际上是一种数据分析技术，让计算机执行人和动物与生俱来的活动：从经验中学习。机器学习算法可以是简单的线性回归，也可以是复杂的深度神经网络（DNN）。

AI，尤其是机器学习，需要海量的数据来训练模型，而且这些海量数据都需要恒定快速地输入输出，同时AI也越来越多地用于处理各种类型的数据，例如视频、图片和电磁波等。这正是与大数据的3V特征相契合，也是大数据与AI近年来能够相互促进的原因。

大数据与数据科学

使用传统的数据分析方法很难处理大数据，往往需要专门的数据建模技术、工具和系统来提取组织所需的价值。数据科学则是一种科学方法，应用数学和统计学思想、计算机工具和专业背景知识来处理大数据。

图4：数据科学文氏图

Drew Conway

Hacking Skills指的是编程等计算机技术。因为很多数据都是非结构化的或特殊格式存在，可以通过编程技术收集和准备数据，还可以对海量数据进行统计，处理数据库等。

Math and Statistics

Substantive Expertise

这三种关键技能有相互重叠的应用场合，三种共用可以组合成综合的数据科学方法，也可以单独应用某个或者某两个技术。这些技术本身没有优劣和高低级之分，关键还是要明确我们处理大数据的目的，以及数据本身的特性，选择最适合的一种技术组合，作为我们处理大数据的工具。

机器学习就是结合计算机技术和统计数学方法，但忽略专业背景知识的一种技术。例如深度神经网络算法中可能会用到很多隐藏层，具体每一层和每一个参数的特征往往不是从专业背景知识或者上下文出发，我们也无从理解。

图5：机器学习概念图

而有些时候我们结合背景知识，运用统计数学模型也可以处理数据，不一定要用到编程技术，这就是传统的调查技术。例如我们在进行某项竞品分析时，可能按照背景选取关键的几个竞争对手，用Excel做一个简单的数据统计表就足以说明问题，达到我们的目的。

DrewConway

数据类别和储存计算

工作中有时我们会遇到工作交接的情况。如果上一任头脑清晰，资料整理很有逻辑很有结构，那么下一任就会轻松很多。在大数据领域，我们也有基于结构化程度对数据进行分类。具体的三种数据类别是：

结构化数据：

半结构化数据：（HTML）（ARXML）“AntiReplay”“True”64

图6：半结构化数据的典型例子：ARXML文件

非结构化数据：

这三种数据类别，在现实中其数据总量是递增的，但其处理难度也是递增的。

针对这不同的数据类别，有不同的数据存储和计算手段。接下来我们看几个典型的概念。

数据仓库：

数据湖泊：

云：

图7：云雾计算架构

雾：

写在最后

PythonR

参考来源：

1、百度指数, https://index.baidu.com/v2/main/index.html#/trend/%E5%A4%A7%E6%95%B0%E6%8D%AE?words=%E5%A4%A7%E6%95%B0%E6%8D%AE,%20ai

2、What is Data Science, https://www.oracle.com/data-science/what-is-data-science/

3、The Role of the Data Scientist，https://science.nu/community/the-role-of-the-data-scientist/

4、Fog computing vs Cloud computing，http://www.e2matrix.com/blog/2017/10/26/fog-computing-vs-cloud-computing/

一	二	三	四	五	六	日
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30	31

excel学习库

excel表格_excel函数公式大全_execl从入门到精通

大数据与AI时代2024-10-24 01:23:35

什么是大数据？

大数据与AI

大数据与数据科学

数据类别和储存计算

写在最后