
尽管Excel在一张工作表中可以存放1048576行数据,但实际工作中一般处理10万行以上数据就有点卡了,因为Excel主体功能毕竟不是存储数据而是分析数据。
面对大数据,该怎么办?
任何软件都不是万能的,我们要擅长于使用他们的长处。数据库是用来存储数据的,Excel是用来做数据分析的,当有大数据时我们可以用数据库来存储数据,然后用SQL语句查到Excel中,再进行数据分析,借助于SQL,Excel可以跟各主流数据库对接,实现大数据分析。
1. Excel+SQL+ACCESS处理千万条数据
ACCESS数据库最大数据存储量是2G,数据条目数在百万、千万级。
以下来自网络:
keyterxian2002-12-02 03:22:10
请问,ACCESS数据库最大数据存储量是多少?我最近做了一个人事薪资软件,客户说数据量非常大,有十几万条,甚至上百万条,不知ACCESS数据库能否存受得了?
hxq521 2002-12-02
ACCESS 足够应付了! 只不过速度是很慢! 一慢就出现 程序执行错误
changechange 2002-12-02
本单位使用,1200万条资料的信息库,全SQL查询,ACCESS数据库,感觉还行
2. Excel+SQL+SQL Server处理10G数据
SQL Server最大数据存储量是4G-10G
以下来自网络:
SQL Server 2005 Express 和SQL Server 2008 Express
数据库的大小限制最大为 4GB,最新版本的SQL Server 2008 R2 Express 数据库的大小限制最大为10G。这个大小的限制只有在数据文件上,事务日志大小则不受此限。
3. Excel+SQL+MySQL处理10G数据
MySQL最大数据存储量是4G-10G
以下来自网络:
MySQL能承受的数据量的多少主要和数据表的结构有关,另外还与机器硬件,系统版本以及系统参数,表引擎以及具体业务读写情况等都有关系并不是一个固定的数值。表的结构简单,则能承受的数据量相对比结构复杂时大些。MySQL数据库单表在5千万条记录(10G)情况下运行良好。当然,这些结论和对数据库的优化是分不开的。
在mysql中,每个数据库最多可创建20亿个表,一个表允许定义1024列,每行的最大长度为8092字节(不包括文本和图像类型的长度)。当表中定义有varchar、nvarchar或varbinary类型列时,如果向表中插入的数据行超过8092字节时将导致Transact-SQL语句失败,并产生错误信息。SQL Server对每个表中行的数量没有直接限制,但它受数据库存储空间的限制。每个数据库的最大空间1048516TB,所以一个表可用的最大空间为1048516TB减去数据库类系统表和其它数据库对象所占用的空间。
据D.V.B 团队以及Cmshelp 团队做CMS 系统评测时的结果来看,MySQL单表大约在2千万条记录(4G)下能够良好运行,经过数据库的优化后5千万条记录(10G)下运行良好。
4. Excel+SQL+Oracle处理8eb数据
Oracle的存储容量为8eb,也就是1024*1024*1024=1073741824G
以下来自网络:
Oracle推出的bigfile 表空间,使得在64位操作系统下,Oracle的存储容量扩展到8eb了。但,你每年这么大的数据只是单纯的存放,还是要时常加工处理呢,那就要考虑性能问题了。
追问:
有各种数据分析(用存储过程计算分析,考虑到对数据库的压力,也可以在外部读出数据后进行分析,然后再写回数据库的方式),也想过分库、分表、分区的办法来保证性能。总体说,在现有技术前提下,这样的数据量Oracle是能管理的,对吗?
追答:
存储数据量这个方面是没问题的,
但架构方面,你还得好好规划下,每年400T的增长量还是相当恐怖的。
数据量太大,可能到时候你一条报表sql都要跑个一两天。。。
MB,全称MByte,计算机中的一种储存单位,含义是“兆字节”。1MB可储存1024×1024=1048576字节(Byte)。
字节(Byte)是存储容量基本单位,1字节(1Byte)由8个二进制位组成。
位(bit)是计算机存储信息的最小单位,二进制的一个“0”或一个“1”叫一位。
通俗来讲,1MB约等于一张网络通用图片(非高清)的大小。
1GB=1024MB,约等于下载一部电影(非高清)的大小。
1TB=1024GB,约等于一个固态硬盘的容量大小,能存放一个不间断的监控摄像头录像(200MB/个)长达半年左右。
1PB=1024TB,容量相当大,应用于大数据存储设备,如服务器等。
1EB=1024PB,目前还没有单个存储器达到这个容量。