大数据概述与云计算类似,大数据也是当前信息领域的研究热点之“大数据”一词由英文“BigData”译而来,过去常说的“信息爆灼炸”、“海海量数据”等已经不足以描述这个新事物。
“大数据”可以定义为:大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。这个定义有意地带有主观性,对于“究竟多大才算是大数据”,其标准是可以调整的,即不以超过多少TB(1000GB)为大数据的标准。假设随着时间的推移和技术的进步,大数据的SQLServer2014从入门到精通“量”仍会增加。还应注意到,该定义可以因部门的不同而有所差异,这取决于什么类型的软件工具是通用的,以及某个特定行业的数据集通常的大小。
因此,今天众多行业的大数据范围作为特指的大数据,其中的“大”是指大型数据集,一般在10TB规模左右:多用户把多可以从几十TB到数千TB个数据集放在一起,形成PB级的数据量:同时这些些数据来自多种数据源,以实时、选代的方式来实现,大数据通常与Hadoop、NOSQL、数据分析与挖、数据仓库、商业智能以及开源云计算架构等诸多热点话题联系在一起。
大数据可以被概括为三个V,即大量化(Volume)、多样化(Variety)和快速化(Velocity),这也是大数据的特点,反映了大数据所潜蔑的价值(Value),可以以认为,这四个V就是大数据的基本特征,如图18.5所所小示有量“大数据”的首要特征是数据量大,基于电脑的数据储存和运算是以字节(byte)为单位的,1KB(Kilobyte)-1024B,又称千字节;更高级的数量单位分别是IMB(Megabyte,兆字节)1GB(Gigabyte,吉字节)、1TB(Trillionbyte,太字节)、1PB(Petabyte,拍字节)、1EB(Exabyte艾字节)、1ZB(Zettabyte,泽它字节)和IYB(Yottabyte,尧它字节),每个单位之间的运算关系是乘以1024。
IEB数据就相当于美国国会图书馆中存储数据的4000多倍,而全球球企业2010年在硬盘上存储了超过7EB的新数据,消费者在PC和笔记本电脑等设备上存储了超过6EB新数据。数据容量增长的速度大大超过了硬件技术的发展速度,以至于引发了数据存储和处理的危机。然而,大数据不只是大。海量数据引发的危机并不单纯是数据量的爆炸性增长,还牵涉到数据类型的改变,也即多样化(Variety)。
原来的数据都可以用二维表结构存储在数据库中,如常用的Excel软件所处理的数据,称之为结构化数据。但是现在,更多互联网多媒体应用的出现,使诸如图片、声音和视频等非结构化数据占到了很大比重。有统计显示,全世界结构化数据增长率大概是32%,而非结构化数据增长率则是63%,用于产生智慧的大数据,往往是这些非结构化数据。“大数据”包含了“海量数据”的含义,而且在内容上超越了海量数据。
小编结语：简而言之,“大数据”是海量数据+复杂类型的数据。简单来说,大数据由三项主要技术趋势汇聚组成。一是海量交易数据;二是海量交互数据;三是海量数据处理。
