绿色存储:重复数据删除技术

 绿色存储:重复数据删除技术


背景

虽然日前美国参众两院已经通过布什总统签署的高达7000亿美元的救市方案,为陷入危机的全球经济打了一剂强心针,但不可否认,金融动荡导致全球股市一落千丈,美元贬值伴随着高通货膨胀带来了全球性的消费恐慌。人们的担心正在成为眼前的事实,经济衰退真正开始了。此轮金融风暴到底会持续多久,影响多深谁也说不清楚。全球范围内一系列更加具有现实意义的思考却开始浮出水面引起人们的高度关注,世界各国所面临的能源、土地、环保等问题在这样一个不同寻常的年头却变得异常突出和尖锐起来。

在号称高科技的IT领域面临着同样的问题。

04年中国浙江义乌等地出现的电荒导致4万多家企业停电至今令人难忘。而来自美国环保署的数据显示,未来五年全球电力消耗的数字可能会在现有基础上翻一倍,相当地惊人!另一方面,互联网的广泛使用带来了大型企业,政府机关,金融机构的信息中心规模日益膨胀,数据交换增加,存储空间越变越狭窄,占地面积却越来越多。为实现信息优化,众多企业不得不投入大量人力物力财力搞基础建设,导致成本不断攀升。

在此情况下,当IT经理们在构建企业信息架构时,更加呼唤绿色的节能技术。节约能源,减少电力消耗,降低系统成本,成为IT经理们今天必须要直面的三大问题。顺应时代发展需求,作为一种绿色的节能技术,重复数据删除技术一时间成为存储界讨论和关注的热点。

重复数据删除技术

在明确重复数据删除技术的原理之前,我们需要先明确为何要使用该项技术。据了解,重复数据删除技术是针对数据备份的缺点而言的。当企业有大量信息需要存储时,一般采用的备份方式有这么几种,一是完全备份,二是增量备份,三是针对修改的数据进行实时备份。比如证券机构的交易数据,需要同时采用三种备份方式进行,在此过程中90%以上的数据面临重复存储的问题。相同数据的多个备份,占据了大量昂贵的存储空间。

过去进行数据备份的介质主要是磁盘和磁带。磁盘介质是在线存储,需要一定的能耗,在磁盘进行数据备份的过程中产生的冗余数据消耗了大量不必要的磁盘空间,带来了冷却的问题。另一方面,由于全球范围内的飓风,洪水等灾害带来的意外导致容灾恢复的要求提高,多数企业不能忍受业务中断4小时以上,而磁带备份的最大缺点是恢复速度慢,很难满足业务连续性的使用需求。

随着企业环境的日益复杂,需要更新的技术来简化并改善企业数据备份流程。事实上,重复数据删除正是这样一种技术。

特别是对结构混乱的数据卷而言。重复数据删除技术可以找出并删除存储卷中重复的文件或数据块,并用指向“主数据文件”或“主数据块”的指针替代这些重复数据。这样,存储的数据量就大大减少了。此外,它还可以与传统的文件压缩技术相结合,压缩“主文件”的大小。重复数据删除技术既可以删除文件级别的重复数据,也可以删除“数据块”级别的。

由此可见,重复数据删除是一种非常高级的数据缩减方式,该技术可以极大地减少备份数据的数量,改变数据的保护方式,卓越地提升数据备份的经济性。

应用

重复数据删除技术的出现对今天不断扩充容量的存储有着不同寻常的意义。那么,该技术主要起到什么样的作用,一般应用在IT系统的哪些地方呢?

1         删除重复,节约空间

重复数据删除能够大大减少数据存储与备份所需要的空间,因而减少存储与备份所需的能耗。目前生产厂商的重复数据删除比根据不同的数据能够达到1:30或者1:20,无论对存储空间的节约方面或是能耗节省都有意义。

2          节约成本和能源

重复数据删除技术通过降低对主存储容量的需求,能够显著降低IT成本,减少昂贵的高性能主磁盘阵列的购买数量。随着存储空间需求大幅下降,企业的存储阵列、服务器及其连接网络设备需求也随之下降。这些设备数量的减少使数据中心或机房的动力与制冷能耗也得到了减少,从而达到显著节约能源的目的。

3         优化各存储层级

重复数据删除在次级存储与备份存储中得到了广泛的应用,而市场发展、处理器技术的进步以及存储预算压力,所有这些因素正在使重复数据删除技术将改变客户购买与部署存储产品的经济预算。

4         技术补充

在一级存储层使用重复数据删除技术并不意味着不再需要数据压缩等其他数据缩减技术。重复数据删除是一种补充型技术,能够与包括业界标准LZS压缩算法在内的现有数据压缩技术形成互补,以提供双重数据缩减性能。

 

从技术特点来看,重复数据删除技术为企业信息架构进行融合提供了强大的技术支持,它最大的好处是可以帮助数据中心进行“瘦身”,大大减少存储空间的浪费。作为一种绿色环保的存储技术,重复数据删除技术在未来将大有可为。正因如此,重复数据删除技术被业界公认为是备份技术的下一代发展,是今日数据中心的“必备”技术。

  

爱华网本文地址 » http://www.413yy.cn/a/9101032201/406203.html

更多阅读

大数据时代:大数据技术实施与运用大数据分析

在发展历程上,大数据与云计算很类似,开始都搞不清是什么概念,但有很多人在说,难免南辕北辙。一个非常有趣现象:会有很多人说大数据不是什么,但很少有人说是什么。但这都不妨碍大数据成为产业发展趋势。当务之急是不纠缠于概念,直接关注有哪

第九课时:概念数据模型Conceptual Data Model,CDM data ng model

  第九课时:概念数据模型(Conceptual Data Model,CDM)2013-11-12 10:52:27标签:CDM概念数据模型Conceptual Data Model添加标签>>原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。h

65、赵刚:企业大数据架构:业务、数据和技术

嘉宾简介:赵刚,博士,北京赛智时代信息技术咨询有限公司(CIOManage)创始人,主要从事智慧产业和智慧应用咨询。曾任赛迪顾问公司高级副总裁,分管信息化、互联网与管理咨询业务,曾任赛迪时代公司总裁,赛迪学者。长期致力于信息化与信息产业的研

数据交换技术 数据交换技术abc

数据经编码后在通信线路上进行传输,按数据传送技术划分,交换网络又可分为电路交换网、报文交换网和分组交换网。图2.14为一个交换网络的拓扑结构图2.14 交换网络的拓扑结构 2.3.1 电路交换的工作原理 1.电路交换的三个过程  1)电

数据挖掘技术的应用初探 数据挖掘技术及其应用

【摘要】数据挖掘是一种新兴的数据处理技术,在数据的利用和提取方面发挥着日益重要的作用。文章从数据挖掘的概念出发,概述了数据挖掘的各种方法,分析了数据挖掘技术的应用领域一、数据挖掘概述随着数据库技术的迅速发展以及数据库系

声明:《绿色存储:重复数据删除技术》为网友暖心少年分享!如侵犯到您的合法权益请联系我们删除