概述

重复数据删除技术正迅速成为一个几乎所有的业务必不可少的存储解决方案。由于企业创建比以往任何时候都都要多的数据，重复数据删除在降低存储的成本、访问、复制和备份这些不断增长的大量的数据方面被看作是一个重要的技术。

除了节约成本，重复数据删除也提升了存储的性能、增加了每秒I/O操作和通过消除多余和不必要的数据(在越来越多的情况下，这些数据将导致备份和主存储基础设施变得杂乱)来提高了存储的利用率。

各种规模的企业也发现，重复数据删除技术在支持虚拟化和云计算是不可或缺的的。虚拟化和云计算中，灵活性和性能的需求是存储决策的主要驱动力。根据最近的研究，预计2011年至2015年重复数据删除技术的全球市场将以复合年增长率增长30%以上。

那么，什么是重复数据删除，为什么它在今天的IT环境中如此重要？IT决策者应该在备份或主存储的重复数据删除解决方案中寻求什么？以下是有关重复数据删除的一些关键问题的答案。

什么是重复数据删除？

De-duplication，即重复数据删除，在存储数据时检查和比较已存在的数据，如果它们是相同的，那么就过滤掉这部分数据的备份，然后通过指针引用已存在的数据。它可以从根本上减少存储占用的空间和用户的磁盘驱动器数量，减轻人力、能源、电力资源等方面的开销，从而大幅度的节约存储成本。另外，重复数据删除可以减少在网络中传输的数据量，进而降低能量消耗和网络成本，并为数据复制大量节省网络带宽。

如下图所示，这种技术可以很大程度上减少对物理存储空间的需求，从而满足日益增长的数据存储需求。

Dedupe技术目前大量应用于数据备份与归档系统，因为对数据进行多次备份后，存在大量重复数据，非常适合这种技术。事实上，Dedupe技术可以用于很多场合，包括在线数据、近线数据、离线数据存储系统，可以在文件系统、卷管理器、NAS、SAN中实施。Dedupe也可以用于数据容灾、数据传输与同步，作为一种数据压缩技术可用于数据打包。Dedupe技术可以帮助众多应用降低数据存储量，节省网络带宽，提高存储效率、减小备份窗口，节省成本。

在实际应用中，想象一个很长的PowerPoint销售介绍结合详细的图形和视频。如果销售组织中每个人保存该演示文稿，将会占用你主存储设备的很多磁盘空间，并且为每个保存的实例备份，创建更多的冗余文件。而这仅仅是一个销售的介绍，企业中所有其它的以多种格式出现的非结构化的数据会怎么样呢？你真的想要把钱花在磁盘驱动器来保存冗余数据吗，你真的想不需要的数据降低你的存储性能？

重复数据删除技术使用算法搜索重复数据，用“指针”取代重复的数据，指向存储在网络的唯一主副本。重复数据删除可以在文件级或数据块级工作：

文件级重复数据删除：在这个级别，重复数据删除在网络搜索冗余文件，并保存该文件只有一个副本。在网络中，当一个文件发生一个变化时，文件的另一个副本就会被保存。这种较少用的方法不如块级重复数据删除效率高，因为它事实上不用寻找文件重复的内容。因此，上面引用到的PowerPoint销售的介绍，如果不同的人用不同的名字保存文件，那么重复的副本会被保存和备份。

块级重复数据删除：对块级别的数据复制，软件查找文件和存储里面的唯一文件部分(块)，这些部分还没有被备份。当文件被改变，只有被改变数据再次被存储，从而使它在存储的数据量方面远远超过文件级重复数据删除的效率。它创建了一个主副本，无缝地合并了所有的的变化。

在线重复数据删除：数据写入存储系统同时执行删除，因此实际传输或写入的数据量较少。适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和云备份。

离线重复数据删除：先将数据写入存储系统，然后利用适当的时间再进行重复数据删除处理。由于写入包含了重复的数据，需要更多的额外存储空间来预先存储删除前数据。且需要有足够的时间窗口来进行重复数据删除操作。

NETGEAR 基于块级别的在线重复数据删除解决方案

基于重复数据删除的粒度可以分为文件级和数据块级。文件级重复数据删除技术的劣势在于精细度不够，并且不能提供次文件级的重复数据删除功能。这意味着一个文件中即便有很小的一处改动也会被认为是一个全新的文件而另外储存。

为了解决文件级重复数据删除技术缺乏精细度的问题，NETGEAR存储以固定的长度将数据分割成更小的“数据块”。只存储唯一的数据块并将识别出重复的其它数据块用指针方式代替，显然，数据块级可以提供更高的重复数据删除率。因此目前NETGEAR主推基于块级别的在线重复数据删除解决方案。

NETGEAR ReadyDATA5200采用块级别(128K)的在线重复数据删除技术，数据写入存储系统同时执行重复数据删除，因此实际传输或写入的数据量较少。备份数据通过删除写入ReadyDATA 5200的相同的数据块，大大减少存储容量需求。该技术对于定期创建完整备份而言是理想的备份解决方案，因为多个备份作业很常见，而任何数据写入只有一次，这样可以节省容量。适合通过LAN或WAN进行数据处理的存储系统，如网络备份归档和云备份。

ReadyDATA 5200通过块级别的在线重复数据删除技术为企业数据备份提供了一个符合成本效益的，易于部署的、功能丰富的资源库。

重复数据删除技术给企业带来的好处

NETGEAR ReadyDATA5200通过块级别的在线重复数据删除技术可以帮助企业解决备份信息存储的问题。该技术可删除冗余数据，以便更经济地满足数据的存储和灾难恢复需求。如上文所述，备份环境中存在数量惊人的冗余数据。通过有效地部署重复数据删除，企业只需利用当前备份存储基础架构的一小部分空间面积和运营开支，即可保护和恢复信息。在重复数据删除方面的投入可以带来极大的业务好处。重复数据删除可实现的业务好处包括：

降低基础架构成本。通过删除备份中的冗余数据，大大减少了保存备份映像所需的基础架构。重复数据消除的直接结果是减少了保存备份映像所需的存储容量。容量需求的减少意味着购置成本以及电源和冷却成本的降低。

延长保留时间。由于重复数据删除可减少每日备份的内容量，因此用户可以延长他们的保留时间策略。如果用户目前需要较长的保留时间，但却因当前流程和策略的限制而无法实现，这可以为用户带来巨大的好处。

改进数据保护。重复数据删除使许多企业能够创建每日完整备份映像。在这些企业当中，很多都曾经因为备份时间段的限制而只能被迫执行每周完整备份和每日增量备份。重复数据删除可减少存储容量的需求，从而允许企业采取更积极的备份策略，以减少恢复时间。

减少数量，提高性能。通过减少总的备份映像大小，公司将更有能力负担磁盘备份替代传统磁带存储的支出。磁盘备份支持高速、高度可靠的备份映像，从而可满足对更短备份时间段和更快恢复时间的需要。

大大降低备份带宽需求。重复数据删除可减少备份映像中的内容量，因此会减少对该内容进行远程复制时的开支，从而支持远程复制的备份。此外，NETGEAR通过利用块级别的在线重复数据删除，可在备份过程中对任何数据进行存储之前将冗余数据从备份过程中提取出来。这意味着完成备份的方式是仅移动那些尚未存在于备份数据库中的子文件数据元素。

什么样的重复数据删除解决方案可用？

要选择最佳的解决方案，你需要对你的存储基础设施和要求制定评估计划。有许多组织面对显著增长的数据不堪重负，因为他们之前没有恰当的计划。与NETGEAR和他们的存储专家团队一起工作将帮助您了解如何设计您的存储基础设施使其与您的业务目标相一致，包括如何以及在哪里部署重复数据删除解决方案以节省资金和提高业务灵活性。重复数据删除技术是一项成熟的技术，为业务提供了实实在在的利益--随着您的数据存储需求的持续增长而变得更有价值。现在是与NETGEAR一起工作的时候了，为您的组织选择正确的解决方案。

总结：重复数据删除的合理性

许多企业都在通过部署磁盘备份来增强，或者，甚至是取代基于磁带的备份和恢复基础架构。为什么对磁盘备份内容进行重复数据删除如此具有吸引力？重复数据删除可降低备份成本并在以下领域提供更多的好处：

降低磁盘容量需求

缩短备份时间

与磁带相比，加快数据恢复速度

降低异地复制成本

降低备份对磁带库的依赖性

让 NETGEAR 和全球范围内的 NETGEAR 合作伙伴帮助您所在的企业拥有世界一流的磁盘备份和重复数据删除产品。NETGEAR 的创新型产品组合、广泛的信息管理经验以及经验证的最佳做法可确保您以最高的效率和最低的成本从信息基础架构中获得最大的价值。