本科生毕业设计（论文）外文翻译《云存储的版本控制备份和同步》.docx

本科生毕业设计（论文）外文翻译外文原文题目：VerSionedFileBaCkUPandSynChrOniZatiOCforStonIgeCIoUd中文翻译题目：云存储的版本控制备份和同步毕«+（W题目：移动存储同步窗獭件的设计与实现姓名：XXX学院：软件学院班级：XXXXXX指导教师：XXX第1章简介2第3章设计63.1 ROSYCLOUD的数据对象63.2 DiR63.3 SNAPSHOT73.4 FILEOBJECT73.5 BACKUP83.6 SYNCHRONlZATIoN93.7 文件共享123.8 讨论12第4章实现144.1 概述144.2 公用功能154.3 优化16第5章评价175.1 基准175.2 存储使用185.1 时间花费195.2 金钱花费20第6章结论和未来的工作21摘要一云存储已被广泛应用于数据备份和归档。当前归档系统通常支持特定的云服务，这种供应商绑定问题在供应商停止提供云服务时就会引起数据迁移甚至数据丢失的挑战。我们建议用一个RosyCIoud系统来对不同的云的数据进行自动备份和同步。RosyCIoud是用一个http请求的云存储接口来保持云上所有加密文件的版本，并支持不同的设备异步与云同步。由同步造成的冲突可以用DAG模型来检测并解决。ROSyCIOUd也支持不同用户间安全的文件共享。我们已经实现了三个主流云存储的RosyCIoud原型。实验表明RosyCIoud能在低成本的情况下搞高效的实现云备份和云同步。云存储服务吸引了许多机构和个人把他们的数据在云中24,5,25o与本地驱动器相比，云存储提供了更高的效用一能力，无限的空间，更低的成本。在特定的云存储上存储数据很方便，但也是脆弱的。依赖于特定的协议和云供应商的工具可能会使未来的迁移成本昂贵和困难。Megaupload2的关闭显示尽管服务提供商可以保证五99.999可用性，但是仍然有一种可能性，如果用户的一部分数据蒸发，用户可能仍然失去他们有价值的数字资产。以前的工作5已解决供应商锁定通过在多个云上分配数据和重点是数据备份。然而，典型的用户往往不仅需要备份数据，而且还需要与云同步的设备数据。现有的工具如Dropbox1使它可以同步数据不同的设备，但有相同的供应商锁定问题。因此，需要有一个工具，备份数据多个存储云，支持同步对于不同的设备。做这样一个工具是具有挑战性的。存储云不具有执行用户代码的能力，并且只能使用缺乏原子的标准接口访问操作.因此，很难从多个异步设备同步写入，除非用复杂的锁定协议5锁定的问题是持有锁的装置阻止其他的设备写，这延会迟备份和同步操作。考虑到设备可能会不时从云中断开，这个问题可能变得更糟。我们提出了RosyCIoud,它支持不同的云和终端设备的文件备份和同步的版本控制。具体来说，RosyCIoud的将不同版本的文件备份在多个云，避免供应商锁定并提供高可用性的文件。文件可以更新，同时，所有的修改都会被版本化，而设备和云之间的同步是周期性的执行，并且会基于有向无环图（DAG）模型进行自动冲突检测和分辨率。为了保护用户数据不受到网络攻击和行为不端的云的影响，R。SyClOUd加密所有数据的云存储，提供不同用户之间的安全文件共享。我们已经实现了一个支持三个主流云存储服务的RoSyelOUd原型。实验结果表明，成本非常低，并且RoSyClOUd可以有效的备份和同步典型办公工作负荷的数据。这项工作的贡献包括：1）自动使用存储云的同步机制和无服务器计算要求的接口2）基于DAG的快照依赖冲突检测模型。本文的其余部分组织如下。美国证券交易委员会一总结相关工作。第三节给出了设计RosyCIoud和第四部分提出了实施。第五节评价RosyCIoud的表现。最后，第六节总结未来工作。第2章相关的工作备份是一种被广泛接受的做法，以防止数据丢失18,8,27o云计算的进展使得云存储成为一个理想的数据备份和存档介质。CUmUlUS24实现备份系统超过AMAZONS33云存储，用一个薄云的假设。为了提高服务的可用性，在多个云上备份正在被研究6,25oROSyClOUd不仅具有文件备份，也可以在多个设备上同步文件，这还没有先例。Depsky5是一个通用的备份系统云存储作为后端。DePSky是以版本号来保存文件的。一系列的ByZantineqUOrUm协议是用于实现单写、多读数据模型。支持多个写者，一个复杂的文件锁定协议用于序列化并发写操作。相比Depsky,RoSyelOUd的同步更有效，因为RoSyCIoUd使用内容的散列来实现版本，而不是版本号，以避免昂贵写同步。文件同步可以用集中的方式成功地实现。大多数源控制系统，例如，SCCS164,CVS,Subversion,Perforce17,29,以这种方法，其中集中式服务器确保同步一被访问的文件库，使用版本号标记不同的更新。如果服务器崩溃或断开连接，所有客户都访问不了文件库。为了解决集中式存储库的问题，许多分布式版本控制系统已经开发14,30用户保存库的本地副本和可以将本地副本与其他用户或其他服务器同步。我们的工作灵感来自这些分布式版本控制系统。类似pastwatch30,在RosyCIoud中修订历史被组织成一个树和并且写一写冲突可以被检测和解决。不同的是在rosycloud模型，云存储服务器被动的，他们只提供基本的文件访问并不提供任何额外的计算要求。这拓宽了RosyCIoud在不同公共云服务市场的可用性。但没有服务器计算能力，确保自动更新变得更加困难5,我们必须依靠客户端执行通用版本控制操作，如散列，差异或比较。商业产品如Dropbox1提供文件在多个设备上进行备份、共享和同步跨越不同的用户。这些产品使用专用云存储用户数据并有专用服务器的存储26。相比之下，RoSyelOUd的目的是支持不同存储云使用薄接口和不强加服务器计算需求。本设计避免了供应商绑定问题。然而，没有专用服务器部署在云方面，RosyCIoud需要执行额外的设备的计算和同步逻辑。最后，分布式文件系统11,19,9,22,23,21）提供设备透明的、可扩展的文件存储系统界面。在这个意义上，RosyCIoud不同于他们通过驻留在较低水平的存储堆栈（更多接近块设备），并提供有限的文件集操作.因此，RosyCIoud可以在没有集中式元数据的完全分布式范例服务器上实现。Coda21支持断开文件修改并检测写入写入冲突，这是提交给用户来用于解决此问题的。相比之下，RoSyCloUd用一个DAG来解决冲突。在RosyCloud,用户可以在每个设备上设置一个目录，然后RosyCIoud就可以将数据备份到多个云的目录中，并在这些设备之间同步数据。云存储所有版本的文件，而设备只有一个用户文件的快照。Rosycloud假定云存储服务暴光一个小的基于HTTP的接口：store：创建一个新对象；remove：删除对象；,retrieve：读取一个对象的内容；list：返回一个对象标识符列表。本节的其余部分首先讨论了数据模型RosyCIoud,然后提出了备份和同步程序。最后，讨论了文件共享。3.1 RosyCIoud的数据对象在RosyCIoud中云端的所有数据均以对象存储，对象可以分为元数据对象和文件对象。每个对象都由一个32字节的字符串索引，object内容编码成10进制128位的MD5散列。在实践中这个哈希冲突的概率小到足以被忽略。有三种类型的对象：元数据对象，即，目录（Dir）,快照（SnaPShOt）和文件对象（fileobjects）o如下。3.2 Dir一个Dir对象代表着通常文件系统中的一个物理目录，它包含一个文件目录条目的list,我们称之为DirEntry。Dir中的每一个DirEntry代表一个文件或是一个目录，并且包含所有的必需的隐含的文件/目录描述信息。表I总结了RosyCIoud中一个DirEntry结构中的所有元数据字段。模式字段指示是否Mode字段表示对象是文件或目录。如果此条目指向一个文件，SiZe字段记录文件的大小。否则，条目将指向另一个Dir对象在SiZe字段中为零。Name代表在云上使用的云文件名，这是10进制128位的MD5散列。FiIeName是终端设备上的文件或目名。EncryptionKey字段是用于加密相应的对象，这是一个随机生成的128位密钥以增加安全性。密钥存储在DirEntry对象中，它们通过父母密钥递归加密可在目录遍历中检索。本设计消除了存储所有加密密钥的需求，这可能会变得相当大和需要昂贵的费用来维护大量的密钥。3.3TableIDescriptionofheldsinaDirEntryobject.一FiCldDescription后回复ModeTypCofentry,afileoradirectory.一旦以前一个在文前快照关中多冲突SizeSizeofthelc.0fordirectory.gf它将NameTheidentifierofacontent-holdingstorageobjectincloudforthefile/directory.寸象包含FileNameFileordirectoryname.EnCryPtionKeyKeyloCnCryPlObjeCI.立该能够Flag4是从当Root.,ParentSnapshot,J以与决ParentSnapshot,B样。图ParentSnapshotn/这样的Figure1.ASnapshotObject.3.4 FileObjectRosyCIoud中的文件是作为一个独立的对象在每个云中存储的。以前的工作24,25组织文件成块和聚集小文件变大部分.但是，维护文件的块对于备份恢复和文件同步效率不高。这是因为一个文件的块可以扩展到许多段，这意味着检索文件数据可能需要提取多个段，可能浪费时间和带宽。因此,rosycIoUd选择不使用内部数据块作为基本备份单元，也不聚合小文件。Rosycloud自动将文件备份到所有的存储云.具体而言，一个存储云被用户指定为主体，将接收所有用户备份和存储所有快照。没有这个主体，版本DAG一个云可能会错过一些快照，造成同步问题.通常，主云在比其他更新更频繁。用户可选择备份所有快照的所有存储云具有相同的频率，但是这样会增加备份延迟和成本。RosyCIoud不需要用户保持连接云存储。用户可以自由地决定何时设置设备脱机和何时成为联机。在离线时间，本地文件系统的所有修改记录会被日志记录。一旦连接到云在稍后的时间，这些变化将与云中的数据同步。备份是由文件系统变化通知驱动的15,13,这在大多数现代操作系统是可用的。当通知被解除，R。SyCIOUd过滤器写事件并将更改后的文件上载到云端。rosycloud更新云对象创建一个新的对象但是旧对象不变。当本地文件系统通知修改，整个对象将被上传到云而不是增量更新差异16,17,24o虽然昂贵的意义上，甚至一字节修改将导致整个文件被上传，此更新策略简化恢复和回滚。鉴于一个版本在特定的时间，对象可以在没有跟踪快照历史和应用补丁一接一个的情况下恢复。图2说明了快照之间的数据依赖关系，包括目录和文件对象快照。矩形和圆分别代表目录和文件。快照1拍摄是在之前拍摄的，是快照2的父亲。快照1包含一个根目录和两个文件，fiel和fie2,驻留在dirl,root的子目录。在稍后的一段时间，file2被更新，文件的新版本被创建.因此，一个