阿里云 阿里云 专有云企业版 专有云企业版 对象存储 OSS OSS 对象存储 技术白皮书 技术白皮书 产品版本：V3.14.0 文档版本：20210430 产品版本：V3.14.0 文档版本：20210430 对象存储 OSS 技术白皮书· 法律声明 法律声明 阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。 如果您阅读或使用本文档，您的阅读或使用行为将被视为对本声明全部内容的认可。 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档，且仅能用 于自身的合法合规的业务活动。本文档的内容视为阿里云的保密信息，您应当严格 遵守保密义务；未经阿里云事先书面同意，您不得向任何第三方披露本手册内容或 提供给任何第三方使用。 2. 未经阿里云事先书面许可，任何单位、公司或个人不得擅自摘抄、翻译、复制本文 档内容的部分或全部，不得以任何方式或途径进行传播和宣传。 3. 由于产品版本升级、调整或其他原因，本文档内容有可能变更。阿里云保留在没有 任何通知或者提示下对本文档的内容进行修改的权利，并在阿里云授权通道中不时 发布更新后的用户文档。您应当实时关注用户文档的版本变更并通过阿里云授权渠 道下载、获取最新版的用户文档。 4. 本文档仅作为用户使用阿里云产品及服务的参考性指引，阿里云以产品及服务 的“现状”、“有缺陷”和“当前功能”的状态提供本文档。阿里云在现有技术的 基础上尽最大努力提供相应的介绍及操作指引，但阿里云在此明确声明对本文档内 容的准确性、完整性、适用性、可靠性等不作任何明示或暗示的保证。任何单位、 公司或个人因为下载、使用或信赖本文档而发生任何差错或经济损失的，阿里云不 承担任何法律责任。在任何情况下，阿里云均不对任何间接性、后果性、惩戒性、 偶然性、特殊性或刑罚性的损害，包括用户使用或信赖本文档而遭受的利润损失， 承担责任（即使阿里云已被告知该等损失的可能性）。 5. 阿里云网站上所有内容，包括但不限于著作、产品、图片、档案、资讯、资料、网 站架构、网站画面的安排、网页设计，均由阿里云和/或其关联公司依法拥有其知识 产权，包括但不限于商标权、专利权、著作权、商业秘密等。非经阿里云和/或其关 联公司书面同意，任何人不得擅自使用、修改、复制、公开传播、改变、散布、发 行或公开发表阿里云网站、产品程序或内容。此外，未经阿里云事先书面同意，任 何人不得为了任何营销、广告、促销或其他目的使用、公布或复制阿里云的名称 （包括但不限于单独为或以组合形式包含“阿里云”、“Aliyun”、“万网”等阿 里云和/或其关联公司品牌，上述品牌的附属标志及图案或任何类似公司名称、商 号、商标、产品或服务名称、域名、图案标示、标志、标识或通过特定描述使第三 方能够识别阿里云和/或其关联公司）。 6. 如若发现本文档存在任何错误，请与阿里云取得直接联系。 > 文档版本：20210430 I 对象存储 OSS 技术白皮书· 通用约定 通用约定 格式 危险 说明 该类警示信息将导致系统重大变更甚至故 障，或者导致人身伤害等结果。 样例 危险 重置操作将丢失用户配置数据。 警告 警告 该类警示信息可能会导致系统重大变更甚 至故障，或者导致人身伤害等结果。 重启操作将导致业务中断，恢复业务 时间约十分钟。 注意 注意 用于警示信息、补充说明等，是用户必须 了解的内容。 说明 用于补充说明、最佳实践、窍门等，不是 用户必须了解的内容。 权重设置为0，该服务器不会再接受新 请求。 说明 您也可以通过按Ct rl+A选中全部文 件。 > 多级菜单递进。 单击设置 > 网络 > 设置网络类型 。 粗体 表示按键、菜单、页面名称等UI元素。 在结果确认 页面，单击确定 。 Courier字体 斜体 命令或代码。 表示参数、变量。 执行 cd /d C:/window 命令，进入 Windows系统文件夹。 bae log list --inst anceid Inst ance_ID [] 或者 [a|b] 表示可选项，至多选择一个。 {} 或者 {a|b} 表示必选项，至多选择一个。 > 文档版本：20210430 ipconfig [-all|-t ] swit ch {act ive|st and} I 对象存储 OSS 技术白皮书· 目录 目录 1.产品简介 06 1.1. 什么是对象存储OSS 06 1.2. 基本概念 06 1.3. 产品优势 07 1.4. 应用场景 08 1.5. 功能特性 08 2.安全与合规 2.1. 权限控制 11 11 2.1.1. 防盗链 11 2.1.2. RAM Policy 11 2.1.3. 跨域资源共享 12 2.2. 数据加密 12 2.2.1. 服务器端加密 12 2.2.2. 客户端加密 13 2.3. 日志管理 13 3.数据可靠性保障 15 3.1. 容灾备份 15 3.1.1. 跨区域复制 15 3.1.2. 跨云复制 15 3.1.3. 同城容灾 16 3.1.4. 两地三中心 16 4.数据智能处理 18 4.1. 图片处理 18 5.基础数据监控 19 5.1. 运维大盘 19 5.1.1. 库存监控 > 文档版本：20210430 19 I 技术白皮书· 目录 5.1.2. OSS其他重点数据监控 5.2. 告警大盘 5.2.1. OSS告警查看 6.产品架构 19 21 21 24 6.1. 系统架构 24 6.2. 数据流转流程 25 7.最佳实践 27 7.1. 性能与扩展性最佳实践 27 7.2. 通过crc64校验数据传输的完整性 28 8.OSS EC模式存储 II 对象存储 OSS 31 > 文档版本：20210430 对象存储 OSS 技术白皮书· 产品简介 1.产品简介 1.1. 什么是对象存储OSS 阿里云对象存储OSS（Object St orage Service ）是阿里云提供的海量、安全、低成本、高可靠的云存储服 务。 相比传统自建服务器存储，OSS在可靠性、安全性、成本和数据处理能力方面都有着突出的优势。使用 OSS，您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。 OSS将数据文件以对象（Object ）的形式上传到存储空间（Bucket ）中，提供键值对（Key-Value）形式的 对象存储服务。您可以根据Object 的名称（Key）获取该Object 的内容。 您可以进行以下OSS相关的操作： 创建存储空间，并向存储空间中上传文件。 获取已上传文件的地址，进行文件的分享和下载。 修改存储空间或文件的属性或元信息，为其设置相应的权限。 在对象存储OSS控制台进行基础和高级OSS操作。 通过开发工具包SDK或直接在应用程序中调用REST ful API，进行基础和高级OSS操作。 1.2. 基本概念 本部分将向您介绍对象存储OSS中涉及的几个基本概念，以便于您更好地理解OSS产品。 对象（O bject） Object 是OSS存储数据的基本单元，也被称为OSS的文件，由元信息（Object Met a）、用户数据（Dat a） 和文件名（Key）组成。Object 由存储空间内部唯一的Key来标识。Object 元信息是一个键值对（KeyValue），表示了Object 的一些属性，比如最后修改时间、大小等信息，用户也可以在元信息中存储一些自 定义的信息。 Object 的生命周期是从上传成功到被删除为止。在整个生命周期内，Object 信息不可变更。重复上传同名的 Object 会覆盖之前的Object ，因此，OSS不支持修改文件的操作。 说明 如无特殊说明，OSS文档中的对象、文件、Object 意义相同。 存储空间（Bucket） 存储空间是您用于存储Object 的容器，所有的Object 都必须隶属于某个存储空间。您可以设置和修改存储空 间属性用来控制访问权限、生命周期等，这些属性设置直接作用于该存储空间内所有Object ，因此您可以通 过灵活创建不同的存储空间来完成不同的管理功能。 同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的Object 都直接隶属于其对应的存储 空间。 每个账号可以拥有多个存储空间。 存储空间的名称在OSS范围内必须是全局唯一的，一旦创建之后无法修改名称。 存储空间内部的Object 数目没有限制。 强一致性 > 文档版本：20210430 6 技术白皮书· 产品简介 对象存储 OSS Object 操作在OSS上具有原子性，操作要么成功要么失败，不会存在有中间状态的Object 。OSS保证用户在 完成上传后读到的Object 是完整的，OSS不会返回给用户一个部分上传成功的Object 。 Object 操作在OSS上同样具有强一致性，用户一旦收到了一个上传（PUT ）成功的响应，该上传的Object 就 已经立即可读，并且数据的三份副本已经写成功。不存在一种上传的中间状态，即read-aft er-writ e却无法 读取到数据。对于删除操作也是一样的，用户删除指定的Object 成功之后，该Object 立即变为不存在。 强一致性方便了用户架构设计，可以使用跟传统存储设备同样的逻辑来使用OSS，修改立即可见，无需考虑 最终一致性带来的各种问题。 O SS与文件系统的对比 OSS是一个分布式的Object 存储服务，提供的是一个Key-Value对形式的Object 存储服务。用户可以根据 Object 的名称唯一地获取该Object 的内容。虽然用户可以使用类似test1/test.jpg的名字，但是这并不表示 该Object 是保存在t est 1目录下面的。对于OSS来说，test1/test.jpg仅仅只是一个字符串，和a.jpg这种并没 有本质的区别。因此不同名称的Object 之间的访问消耗的资源是类似的。 文件系统是一种典型的树状索引结构，一个名为test1/test.jpg的文件，访问过程需要先访问到t est 1这个目 录，然后再在该目录下查找名为test.jpg的文件。因此文件系统可以很轻易的支持文件夹的操作，例如重命 名目录、删除目录、移动目录等，因为这些操作仅仅只是针对目录节点的操作。这种组织结构也决定了文件 系统访问越深的目录消耗的资源也越大，操作拥有很多文件的目录也会非常慢。 对于OSS来说，可以通过一些操作来模拟类似的功能，但是