手机云服务现在作为每家手机厂商必备的一项根底服务，其服务才能和服务质量对用户来说能够说是十分重要。用户将自己许多的信息数据存储在云端，那咱们的云端服务怎么确保服务的安稳和数据的安全，以及怎么应对越来越多用户集体的运用？本文将首要介绍 vivo 手机云服务体系的建造进程。

  简直每家手机厂商都为用户供给了信息存储的云服务才能。经过一个账号，用户能够将手机体系中的各种常用的信息备份到云端，以便后续在适宜的时刻点检查或康复本身的数据。可是因为用户量级巨大，服务在规划体系的时分需求考虑的要素特别多，比方怎么确保服务的安稳性，怎么确保大文件的传输功率，以及怎么确保用户文件的数据耐久性等等。

  除此之外，跟着越来越多的终端用户开始运用vivo云服务，存储和核算的本钱也日积月累。或许有部分人了解，某些手机厂商的云服务产品年度亏本数亿等级，而首要本钱之处来自用户私家文件的存储本钱。

  其他，在安全方面，云服务在这块需求承当的任务更是重中之重。某些厂商的云服务从前呈现过用户数据走漏，居然能够经过搜索引擎直接查询到用户的私家文件，这种工作一旦呈现，对企业品牌的冲击和影响能够说是十分巨大。

  如上所述，云服务在建造过程中能够说是困难重重，那么vivo云服务在建造过程中，又是怎么统筹产品功用、资源本钱、服务安稳性、数据安全等等许多要素而进行规划的？且听后文细细分化。

  当今智能设备开展敏捷，各个手机厂商相继推出了PAD、智能手表等设备。因而不同设备之间的数据互通诉求也随之而来，一个帐号完结数据互通。

  拿vivo为例，vivo帐号能够一同在vivo手机、vivo PAD、PC上登录，用户能够在手机、PAD、PC上一同对联系人、日历等内容进行修正，一端修正，多端可见。

  这种多设备数据同步互通便是云服务的一项中心功用。当时云服务支撑同步的数据项：联系人、日历、便签、书签、黑名单、蓝牙、WLAN，后续会支撑更多的数据项。

  手机职业功用更新迭代很快，新的亮点功用会招引用户购买新机。可是新机购买回来后，各种数据的设置、新增对用户来说是个繁琐、头疼的工作。

  为了便运用户将旧手机的数据搬迁到新手机上来，手机厂商供给了一些数据搬迁东西。如我司的互传，新老手机放在一同经过蓝牙能够便利的将数据导入新手机上。可是互传有必要要求2个手机在一同，假如用户旧手机不在身边呢？

  此场景下，云服务供给的整机打包功用很好的处理了此痛点。用户在运用旧手机期间，能够翻开云服务的整机备份开关，云服务会主动将用户手机数据打成数据包备份至云端。

  在用户购买新手机换机时，能够经过云服务快速挑选老手机的打包数据进行康复，便利快捷。

  云盘是一种专业的互联网存储东西，是互联网云技能的产品，它经过互联网为企业和个人供给信息的贮存，读取，下载等服务。具有安全安稳、海量存储的特色。

  在vivo云服务中，除了比方联系人、短信等数据类型内容的备份康复才能之外，文件类型的云端存储才能，即云盘的才能相同重要。

  用户能够将自己本地重要的图片、视频、文档等重要文件备份到云端，以便后续能够在云端后者在其他设备上能够拜访到该文件，一同借助于云盘的才能，用户也能够便利快捷的开释收拾本地空间。

  除此之外，云盘还供给了丰厚的文件周边功用，例如紧缩文件的在线解压，视频的在线 多设备数据一致性同步计划规划

  云服务数据同步的计划选用的是相似于Git版别办理的概念，首要触及2个行为：

  云服务选用的是根据数据版其他辨认计划：云端每条数据都有本身的版别号，版别号逐渐递加。

  若客户端本地数据最大版别lv sv，则证明云端数据有更新，客户端需求拉取云端增量数据；

  若lv = sv，则客户端判别本地是否存在增量更新数据，若有则将本地增量数据推送到云端。

  数据抵触呈现在多设备一同运用的过程中，一同对同一条数据进行操作，形成数据抵触的状况。

  常见的抵触处理计划有2种：a、主动为用户处理抵触。b、用户手动自行处理抵触。

  以最新的数据修正时刻为准，以修正时刻最迟的设备的数据为准。（多设备时钟无法一致问题，后边上报的数据或许并不是用户实践上终究修正的）

  参照git的抵触处理方法，抵触数据展现给用户，由用户自行挑选内容的存留，终究将终究数据推送到云端。

  因为云服务对接了许多不同模块的数据：联系人、日程、浏览器书签，不同数据的特性不相同，每种数据的抵触处理的规矩也不相同。因而云服务选用了将抵触数据回来给事务模块，供事务模块自行处理的战略，于事务方选用上述哪种处理方法，由事务方自行决议计划。

  经过树形结构，将整个包、不同模块、不同模块的数据文件进行相关，康复数据时，经过父包parentId即可获取到一切的数据文件的metaId，进行康复即可。

  此计划的长处：便利快速扩展备份手机其他模块的数据，服务器基本上不需求进行改造。

  当然此计划也存在下风：设备不同模块的数据格式对服务器归于黑盒，服务器难以针对模块的数据做实时的解析和展现。

  和一般事务模型比较，云盘事务的明显特色是逻辑杂乱，需求考虑的细节许多：例如空间占用、数据安全、大文件传输功率等等，因而整个的体系规划愈加杂乱。

  《目标存储》是由云存储供货商供给的一套根据目标的海量存储服务，一般能够为用户能够供给海量、安全、高牢靠、低本钱的数据存储才能。

  在vivo云服务的存储逻辑中，用户的图片、视频、音频等文件现在均存储在目标存储服务中。

  因为前期vivo内部并无自建的目标存储才能，故一开始这部分数据均寄存在公有云，跟着近两年vivo自建目标存储才能的完善，现在公有云数据已彻底搬迁到了自建存储。

  如上图所示，云盘触及到的周边模块许多，可是最中心的仍是元数据模块、空间办理模块、文件处理这三个模块，概述如下：

  元数据模块：首要用来描绘文件的特点，例如文件的称号，文件的巨细，媒体文件的长宽高等等。更笼统的，元数据模块保存了除了文件实体内容之外的一切信息。

  不同的事务所重视的元数据信息不尽相同，比方除了一些称号巨细这些公共特点外，云相册事务还会重视比方文件拍照时刻，exif中的特定字段等等，而这些字段在其他事务中却不会运用。

  所以咱们继续将静态的不会改变的公共信息继续进行了一层沉降，即上图中的共用元数据层。这一层寄存了文件的巨细、状况、文件摘要值，存储在目标存储的路劲等中心内容。

  空间模块：和大部分手机厂商相同，云服务默许会答应每个用户免费运用的5G空间，假如存储总量级超出了5G，那么用户则需求购买VIP以提高空间容量。

  文件处理模块：此模块首要供给用户文件数据的上下行才能。比方文件的断点上传下载才能，媒体文件的缩略图处理才能，紧缩包文件的在线解压才能等等，都由该服务承载。

  在实践的事务处理中，文件上传的整个流程其实远远不止上述时序图这么简略，比方文件缩略图的处理，比方用户身份的校验，或许是危险文件的辨认，加密的处理等等。

  3.1 分库分表计划规划因为云服务事务运用用户量级巨大，所以在联系型数据库的规划上，也要考虑后续频频扩容的场景。

  关于云服务的分库分表实践，这儿不再打开描绘，感兴趣的能够参阅这篇文章：你分库分表的姿态对么？——详谈水平分库分表

  和一般的事务数据交互比较，文件的上下行动作就显得特别粗笨，因为每次处理都要传输许多的文件报文。

  那试想，假如用户在上传一个上G的文件，忽然遇到了弱网环境而中断了链接，那下次康复链接之后，还需求从头开始上传，这样无非会对全体文件的传输体会带来十分大的影响。

  在客户端进行文件上传时，咱们会约好一个分片巨细阈值。咱们会将文件切割成一组组巨细不超越阈值的文件片段，然后对每个片段进行传输。

  这样假如端上遇到了弱网环境，那么咱们也只要对失利的分片进行重传即可，大大提高了全体文件传输的功用。

  相同，客户端进行文件下载时，假如下载一半网络断开了，那么下次又需求对整个文件进行从头下载。

  所以，vivo云盘在对文件下载时，也运用了断点下载才能，首要根据HTTP的Range头信息，对需求的文件资源进行定位截取。

  因为前文描绘了文件在上传的时分经过分片技能将文件进行了拆分，那么在断点下载的时分，能够经过Range中的规划核算得到详细触及的存储路劲，无需进行剩下的IO操作。

  当时云服务用户数据规划颇大，比方元数据类存储在数据库中的数据总条数现已超越了5000亿、而文件类总占用空间也超越了百PB。如此海量数据的存储，每年消耗的磁盘本钱和数据库本钱都是一笔不小的数目，因而云服务在节约本钱上也做了不少动作。

  跟着在网用户的量级越来越大，用户每天需求备份的文件数量也呈日趋增大，那么怎么从技能层级进行降本呢？

  在vivo目标存储自建完结之前，云盘也是将数据寄存在公有云的目标存储上。

  存储分级技能首要是将不同的数据采纳不同的存储方法别离存储在不同功用的存储设备上。

  一般来说，公有云将目标存储的存储分红三种类型（部分公有云会有四层或更多），即规范存储，低频存储，归档存储。

  在规范存储和低频存储的挑选方面，咱们假定：S为当时存储总量，G为每月取回总巨细，那么经过数据核算，咱们能够推导出：

  即假如每月的文件取出率小于123%，则运用规范能有更优的本钱，而假如大于123%，则应该运用低频存储。

  可是关于用户行为进行剖析，用户对文件进行存储后，后续拜访源文件的概率十分小，可是用户或许会经常到云端去检查自己的文件，这个时分展现的大部分是缩略图。

  所以咱们将源文件和缩略图进行别离，将源文件运用低频存储，将缩略图进行规范存储，获得了比纯低频更优的终究本钱。

  和大部分其他厂商技能完结或许存在不同，在vivo云盘的文件上传流程中，有一个十分重要的一环，即文件的预上传。

  在进行实践文件二进制流的上传之前，云盘客户端会读取文件的各项特点，比方文件名，巨细，长宽、相片的拍照时刻等信息，将这部分数据传输给服务器，咱们把这一步叫做预上传。

  而服务器则会进行用户剩下空间巨细的逻辑核算，假如剩下空间不足以寄存该文件，则会直接停止上传流程。

  假如空间满意，此刻服务器在此刻就会扣减用户空间，然后才会进行下一步的文件体传输。而大部分其他友商只有当文件完结整个上传流程时才进行空间扣减。

  该逻辑能确保同一个用户在进行多线程上传，或许多个设备一同上传时，不会呈现空间超用的景象。

  不知道咱们平常在运用一些云盘相似东西的时分有没有发现，自己分明上传了一个很大的文件，可是却很快就完结了。

  那么这种快速进行文件上传的才能，咱们这边就成为秒传，形象的释义便是似乎在秒级完结了一个大文件的传输。

  秒传的规划思路较为简略，用户进行预上传时，将文件摘要奉告服务器，服务器查询该摘要值是否现已存储，若存在就奉告客户端无需进行文件实体的传输。

  云服务用户的非文件类数据首要仍是存储在MySQL数据库里。海量的数据存储跟着带来的是MySQL的硬件本钱的提高。当时云服务MySQL数据库实例就有将近30+。

  为了尽或许下降MySQL的存储本钱，云服务对MySQL的数据做了相应的数据紧缩。

  云服务经过线上实践，对联系人数据库进行紧缩验证：紧缩之前磁盘占用空间2.75T，紧缩后空间1.3T，紧缩率可达50%。

  阐明：紧缩作用取决于表的字段的类型，典型数据一般具有重复值，因而能够有用紧缩。CHAR，VARCHAR，TEXT、BLOB这类字符串类型的数据一般能够很好地紧缩。而二进制数据(整数或浮点数字)、现现已过紧缩的数据(JPEG 或 PNG 图画)一般起不到紧缩作用。

  现在客户端和服务器之间的通讯一致经过HTTPS进行传输，可是有了HTTPS必定就安全了么？

  客户端HTTPS的相关校验均是体系库完结的，那么作为进犯者能够改写这些体系库的履行逻辑使得相关校验“失效”，然后建议“中间人进犯”

  若APK被Hook，也可使得HTTPS的相关校验失效，然后建议“中间人进犯”。

  所以，为了更高的安全性考虑，咱们除了根据HTTPS的文件传输，云盘在中心接口上仍是用了公司内部自研的对立SDK加密。

  这使得就算HTTPS被比方中间人署理方法获取了明文数据后，仍是无法对音讯体的灵敏信息进行提取。

  用户能够在今后恣意时刻点拜访到存储在云端的完好文件，需求确保文件的安全存储永不丢掉。

  用户的文件存储是私密的，不应有非预期的人或物能非预期的读取到这些私密文件。

  一般来说，第三方公有云供给的目标存储都能确保11个9的数据耐久性，即99.999999999%，敞开异地备份后，能到达12个9，能满意文件在存储上的耐久性要求。所以下面咱们首要聊下用户的隐私安全。

  早在2019年，就有某大牌手机厂商，其云端的用户私家相片居然悉数走漏，个人的隐私相片居然能在搜索引擎中查询到，这个便是典型的用户私家文件未被授权即被不合法读取运用。

  该工作一旦产生，十分简单被言论发酵，从而敏捷影响企业的口碑，所以，这块安全方面的规划就显得重中之重。

  咱们能经过许多技能手法确保本身服务的满意安全，但因为用户文件终究存储在公有云的目标存储中，而各家公有云的技能完结细节咱们并不知悉，是否真实具有了满意高的安全性，咱们并不能得知。

  所以，咱们针对寄存在第三方公有云的用户数据悉数进行了加密， 这样，连存储方也无法获取咱们用户的明文文件，咱们只需求确保本身事务满意的安全，而无需重视第三方目标存储走漏文件的或许性。

  在对文件的加密时，咱们更是运用了最为严厉的加密手法：每个用户的每个文件均运用不同的密钥进行了加密。这样即使黑客经过某种技能手法拿到了某一个文件的密钥，他也无法对许多的其他文件进行解密。

  该计划尽管大大提高了文件的安全性，可是因为文件在事务方存在了加密解密动作，除了对功用有必定的损耗，一些媒体才能也受到了约束。比方咱们无法直接运用第三方的内容审阅、图片处理等服务。

  众所周知，CDN技能的老练开展，使得终端用户能够就近获取各种网络资源。可是因为CDN的实质是对内容进行了缓存，假如咱们将用户的私家文件经过CDN的计划进行拜访，那么这些文件被CDN运营商以明文方法缓存在了各个边际节点上，存在被不合法获取的危险。

  和其他网盘方法不同，vivo云盘首要以寄存用户私家文件为主，现在并没有敞开文件的传达共享行为。在这种事务场景下，运用CDN的功率并不高，缓存的资源并不会被屡次重复运用。所以vivo云服务不会对用户的私家文件运用CDN技能以提高功用。

  云盘的文件以链接的方法露出给各客户端进行下载。在链接的规划上，云盘携带了下载令牌，该令牌在必定有用期内会主动过期。

  vivo云服务的用户量级现在还在继续添加，从用户体会方面考虑，现在云服务的功用齐备性还能够有不少开掘的点，未来咱们还将构筑以下才能：离线下载才能：用户能够运用云端的下载功用将文件存储到用户的云盘中。

  文档协同修正：跟着vivo pad产品的发布，后续用户能够在不同端根据云服务完结文档的协同修正。