走进宿迁，解密开发者关心的京东云数据中心

心尊门

作者 | 吴宁川

近年来，京东云快速崛起。在市场调查公司 IDC 的《中国公有云服务市场(2019 第一季度) 跟踪》，京东云位列中国公有云 IaaS 市场第九名；在Forrester 评的 2018 年 Q3 中国全栈公有云开发平台厂商中，京东云获卓越表现者；在艾瑞的《2019 年中国企业级 SaaS 行业研究报告》中，京东云凭借电商云 SaaS 产品，位列行业垂直图谱“零售电商”区域首位；而在赛迪顾问的《2018—2019年中国政务云市场研究年度报告》中，京东云跻身领导者象限。

自 2016 年 4 月京东云正式商用以来，京东云短短三年时间就在 IaaS、PaaS和 SaaS 全栈云服务全面发力，同时涉及 IDC 业务、云计算业务和综合业务等全频段服务，为用户提供包含公有云、私有云、混合云、专有云在内的全场景服务，以及跨行业的全生态云服务，形成了从基础平台搭建、业务咨询规划到业务平台建设及运营等全产业链的云生态格局，为用户提供一站式全方位的云计算解决方案。京东集团还在推动集团业务线赋能京东云，涉及区块链、AI、AIoT、物流、金融和智能城市等。

在过去的 18 个月里，京东云的营收达到了三位数的增长， 10 倍于行业增速，现在已有 230 多款自研产品和服务，且还在持续的增长中，京东云目前已在国内 30 多个城市落地，生态合作伙伴超过 2500个，每月更新注册用户目前已上升到62万多。而在这一切的背后支撑，离不开京东云数据中心。在全国范围内，京东云公有云目前已完成 4 个区域 、10 个可用区（华北北京、华东上海、华东宿迁、华南广州）的整体布局，另有数十个遍布全国的 IDC 设施。未来，京东云将积极扩展布局自建数据中心，满足合作伙伴数据中心转型等多维度需求。

京东云华东宿迁数据中心（以下简称宿迁数据中心）是其首个自营自建的云数据中心，宿迁数据中心从 2015 年开始建设，总投资 35 亿、一期投资 15 亿，二期计划投资 8 至 10 亿，现已投入 6 亿。京东云的数据中心究竟有什么黑科技？又是如何承载每月 62 万多的更新注册用户？2019 年 9 月初，宿迁数据中心举办了首个开放日，解密京东云高速成长的背后故事。



高可用保障数据中心不间断

熟悉数据中心建设的，都知道数据中心等级标准。美国《TIA-942》（数据中心的通信基础设施标准）中针对数据中心建设设定了标准，涉及电缆系统、网络、建筑架构、电力系统、消防系统、空调系统、接地系统设计、电力质量等，同时定义了四个级别，最高级的 T4 机房属于容错级别机房，要达到99.995%的可用性。

宿迁数据中心园区占地 200 亩左右，由 4 个数据中心模块、一个 ECC 监控中心等组成，也就是由 4 个规模相当的云数据中心模块和 1 栋综合大楼等组成，达到抗震八级水准。其中，数据中心模块的建筑面积为 6 万多平米，总机柜数1138 个，分别布置在 10 个模块机房内。建成后，宿迁数据中心存储能力不小于 32EB，计算能力不小于 128 千万亿次每秒。

目前，1#数据中心模块于 2016 年年初投产运营，2 期4#数据中心模块计划2019 年 11 月完成交付。宿迁数据中心采用全局 T3 局部 T4 的标准设计并建造。其中，1#模块的建设等级，按国际 T4 建设标准设计，具有 30 万台服务器运营能力，核心目标之一是全力保证负荷用电的高可靠性，其硬性指标包括：双路 110KV专属供电、N+1 柴油发电系统、双路 UPS 配置，提供连续12 小时满载运行能力。

其中，双路 110KV 专属供电指的双回路、双路由的高可靠大工业生产用电接入，24 小时不间断供电。宿迁数据中心园区具有专属的 110KV 开关站，上一级来自两个不同的 220KV 变电站专线，在 110KV 开关站内设 2 台变压器，容量满足整个数据中心园区的最大用电量。当两台变压器任意一台检修或发生故障时，另一台完全满足园区内所有设备的正常用电需求。

N+1 柴油发电系统，指的是当数据中心的两路市电发生故障断电后，就由柴油发电支撑整个数据中心正常运行。宿迁数据中心现配置了 8 台 2500KVA 容量的科泰柴油发电机系统，室外 50m?的地埋储油罐系统，支撑数据中心满载运行 24 小时以上。为保证柴油发电机系统的正常状态，宿迁数据中心每月都会进行启动测试，每年两次带载测试，还与当地中石油签订了供油协议，在接到通知后 12 小时内补充柴油，理论上只要柴油不断，数据中心的供电系统也不会间断。

在柴油发电与市电切换的窗口期，宿迁数据中心也配备了双路 UPS 电源。柴油发电机从启动到正常运行带载切换大约需要 45 秒，这 45 秒期间所有负荷由UPS 及蓄电池承担，从而保证负荷不间断运行。1#模块数据中心共有 5 千多块在线式蓄电池运行，为整个模块内负载提供 15 分钟的供电能力。

保证电力充足供应的同时，宿迁数据中心也为电力安全进行了充分保证，采用了消防系统中比较少见的气灭钢瓶。因数据中心的特有情况导致不能采用传统的水喷淋系统，要保证火灾发生也要不间断运行数据中心业务，由此配置了气灭系统。宿迁数据中心配置的气灭系统为 IG541 混合惰性气体，由氮气 50%、氩气 40%,、二氧化碳 10%的比率混合充装，所以叫 IG541。

气灭系统也能成为黑科技的原因是，通常防护区空气中含有大约 21%的氧气，当防护区中氧气降至 15%以下时，大部分可燃物将停止燃烧。而混合气体能把防护区氧气降至 12.5%，同时又把二氧化碳升至 4%。二氧化碳比例的提高可加快人的呼吸速率和吸收氧气的能力，从而补偿环境中较低的氧气浓度。宿迁数据中心灭火系统的设计理念是保证数据中心在火灾中仍能不间断运行，同时尽快灭火且保证对人体的安全无害。

绿色环保也是京东云数据中心的特色。据介绍，宿迁数据中心从最初的概念设计到施工建造，一直到投产后的运营管理，保证数据中心年均 PUE≤1.3，在国内达到领先水平。宿迁一年中大部分时间的温度在 -5~35℃之间，年均气温14.2℃，室外设备被冻结故障的可能性较小，为了充分利用冬季室外天然冷源进行自然冷却，宿迁数据中心的冷冻水系统设置了板式换热器，与冷水机组并联。宿迁数据中心全年基本可以分为免费制冷季和常规制冷季，全年可以“免费”使用自然冷源的时间高达 180 天以上，直接节约电费数百万元以上。



保障业务高可靠、高可用

京东云宿迁数据中心现有业务包括京东云、京东商城、京东金融及市政府业务等。在保障数据中心不间断运行的同时，宿迁数据中心也在不遗余力的保障业务的高可靠、高可用。

作为公有云数据中心，对外的网络连接是业务高可靠、高可用的重要基础。宿迁作为四线城市，原城市网络为国家四级环网，不足以支撑公有云数据中心的需求。2015 年，京东集团宣布在宿迁建设数据中心后，京东云与宿迁市政府通过京东云华东数据中心项目向运营商争取，通过精品 OTN 项目将运营商网络接入国家一级环网，极大提升了宿迁市的生产级应用网络质量。2017年 9 月，宿迁数据中心接入南京、无锡国家骨干通信网络，顺利打通了通往华东、华南地区的通道，另外还实现了北京访问宿迁经由南京变为经由徐州的光纤传输方式。在京东集团的大力推动下，宿迁的网络传输速度已和南京、无锡处于同等级别。

京东云还通过自建 BGP 解决单运营商网络中断的问题，与三大 ISP 互为备份、与各 ISP 直连，从而缓解运营商大区间网络通信异常问题。而京东云自建BGP 还可以向公有云、私有云、合作伙伴数据中心等提供质量稳定可靠的互联网接入服务。

京东云不断对数据中心的技术架构进行升级。目前，京东云数据中心的硬件方面采用了2.4 GHz、3.2 GHz主频的 Intel Xeon Gold 处理器，在此基础上开发新一代云主机、云物理机、GPU云主机、GPU云物理机、云硬盘、原生容器、高可用组等。结合自建的 BGP 网络，京东云从容支持了多次京东商城6.18、11.11 等大型的线上活动。

其中京东云二代云主机所采用最新英特尔至强金牌处理器，浮点计算性能提升 2倍，可以提供超大内存云主机，满足对数据交换速度和内存容量有极高要求的大型业务部署场景。而云主机的逻辑集合，可以形成高可用组，组内主机分散部署在相互隔离的物理资源上，保障业务运转不受故障和维护的影响，组内物理资源跨可用区(AZ)和故障域(FD)分布，支持弹性伸缩。高可用组服务可保证运行 Web 服务和数据库的云主机分散在隔离的物理资源上，如果其中一台物理资源出现故障或维护升级时，其它 Web 云主机以及数据库云主机不受影响，保证业务高可用。

京东云数据中心还采用了京东云原生容器技术，融合了容器和虚拟机的优点，支持原生容器实例和原生容器 Pod 两种类型；基于 Docker 镜像可直接运行容器实例或原生容器 Pod，无需管理集群也无需学习容器编排工具，即可运行容器。由于采用独立内核技术，基于虚拟机的隔离性，可避免容器间共享内核的安全隐患。此外，还基于 SDN 技术实现不同租户间的完全隔离。这样，京东云面对突发流量实现了秒级扩容，平稳、安全地度过了数次洪峰。

京东云追求为产业服务，自身业务的产业属性比较强。对于电商、物流、营销、安全等产业场景，京东云在标准化的 IaaS 产品中寻找场景的差异化，以实现极致性能。这包括机房建设的行业标准、审计要求、资源利用率和利用周期，以及配套中间件的优化，安全组的配置等等。通过细致调优，京东云确保IDC、网络、云产品一系列的 IaaS 资源及架构都为产业服务。

据介绍，京东集团内的零售、企业业务事业部、企业信息化、广告、AI、大数据，搜索推荐、物流、安全、都是京东云的用户，京东云针对这些部门所在产业也都进行了深度的需求挖掘的分析，构建出属于每一个产业的云平台。京东云还在积极布局全国，推动“产业上云数字化转型”与“云上产业新经济聚集”。

京东云布局全国的城市数据中心，除了可以解决客户传统的 IDC 需求外，也符合边缘计算的资源分布和离用户近的属性。京东云通过利用城市节点作为边缘计算的载体，实现云计算与边缘计算之间的协同、互补，而京东云 AIoT 智能物联网就是边缘计算的第一个应用。

值得一提的是，在全面提速的发展过程中，京东云获得了多项资质。2019年1月，京东云获得了 CSA STAR 云安全认证、C STAR 云计算安全评估认证，这两项云安全国际权威认证，标志京东云云计算服务的成熟和业界的认可。京东云还获得了支付卡行业数据安全标准认证（PCI DSS）、云服务企业信用评级AAA级认证、增值电信业务许可证（IDC/ISP/CDN）、全国 CDN 经营许可证等。
近年来，京东全面向技术转型，用技术改造第一个十二年建立的所有商业模式，打造包括智能零售、智能金融、智能保险、智能物流在内的全球领先的智能商业体，转型为“以零售为基础的技术与服务公司”。2018年7 月，京东更宣布成立一支百亿级云计算产业基金，大力发展京东云。从宿迁数据中心的参观，可以看出京东对于云计算特别是公有云的认真和投入程度，也从一个侧面反应了京东云近三年在中国云计算市场快速崛起的原因。京东云的未来，值得期待。【END】


热 文 推 荐

?dfuse、慢雾科技、MYKEY共同出席，与你探讨区块链数据架构和项目上链那些事！

?拍照比剪刀手泄露指纹信息；国内绿 iPhone11 抢断货；PostgreSQL 12 Beta 4 发布 | 极客头条

?公开课｜百度天工物联网基础平台的微服务容器化落地实践

?惊呆！这辆悍马自己在跑跑跑跑跑跑跑！

?互联网大佬为什么爱唱歌

?我们到底该如何看待6G？

?大数据工程师手册：全面系统的掌握必备知识与工具

?实操 | 从0到1教你用Python来爬取整站天气网

?痛！首批共享单车死于2019


点击阅读原文，输入关键词，即可搜索您想要的 CSDN 文章。


你点的每个“在看”，我都认真当成了喜欢