前言

　　本篇文章让我们回顾12月30日，空间相册面对突发三四倍流量，七成访问落在后端冷存储的极端压力下，相册it运维、开发团队如何凭借平时基础功底，从告警、容量、扩容、柔性、调度等全方面it运维能力，扛过“18岁照片”的全民怀旧事件。

　　2017年12月30日，元旦假期的第一天，你的朋友圈被18岁照片刷屏了吗？据说“晒18岁照片”的根源是2017年年未，最后一批90后将度过他们的18岁生日。这意味着，90后已全部成年，集体告别了青葱芳华。这次it运维怀旧时间集体引爆了空间相册山洪峰涌而至的照片流量。

　　业务数据回顾

　　突然来袭的用户集中行为，给我们平台的能力带来了非常严峻的考验，先让我们先来看一组数据:

　　图片下载量峰值达到平日晚高峰的4倍，且70%以上都聚集在平日不怎么访问的冷图片。

　　图片上传量达到平日晚高峰的4倍。

　　带图说说峰值达到平日晚高峰的12倍。

　　日常it运维工作

　　面对这突如其来的流量，看一下腾讯it运维的日常工作。

　　腾讯SNG运维团队会例行化地进行容量管理工作，包括:

　　1） 链路梳理

　　如上节所述，我们梳理出相册核心链路，常用梳理过程有几种:

　　通过抓包形式确定链路模块；

　　通过设备上报的主被调数据确定调用链路；

　　名字服务中获取相关的调用链数据；

　　通过全链路数据汇总出相关的链路。

　　2）压测:

　　定期对整条链路做压测，压测手段有异地调度压测，或单机压测，通过压测找出链路内存在瓶颈的模块，及时修正链路模型。

　　3）高低负载处理:

　　依据压测容量数据，分配设备扩容。负载较低的模块设备进行缩容下线以节省成本。

　　It运维容量应急措施

　　但是这里的问题是显而易见的:以上常规性的工作，只能发现常规场景下内部存在的瓶颈。像18岁照片这种特殊场景（用户大量读取空间相册，获取冷数据），无法通过常规压测检测出来问题, 这就需要一系列的机制来解决

　　1) 监控和容量弹性机制:通过IaaS层监控对系统的基础特征进行监控，（如CPU负载，出入流量），当模块容量出现异常时，弹性扩容机制需要介入处理，进行扩容。

　　如何快速支持短时间扩容上千台设备？不得不介绍下腾讯SNG的织云运维理念。

　　如上文所述，我们的设备被分配到不同的“业务模块”，而每一个模块有如下属性:

　　包:业务处理逻辑文件包，包含业务包与基础包。

　　配置:包含业务包要使用到的各种配置

　　权限:包含支撑业务包正常运行时需要的数据库、内部鉴权系统等权限

　　测试工具:包含业务包启动后，能否接入现网的测试标准

　　织云提倡的自动化理念是:标准化 -> 配置化 -> 自动化，让企业的常用操作固化成流程工具。不依赖容易过期的文档，不依赖容易流失的人的经验。

　　参考持续交付的原则“为软件的发布创建一个可重复且可靠的过程”，it运维团队为了解决人肉操作经验差异的难题，将it运维操作通过流程DIY编排能力，实现标准操作的固化。“18岁照片”活动扩容，任何一个it运维人员只需要执行QQ相册的扩容功能即可实现容量扩展，而织云流程会自动化的完成整个服务部署和上线的操作。（如下图）

　　总结

　　从“18岁照片全民怀旧”热点社交事件可以看到，事发过程中留给it运维的时间相当少，只有严格贯彻“养兵千日用兵一时”的标准化it运维理念，建设完善的it运维体系，才能在突发事件中游刃有余。

　　这次18岁照片活动，相册通过多种手段顶住了业务压力。同时通过这次活动，也我们对未来的it运维工具进行了进一步规划，在这个时代中it运维能力在不断迭代，期待it运维方案在行业中带来更多创新。

　　本篇文章来自同创双子it运维分析。

　　1.安心创业，针对小型公司，价格是1.99元/人/天，主要维护电脑、网络、wifi、电话、打印机；

　　2.运营无忧，针对中兴公司，价格是2.88元/人/天，主要电脑维护、WIFI、电话、打印机、网络搭建&维护、综合布线系统、监控系统、门禁系统、复印机、文件服务器、Windows域控服务器、用友/金蝶财务应用软件；

　　3.护航服务，针对大型公司，价格按情况定制，主要是IT服务外包公司保障业务平台安全运营、云计算分析与部署、智慧工厂运营服务、智慧城市运营服务、业务信息风险管理和合规；

　　4.大牛驻场，针对中兴公司，价格是7999元/人/月，主要维护人员常驻客户现场，提供技术维护服务；后台技术团队为现场人员提供技术支持、资源支持、以及管理和质量保障。

　　中国领先it服务品牌企业。

　　服务网点遍布全国20多个城市。

　　我们想让中国每个企业享受到生态的it服务。