|
|
比较关注快手,也比较关注数据中心,前段时间就听说了这个事情,没想到这么快落地了。虽然互联网巨头都在建数据中心,不过快手的思路还是很不一样。这是快手首个自建的数据中心,面向快手未来五年内的大数据与人工智能场景,设计容量为30万台服务器,将拥有最大规模的离线计算服务器集群,是业界最大的专用于大数据/AI的数据中心。 原来乌兰察布充分利用特殊的气候和地缘环境大力发展了数据中心业务;除了今天的快手,之前腾讯、阿里、华为、苹果也都在这建立了数据中心...
类似的还有贵州,早年苹果的国内服务器就放在了贵州。 乌兰察布是内蒙古距离北京最近的地方,从北京驾车一路向西北,出了张家口就是内蒙古乌兰察布。得天独厚的地缘位置,便捷的高速与高铁网络,凉爽舒适的气候,资源丰富的电力、便捷的光缆通道、全国最优惠的电价,再加上当地政府前瞻的“草原云谷”战略规划,使得乌兰察布成为我国重要的数据中心聚集地。 在快手前,华为、阿里和苹果等公司的11个数据中心项目已在乌兰察布落地,总投资规模达到357亿元,服务器规模150万台,“南贵(阳)北乌(兰察布)”的数据中心格局已经形成。快手百亿投资数据中心,将进一步促进乌兰察布大数据产业发展,给当地在GDP、招商、就业、城市建设规划与税收上带来直接好处。作为视频与AI头部企业,快手在乌兰察布的数据中心也将专用于大数据与AI,因此将给当地大数据产业带来更多想象空间。 乌兰察布距离快手北京海淀总部330公里,车程4小时左右,如今乌兰察布已实现高铁进京,快手总部的技术人员只需10分钟即可到达清河高铁站,再乘坐100分钟高铁到达乌兰察布,参与到数据中心的建设与运维中。
投资乌兰察布数据中心,快手服务器规模一下跃升到全国互联网行业前五,目前阿里与腾讯拥数据中心服务器规模在百万级,属于第一梯队;百度、字节跳动、快手与京东则属于第二梯队,拥有几十万台服务器。跟BAT等互联网巨头的数据中心不同,快手乌兰察布数据中心是国内互联网行业第一个自主研发并独立完成整体概念设计的数据中心,快手将择机开源其概念设计方案,助力国家“新基建”战略——数据中心/云计算是新基建七大领域之一。 那么,快手投资百亿自主研发与建设数据中心是出于什么考量?快手服务器规模跃升互联网行业前五意味着什么?结合对快手IDC技术负责人张子坚的采访,罗超频道视图找到答案。 服务器互联网前五意味着什么? 互联网是实体世界的“比特化”,数据中心负责生产与存储“比特”。不论是外卖、电商、视频、直播还是搜索,一切跟互联网有关的应用背后,都有数据中心在发挥基础作用。服务器在数据中心日夜不眠地响应需求、运行代码、运算数据、得出结果,这些结果通过有线光缆与无线信号传输到用户设备,最终被展示为用户在互联网上所看到的一切。 数据中心就是互联网业务的基础设施。2015年,谷歌公布过一组图片引发外界震撼,当时它已拥有以太级别的数据,遍布全球的36个数据中心:美国19个、欧洲12个、俄罗斯1个、南美1个和亚洲3个(北京http://-Google.cn、香港http://-Google.com.hk和东京各1个),驱动着这个全球最大的搜索引擎,谷歌将数据中心称为“互联网实体”,即唯一能够让你“肉眼可见的互联网”。
互联网公司的数据中心规模与业务规模成正比。阿里腾讯拥有百万级服务器的数据中心位居第一梯队,这与其在互联网行业的体量成正比。快手服务器互联网行业TOP5是其跻身巨头行列的侧影。 一方面是用户规模。易观数据显示,今年4月抖音与快手活跃人数分别达到5.85和4.87亿,环比增长率分别为3.8%和3.6%。4.87亿活跃用户在互联网行业属于巨头级水平。同时,快手的营收水平也已达到巨头水平,有媒体报道,快手2019年总收入500亿元,其中直播收入接近300亿元。 另一方面是业务广度。 快手不再只是一家短视频公司。与快手并列服务器规模TOP5的巨头,阿里、腾讯、百度、字节跳动业务都相对庞杂,快手聚焦短视频业务,向产业渗透实现“快手+”。 QuestMobile数据显示,今年2月快手上看直播的用户量占日活用户的比例达到50%,大力发展直播业务的抖音的这一比例只有28%,快手事实上已是最大的直播公司。直播+短视频电商的成功让快手成为电商行业的鲶鱼,最新数据显示快手电商日活已突破1亿,今年618与京东战略合作、推出首个“快手616品质购物节”,成为618舞台中央的玩家。就在最近,周杰伦在快手开通个人首个中文社交媒体账号,快手拿下了周杰伦音乐的短视频版权,展现出对文娱产业的野心。直播、电商、文娱,不足以涵盖快手的产业数字化野心。 疫情期线下商业活动受阻,家电、汽车、旅游、服装、家居、珠宝、KTV,各行各业在快手在线营业,快手正在抓住机遇支持各行各业线上化、在快手产业化发展。快手正在构建的“数字世界”承载着包罗万象的人间烟火,一定要有足够大的数据中心来支撑。
快手为何要自建数据中心?
大多数公司包括总是跟快手被同时提及的字节跳动均采取租赁模式,只有BAT等少数巨头才会自建。快手在国内短视频行业第一个自建数据中心,最直接的原因,是因为业务增长太快,采取传统的租赁模式已很难满足业务所需。 一年前的618,快手提出著名的K3计划:“2019年6月18日起,守护未来的战斗模式开启。战斗的第一个目标:2020年春节之前,3亿DAU。”今年初快手日活突破3亿。此前快手已经历长期的高速增长,2018年快手就用不到半年时间实现6000万日活增长,2019年用5个月时间实现4000万日活增长,DAU超过2亿。2020年疫情让短视频、直播、电商等在线业务均受益,3亿DAU后,快手用户大盘依然在高速增长,易观数据显示,今年4月快手活跃用户增长3.6%,618前夕快手组织变阵、牵手京东、签约周董,表明后疫情时代,快手依然在高速增长。 2019年4月入职快手担任快手数据中心技术负责人的张子坚曾先后在百度、美团等公司任职,是中国第一代“现代IDC”架构师,2007年到2015年初在百度负责自建IDC相关工作,作为技术团队主要负责人参与了百度截至2015年所有自建IDC工作,包括容纳15万台服务器、当时亚洲最大、采取自建模式的阳泉数据中心。
加入快手后,张子坚负责快手“IDC、网络、服务器”等数据中心基础设施业务的技术管理工作。2019年到现在是快手极速狂飙的阶段,直播与电商大获成功、成为2020年春晚独家互动合作伙伴、DAU先后翻过2亿与3亿大关、营收从300亿攀升到500亿、跻身互联网巨头TOP5。 张子坚在基础设施这一层见证了快手业务的高速增长,在他看来“数据中心的发展是业务发展的映射”,BAT是伴随跟互联网用户大盘的增长而增长的,增长曲线相对平缓,如今快手面临的互联网市场更加成熟,快手作为新一代互联网公司,“从第十跃升到第五名,发展速度跟老一代互联网公司比是不一样的。”快手与字节跳动这两家新锐巨头的用户增长曲线,均比BAT陡峭得多。 去年9月有媒体透露,快手服务器数量突破10万。今年春节快手拿下央视春晚,直播累计观看人次7.8亿,最高同时在线人数2524万,“视频+点赞”在直播期间一共有639亿次红包互动,再破记录。相对于传统口令、摇一摇红包互动而言,视频互动面临的流量压力更大,快手最终以“不宕机”的结果应对了春晚流量洪峰。春节后疫情期间快手业务继续高速增长,服务器跟着不断扩容。 在加速各行各业数字化的战略下,快手的加速度增长会继续,在业务“倒逼”下扩容服务器已经越来越难以奏效,正是因为此快手有了新的想法:站在未来看现在。
张子坚介绍称,新一代互联网公司增长速度更快,但同时互联网成熟后未来业务需求更加明确,因此互联网企业不能再用老的眼光去布局数据中心,即有了需求再扩容数据中心,这样做就会有“小而多”的数据中心,数据中心碎片化,调整与扩容会很困难,且运营成本高,难以满足长远发展。因此快手“站在未来去看现在”,面向未来三五年布局数据中心,乌兰察布数据中心就是这一思维下的抉择,且未来快手会继续在华北、华东、华南规划建设超大规模数据中心,满足中长期发展需求,成为新基建的主力军。 不只是快手,建设超大规模数据中心已成为BAT等巨头的共同选择。不过,虽然方向一样,但路线却不同。
快手自建数据中心有何不同思路? 首先是自建还要自研。 自建比较容易理解,采取租赁模式本质是用社会化供应,但社会化的基础设施往往是滞后的。张子坚介绍称,如今快手的体量大了,社会供应能力已经跟不上,“某一年你有一个非常大的需求时,你需要数据中心的资源保障供应,如果社会资源在那个时候没有办法来供应给快手,它就会阻碍业务的发展。”正是因为此,互联网企业成为巨头后基本都会自建数据中心。 快手更进一步,不只是自建,而且自研,乌兰察布数据中心是国内互联网行业第一个自主研发并独立完成整体概念设计的数据中心。这是快手的第一个自建数据中心,不用成熟方案自主研发是一种冒险。 快手如此抉择的原因在于: 其次是对存储的“贪婪”。 乌兰察布数据中心主要有两个用途,一个是大数据,一个是AI,在存储上,将支持60EB以上的总存储容量,相当于超过300万个国家图书馆信息存储量。为什么会规划如此大的存储空间? 《数字化生存》作者尼葛洛庞帝曾将世界一分为二:比特世界和原子世界,数字化的过程实际就是原子比特化的过程,他认为科技产业的一个重要趋势,就是比特跟原子的结合。快手让各行各业在线化,在快手产业化发展,在推动的事情本质是让原子世界“比特化”,这一点与其使命吻合:一个记录和分享生活的社区,在快手每一个人都有机会被世界看到,也能看到更广阔的世界, 快手不刻意塑造大V,强调零运营,均体现出其在实打实地“映射真实世界”。快手映射真实世界形成的“数字世界”正是由海量大数据构成。截至目前,快手已积累200亿条短视频库存,每天仍有超过1500万条视频新增,每天有千亿条视频曝光,200亿次视频播放。在短视频外,快手上还有直播、图片、文字、商品等等内容,未来可能会增加更多内容形态,这些数据,需要庞大的存储空间。 2019年,快手管理的数据量已达到EB级别,当时市面上的通用存储服务器无法满足海量视频文件存储需求,快手找到Intel来解决存储和管理大规模视频文件的问题。针对海量视频文件的存储需求,快手有包括磁带、磁盘构建的冷存储系统,由NAND和3D Xpoint加上QLC构建的温存储,由英特尔傲腾持久内存和DRAM内存构建的热存储,三种热度的存储设备构成了完整的存储池,在满足业务的前提下,实现性能和成本上的平衡。 5G带来了低延时、高带宽的网络基础设施,视频与直播成为最受益的产业,数字内容高清化、实时化成为趋势,短视频平台的数据量会进一步爆发,我想这是快手站在未来看现在的一个考量。快手的数据会进一步“膨胀”,对数据中心的需求会日益增长,要求则会越来越高。 可以说,将构建数字世界,映射物理世界,存储真实世界作为愿景的快手,重视数据中心的大数据能力,对存储空间十分贪婪,是一种必然。
最后是将AI放在首位
快手乌兰察布数据中心是国内最大的专门针对大数据与AI的数据中心,未来五年也会专注于此,大数据与AI外的计算需求会让别的数据中心承担。专门针对大数据与AI投资百亿的重要原因是快手是一家AI公司。虽然很多人说到快手会想到短视频、直播、老铁、社区,但实际上,AI已经渗透到这家公司业务的毛细血管里。 在内容创作环节,快手的理念是让每个人都能成为自己生活的导演、用手机去记录生活并生成相对较高质量的视频。要做到这一点,离不开AI。AR拍摄、“快手时光机”魔法表情等创新应用基于AI实现。快手用户视频上传后、发布前,会被机器视觉算法检测,如果有问题比如脏镜头导致视频画面模糊、光线问题导致画面昏暗或者偏色,则会被用算法矫正,这背后是人体姿态估计、手势识别、背景分割等多种AI技术的应用。此外,快手基于AI实现智能字幕、智能配乐、AI生成音乐等功能。内容创作的AI应用一部分要在用户手机端完成,快手自研YCNN深度推理学习引擎,解决了AI技术运行受限于用户设备性能的问题,另一部分则由云端数据中心负责提供算力。 在内容推荐上,快手内部有一个“基尼系数”指标,本来是经济学上关于贫富差距的名词,快手用来做内容分发,确保每个人都有平等的被世界看到的机会。要实现这一点要对海量视频数据进行大量的训练,同时对用户行为等数据进行画像,再加以匹配。相对于图文信息流而言,理解视频对技术要求更高,这中间不只是要应用知识图谱等技术,同时高度依赖机器视觉等技术。快手的界面十分简洁,用户却能源源不断地获取感兴趣的内容,极简体验离不开AI。 在内容变现上,快手基于直播、电商和广告等变现,推出磁力引擎等面向广告主的营销服务平台,发布“快品牌计划”、“品牌C位计划”,与京东、拼多多等电商巨头合作,推出快手小店,帮助创作者变现、满足品牌/商家的销售与营销需求,不论是广告还是商品的推荐,每一个变现环节背后都有AI的驱动,确保用户体验、增加创作者收入、帮助品牌提高营销效率、降低营销成本。 早在2017年快手创始人宿华就在一次分享中表示,快手是一家用AI服务用户的公司,“我 2006 年时加入谷歌,做 AI 相关工作已经 10 年时间。当年和谷歌的同事一起研究和应用 AI 技术,后来我开始自己创业,也基本都和人工智能相关。” 既然快手是一家将AI应用到业务毛细血管的公司,自然对服务器AI算力要求很高。
总结:快手在乌兰察布百亿投资、自建自研专注于大数据与AI的数据中心,既是快手业务高速发展的结果,也体现出其谋局未来的野心。短视频、直播、电商……各项业务大获成功后,快手将抓住直播电商、5G、新基建和产业互联网的时代机遇,继续高速增长,快手的数据中心将会进一步“膨胀”。在“记录与分享生活”的使命下,以AI为基石的快手在数据中心上的野心比我们看到的更大。乌兰察布,是一个全新的开始。
投资百亿,快手将在乌兰察布自建数据中心 6月6日,快手宣布投资百亿在内蒙古乌兰察布市建立数据中心,这是快手第一个超大规模自建互联网数据中心,建成后可达60EB以上总存储容量。 据了解,快手乌兰察布数据中心共计占地约500亩、可容纳30万台服务器,第一批IT设备预计2021年底上线。该数据中心主要支撑快手大数据、人工智能等核心技术平台,为快手的长期发展提供资源保障。 为什么快手要自建数据中心? 据了解,2020年初,快手的日活数据就超过了3亿,每日的数据处理需求以超过10PB的速度增长。在这样的数据体量下,如果仍然采用原先的租赁存量市场服务器的模式,显然存在很大的不确定性,一旦存量服务器不足,那么对于快手业务的“冲击”将是巨大的。 快手数据中心技术负责人张子坚也表示:“新一代互联网公司增长速度更快,但同时互联网成熟后未来业务需求更加明确,因此互联网企业不能再用老的眼光去布局数据中心,即有了需求再扩容数据中心,这样做就会有小而多的数据中心,数据中心碎片化,调整与扩容会很困难,且运营成本高,难以满足长远发展。因此快手站在未来去看现在,面向未来三五年布局数据中心,乌兰察布数据中心就是这一思维下的抉择。” 如果企业是比较小的商业场景,那么买不如租,但是当应用达到了一定的规模,那么自建数据中心一定是更合算的选择。另外,从数据资料安全可控的方面看,自建数据中心就相当于把数据资料掌握在了自己手中,拥有了自主保存和处理数据的权力。 2020年3月,中共中央政治局常务委员会会议指出要新型基础设施建设进度,并明确了新基建的七大领域,大数据中心就位列其中。随后,互联网大厂都对外宣布了自己的数据中心建设计划,例如阿里宣布未来3年投资2000亿用于核心技术研发和数据中心建设,腾讯宣布未来5年5000亿用于新基建的进一步布局。而快手此次建设乌兰察布数据中心明显也是在提速自己的基础设施建设进度。 为什么选址在乌兰察布? 这么多大厂都选择在乌兰察布建立数据中心,自然是因为乌兰察布自然条件的天然优势,快手也不例外。乌兰察布全年的平均气温只有4.3℃,在不采取降温措施的情况下,PUE值就可以在1.26以下,而且利用自然冷却的时间长达10个月。 众所周知,快手的总部位于北京市海淀区,乌兰察布距此只有330公里,京张高铁的开通,更是将两地的通行时间缩短到2小时以内。更重要的是,乌兰察布与北京之间建立了点对点144芯双回路专用光缆,两地网络延时低于5毫秒。 企业在建立数据中心都很关心电价,乌兰察布不仅毗邻中国的主要产煤区,电价低于低于周边地区,而且还拥有多种绿色清洁能源,例如风电、光伏等。 2018年,乌兰察布还被中国数据中心产业发展联盟被评为“最适合投资数据中心的城市和地区”。为了发展乌兰察布大数据产业,打造“ 草原云谷?乌兰察布”品牌,乌兰察布市政府也给予了很多的政策支持。 快手的“百亿”数据中心长什么样? 在整机柜服务器方面,快手将采用最新的设计,兼容整机柜方式和传统方式,采用模块化和计算存储解耦分离设计,提升单位部署密度和产品开发效率,支持新机型快速研发上线。其中,整机柜服务器将电源、散热、交换等结构模块都集中到了一个机柜中,提高了机柜利用率、电源效率,降低了服务器能耗水平,可实现传统机架式服务器的10倍支付效率。 在供电方面,快手乌兰察布数据中心采用了高压直流(HVDC)方案,将高压直流电直接供给服务器等IT设备,最大化减少电力传输、转换过程中的损耗。 在制冷方面,快手乌兰察布数据中心采用了间接蒸发冷却系统,利用直接蒸发冷却后的空气(二次空气)和水,通过换热器与室外空气进行热交换,实现新风(一次空气)冷却。这也是目前业内大型数据中心比较推崇的一种方式。 在网络设计方面,快手乌兰察布数据中心选择了构建新型CLOS网络,规模化部署高性能无损以太网(RDMA)。另外,快手还表示会在数据中心内部署定制化硬件,例如AI视频、网络、存储设施等,同时还会大量采用国产芯片。 发布于 2020-06-08 00:13
|
|