大数据 频道

打造“数据金字塔”,小米大数据平台建设之路

  提到小米,我们首先想到的这是一家互联网企业,主要产品除了澳门金沙网上娱乐场,还有如空气净化器,净水器,小米手环等智能化产品。从某种角度来说,小米已被打上了智能家居和技术创新标签。其实,小米能有今天的发展,大数据平台在其中扮演了最重要的角色。

  提升效率,小米大数据平台构建之初

  什么是大数据平台?对于大数据概念,很多人都能理解,最典型的特征就是数据量大、数据复杂,需要借助专业工具才能在合理的时间内帮助企业撷取、管理、处理并整理成为有价值的信息。而大数据平台,需要在大数据基础上,以一个平台的形式,形成一整套解决方案,比如:数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等,是一个统一体。

  当然,不同类型的企业,大数据特色各不相同。小米公司经过8年的发展,积累了海量的日志和用户行为数据,已形成全生态,多样性的数据资产。小米的数据来源于硬件、软件和大量的互联网服务,每天有超过万亿级的日志,数据异构性非常强。如何处理和发挥这些异构数据的价值?是小米大数据团队最大挑战!

  所以,构建一个全面集成的大数据平台,成为小米技术变革道路上的新征程,也是大数据团队所有人员的最神圣使命。

  小米大数据负责人司马云瑞

  谈到大数据平台建设,小米大数据负责人司马云瑞,如数家珍。这可能和他过去的从业经历,不无关系。2005年毕业后,司马云瑞在微软亚洲工程院、微软亚太研发集团负责云服务和大数据相关工作。期间从事过前端、中间件、服务器、云计算、数据工程、数据科学、数据产品等不同类型的开发工作。

  对司马云瑞个人而言,微软的从业经历让他实现了职业生涯中的三个重大跨越。第一,通过对技术深度和广度的掌握,具备了对技术边界的判别能力,并能从架构美学角度看待技术问题。第二,是对产品和业务能力的掌握,让他具备了技术落地能力;第三,重塑技术思维模式,以业务的角度看待问题,更具商业掌握能力。

  经过十年的历练,司马云瑞在2014年加入小米,主攻方向是数据平台、用户画像和数据应用。数据平台的目的是:把数据管理、治理好,并提供工具帮助业务团队高效地使用起来;用户画像的目的是:把公司关键的数据做好;数据应用的目的是:把数据用起来,赋能核心业务领域。

  拥抱开源,打造“数据金字塔”

  小米的大数据平台构建,始于五年前。在设计之初,小米就大力拥抱开源技术,尤其是Hadoop生态。此外,小米在Hbase,Spark,kudu等关键技术领域,也做了大量的投入,并且把自己在开源方面的贡献反馈给开源社区。

  之所以要建大数据平台,最主要的目的是提升效率,实现数据的一致性,并且要满足数据质量提高和合规方面的要求。通过构建小米的数据治理体系——“数据金字塔”,打造统一的大数据架构,将数据的采集、处理、应用等各个步骤标准化,全面提升数据质量、一致性和开发查询等应用的效率。数据平台不仅提供强大的技术支撑能力,还要为所有业务赋能。

  至于,为什么要选择开源技术?是因为小米有自己的大数据分层体系和架构。在做技术选型的时候,首先要看新的技术对需求的满足程度,然后再看和现有体系的契合度,而开源技术和Hadoop体系,能大大降低小米的改造成本和学习成本。

  大数据平台上线后,我们可以看到两个最重要的价值:一是效率。整体数据治理体系初步成型后,开发效率有大幅地提升,查询效率有一至两个数量级的提升,让公司的业务层更易于使用数据。二是创新。数据平台解决了以往数据孤岛问题,把所有数据都汇总起来,并拥有了一致化体验。其中产生大量的创新机会,比如:互联网金融基于异构行为数据进行信用风险的判别,就是一个典型的例子。

  万变不离其宗,大数据平台要为业务赋能

  为了避免企业在大数据平台构建中“采坑”,司马云瑞总结出自己的心得体会。首先,企业内部做数据平台,要有打破数据孤岛的意识;其次,要乐于和善于使用开源技术和既有的优秀方案;第三,要有整体的架构方向感和适用的数据治理体系;最后,也是最重要一点,要有业务思维,要明白平台要服务于业务,为业务赋能。每一项工作都应该对业务有可衡量、可评估、可持续改进的效用。

  小米的大数据平台在为业务赋能方面,非常具有参考价值。以现在非常火的“小爱”为例,越来越多的交互转移到用户自学习、个性化需求实现方面。小米在MIUI上发布了大量的AI能力,比如:为了提高系统性能而研发的App预测。在C端,大数据和AI正在将个性化推向极致;在B端,大数据和AI正在重构商业流程和模式。

  虽然数据应用千差万别,但其实各家实现的方法大同小异。司马云瑞希望通过各种行业活动及交流会的方式,把小米的大数据平台建设经验,分享更多企业。每年的DTCC大会,是他比较喜欢的一种交流形式。从旁观者,到参与者,再到大会顾问。司马云瑞和小米,和业界更多成功企业,一路同行,携手相伴。

  想要了解大数据平台建设的更多信息,请点击 DTCC2019第十届中国数据库技术大会官网:

  http://dtcc.justaccessjobs.com/index.html

0
相关文章

    澳门金沙在线娱乐