2021年12月23日，由亿欧EqualOcean主办的WIM2021全球数字化引领企业创新增长论坛在上海顺利举办，本次大会得到全球领先的智能营销云平台珍岛集团独家战略支持，以及各方企业、业界代表协力支持。

  在论坛上，八位优秀行业专家、企业高管汇聚一堂，参与演讲分享，探讨行业前沿趋势及数字化转型最新经验。

  音智达联合创始人、董事长张力为与会嘉宾带来主题演讲《使用云与dataops技术助力数字化转型》。

  以下为演讲原文，亿欧EqualOcean在不改变嘉宾原意的基础上，进行了编辑，供行业人士参考。

  谢谢大家。我响应一下今天沈总所说的怎么打破数据孤岛，在数据孤岛上怎么能够把数据从原来的应用里面拿出来，打破数据孤岛做更多分析，这样一个过程在具体的点上做一些展开，我们看到客户在做数据转型过程当中还是有数据平台缺失的问题。

  首先我们回顾一下数字化转型，数字化转型是非常大的题目，数字化转型很多人都提到关键的点是增本、增效、提质。大家都在谈数字化和信息化之间的不同，我在这里强调的几个东西，它的本质是要提高商业效益，然后在这个过程中有几个特别的东西是提升客户的体验，商务模式创新，帮助我们提高运营的效率，这是数字化本身一定要做到的事情。我们以这样一个基本概念来理解数字化转型，可能会帮助我们排除很多对这些观念的混淆，或者大家用词上的不准确。

  显然在这个过程当中，我们接下来要谈到的大数据分析、数据管理是跟数字化转型有非常紧密的关系，但是同时大数据分析和数据管理并不是数字化转型的全部，是有不一样的地方，有很多联系起来的部分。

  我们看一下大数据分析，很多企业已经在各个部门中做了很多成功的应用。其实刚才姚总的分享很好地帮我们理解了，这部分在企业当中已经有很多的成就。比如我们要通过大数据分析来了解我们客户，很多快销品牌或者各种各样的企业实质上是不了解客户的，我们把我们的产品卖给了超市、经销商，但是消费者是怎么买我们的，买了一些怎样的商品，在买商品的时候各种各样的组合，消费者在什么情况下买，很多时候都不知道。

  怎么能够更好地了解你的客户。你的客户不仅仅是消费者，各种各样的人都是你的客户，怎么来增强客户体验，怎么做更好的推荐。如果了解客户，给到客户更好体验的时候，相应的销售、组织、生产、供应链会做什么调整，怎么帮助你做更好的预测。当产生很多数据以后，企业能不能因此去做各种各样的分析，我到底做得怎么样，哪些地方做的比较好，哪些地方需要改进。这些大数据分析都帮助你来做决策。这些显然都是大数据分析应该给到客户的一些价值。

  大数据分析是爬山的过程，我们有这样两个很大的台阶，我们看到很多企业今天在做数字化转型或者数据分析的时候有这样两个不同的阶段。

  第一，很多人在用一些可视化工具，在用这些可视化工具的时候能够把他连接到他的个人数据源，或者一些简单的数据源来做分析，这是一个阶段。沿用爬上的比喻，其实在这个阶段下面还有很多人可能都没有做数字化，没有数据，更多人可能没有在做数据分析。

  第二，我们怎么能够做所谓大数据的多源分析，打通数据孤岛，做到数据和应用系统的分离？要做分析的数据，不仅仅是小数据，企业内部的数据还有大数据，即企业外部数据、非结构化的数据，。

  上面谈到很多关于大数据多源分析的必要性，我们看到很多优秀的公司可能会在上面这个阶段，还有很多公司可能在下面的阶段。以爬喜马拉雅山为比喻，下面的那个阶段并不是起点，已经在爬山过程中了，上面的那个阶段也不是终点。

  我们今天看到的一个情况是，很多企业停留在下面阶段很久。当我不能够去建立一个统一的数据平台来做数据分析的时候，很多价值是不能得以体现的。为什么不做这个事情呢？在整个过程当中，技术的门槛还是很高的，路径过程也是比价不清晰。所以很多企业在说我想做这个事情，我的大数据已经开始多了，可能有几个T的数据。但因为有门槛，然后我想做这样事情的时候，我可能很怕。用比喻的话，我们希望客户不要跳上去，而是用一步一步走上去，或者爬上去的方式来做，这就是我们今天要谈的议题。

  我们提出了一个解决方案，用一个敏捷的方式来构建数据湖仓。数据湖仓就是客户的数据处理平台，我们不是用一个原来的瀑布式的方式，而是用一个迭代的、敏捷的方式来实现这样一个东西。当然在实现敏捷方式的过程当中要用到的云技术。

  整个敏捷数据湖仓建设所要面对的客户大概有这样两种情形。第一种情形，他今天可能积累了几个T的大数据。这相对是一个比较初级的阶段，也还是很多客户可能没有这个数据量。另外一种客户可能是有传统的数据平台，但是他面临各种各样复杂的问题，比如公司因为并购要整合新系统，比如有一些需求变化，可能会迁移，数据孤岛会逐步打破，数据仓库可能会合并，等的趋势。如果你有这样两种不同情况，我认为考虑敏捷湖仓都是非常有意义的。

  我们这样一个敏捷数据湖仓所面对的企业并不只是限于所谓的B2C。在实战当中我们也看到有汽车行业的客户，有化工行业的客户在跟我们来谈这样一些方式。

  我们想像当中，一个所谓的敏捷数据湖仓要给到客户的价值，最主要的是要节约使用成本，要有性价比，这是非常高的要求。今天一个客户如果初次来建立一个数据湖仓或者数据仓库，可能起码是两百万以上的成本。

  我们是否能够在80%节省之下，在非常巨大的节省和效率提升的情况下来帮助大家做数据湖仓。因此能够给到企业不用跳，而是可以用慢慢走上去的方法来做这个事情。

  我们要谈的具体方案主要集中在后面这个框里面。如果在做数字化转型过程当中，我们强调不仅仅是技术，所以有涉及到战略、组织变化。今天我们的话题只是集中在后面这个部分。

  我大概会从产品与技术、迭代的方法论，和数据体系与数据处理的案例，这样三个角度来稍微深入讲解一下敏捷数据湖仓是什么东西。

  我首先从技术开始，然后到过程和创新方法论，最后到数据分析体系的举例，以这样一个顺序展开介绍。

  回应今天演讲的题目，即用云和dataops这样的技术来实现刚才我所描述的敏捷的数据湖仓。我们整体思路很简单，我们要用云，包含有两个意思，一个是用云，第二个要用好云。我们发现很多客户可能还蛮纠结在用云还是不用云，这个问题我们不在这里谈。我们谈的更多问题是当我们花了很久纠结用云还是不用云之后，我们发现很多在云上的客户他们用云用得不是很省。我们想用云是为了省，但是我们发现很多客户用云用得不够好，所以怎么能够用云同时要用好云这样的方式，来构建一个敏捷输出湖仓。只有用了云和用好云之后，才有刚才所描述80%节省的概念，这是我们整体的方案。

  这个方案在技术上几个特点。第一，我们这个方案现在可以构建在多云之上，我们先用基于AWS的方案来给大家做一个举例。用云用好很大的议题就是所谓现在用无服务化的架构，在无服务化这个事情上AWS走得比较前面，他们推出很多无服务化的方案，因此可以极大降低客户用云的成本。

  其他云也会在这个地方跟进，所以我们认为未来把无服务用到极致，对客户的性价比是有非常高的影响。还有很多细节，我暂时就先做这么一个简单的介绍。

  第二，我们对数据要做各种各样分区管理。整个云上提供不同数据热度管理机制和收费机制。当我们能够区隔冷的数据、温的数据、热的数据之后，才把云平台用好。

  这个是用dataops方法来提高开发的效率，降低对开发人员的要求。大家都明白数字化转型当中一个很重要的事是对人才的要求，尤其是复合型人才的要求。无论是供应商还是企业，都有这样的问题。企业也是面临人员成本增加的问题，人员技能不足的问题，复合型人才一人难求的问题。

  这个图在谈ELT的问题，在做数据仓库或数据湖仓过程当中有ELT。说的是把数据从应用系统里面抽取出来，然后加载到分析系统，最后展现出来，大概是这样一个过程。

  在这个过程中要做很多清洗。刚才我们谈到有不同的源系统，每个源系统里面涉及相同的产品，可能名字都叫得不一样。这就要求做数据治理、数据清洗、数据建模。大概在整个过程中，从左边到右边的过程中，一般一个开发项目的70%人工可能在这虚框里面。

  我们现在这个方法是用ELT。ELT核心概念是我们在用客户的数据库来做他数据治理重要的部分。所以这个客户的数据库如果是在云上，大家可能会听到有这样一些工具，比如databricks, snowflake, redshift。当我们在做ELT的时候，我们就会用这些工具来做所谓T的部分，在数据库里面来做数据处理。

  你一旦这样做，一个很大的挑战是我们发现这个产品对客户的要求很高，有那么多不同的工具，有那么多不同的技能。我们工具核心的做法是让客户能够只是有SQL语言编程，然后自动翻译成目标数据库，是自动代码生成的工具。

  同时，他可以实现一次开发，然后自动产生测试案例与文档。这就是dataops的意思，提高了效率。这样一件事情对我们开发者和对用户来讲都非常有意思。

  我们还有全局数据安全与权限管理，等等其他技术议题。因为时间关系，都跳过了。当我们用好了云之后，最后我会有一个实例给大家看到，我们是比较容易地实现了比在传统模式或者在本地模式上所构建的平台会有极大节省的数据平台。

  刚才讲到技术的部分，技术并不是唯一的东西。第二，我们还想要做创新迭代的方法论。迭代是dataops一定会提到的，这是一个类比。在这个类比过程中，关键是我们希望不追求项目在开始阶段就掌握所有的用户需求，而是以滚动的计划方式来逐步推进，这是整个方案另外一个重点的部分。我们传统方式是客户需要对全局有很好的把握之后才可以开始，这是我们很多客户不敢开始，或者在开始之后有困惑的难点之一。

  所以我们提出了以这样迭代的方式，能够很快地建造系统，我们每次都可以用2-4周的方式给到客户的反馈。这样大家就会觉得我每一次的行动都会是清晰的。我们有了正向反馈以后，我们可以更正向的来做这样一个事情。这是通过一个方法论来保证，我们整个系统建设是可能有一个多阶段的方法来构建的。

  当我们有了这样一个迭代的方法论，客户可能会问一个问题，那我的全局观在哪里？我们用现有数据分析体系来给大家看一下，因为我们为很多企业做很多服务，有很多全局观的案例在那里的。

  我们可以给客户各种各样的分析咨询，来帮助大家用敏捷的方式构建的时候，能够设想我们所要去的地方应该长什么样，建立类似数据地图这样的东西，建立一个全局的观察。刚才提到很多东西都有很多细节，每个框我们都可以打开，也是因为时间的关系，我们不一一做更深入的分析。

  以品牌零售举例，我们可能会做人、货、场的分析，大的框大家比较清晰，但是深入打开每个框后，具体应该包含什么？个性化的东西在哪里？应该以怎样的顺序来做？花多少钱做才是合算的？这个客户其实是不太懂的，这个部分是让他不太愿意花很多钱的原因。

  实践中还要应对更多的复杂性，比如怎么把总体方案能够分解到不同部门，分解到不同公司，等等。

  我们有一个实际的项目，否决了原本的本地方案，采用这里介绍的优化的云方案，以及不断把服务原子化，最后整个数据平台的构建做到了80%的节省。通过分享这样一个方案，给大家一个打破数据孤岛的成功案例。

  最后，我来自音智达，我们主要为企业做各种大数据分析。谢谢大家。