中华网家电

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:频道首页 > 快讯 > 正文

对话偶数科技常雷:如何开启实时湖仓一体时代?

对话偶数科技常雷:如何开启实时湖仓一体时代?
2023-11-29 14:13:55 来源:中国网

企业业务越来越复杂多元,对数据处理能力的需求越来越高,当下实时分析场景越来越多。数据技术日新月异,纷繁复杂,利用合适的数据技术打造自己的实时分析能力非常重要

(照片配图:)

本期,我们有幸邀请到偶数科技创始人&CEO常雷博士,他指出现在数据湖和数仓的融合已是大势所趋,有迫切的需求,当下已经到了实时湖仓一体时代。他分享了实时湖仓的发展、建设路径和方法论。

此外,常雷也指出,这是技术创业最好的时代,也存在挑战。技术发展多年,现在突变的技术没有以前那么多。在突破力越来越少的情况下,大家都在做一些存量的竞争,这时候从商业层面其实蛮困难的,还是要从技术上做一些突破,来打破这样一个格局。他强调要坚持创新,不进则退。“要结合需求来看,别拿个锤子老找钉子,你根据钉子来造锤子。技术型创业的人最容易这样,强调技术产品贼牛,这是技术创业最大的一个坑。”

追问:我们为什么需要实时湖仓?

ITPUB:常雷博士,很高兴能采访到您,请您简单做个自我介绍。

常雷: 我之前是北大博士数据库方向毕业,毕业之后就加入EMC,曾任EMC高级研究员、EMC/Pivotal研发部监。

2010年EMC收购Greenplum,我在EMC带领研究团队做数据库内核的研发工作,结合Greenplum开发了新的产品HAWQ,HAWQ和GP早期是闭源产品,在2015年我们就把这两个产品全部开源了,HAWQ后面成为了Apache的顶级项目。

看到了云时代的机遇,2016年年,我带着团队出来创立了偶数科技,当时我们定位是想做新一代云原生的分析型数据库,慢慢地演进成现在的实时湖仓,就是把结构化数据、非结构化数据、半结构化数据,所有的数据都能够融合起来处理,架构上做云原生存算分离,把数据湖和数仓融合形成新一代数据

ITPUB:打造新一代云原生分析型数据库,是不是对标Snowflake?

常雷 :其实我们对标国外的Snowflake和Databricks两家公司,Snowflake做云原生数仓起家,是分析型数据仓库。Databricks是做Spark,早期定位是机器学,后面做Lakehouse(湖仓一体)。这两家公司,前者是从数据库角度出发,后者是Hadoop生态,从数据湖出发,现在都往湖仓一体融合发展,我们其实正好是两个都对标。GP是一个分析型数据库,HAWQ源于GP,是SQL on Hadoop引擎,是Hadoop生态,我们从HAWQ出发,做云原生存算分离,演变到OushuDB,又以OushuDB为基础,打造了Skylab实时湖仓数据

以前都是有湖有仓,现在湖的能力比如说事务一致能等等都在增强。仓之前只能做结构化数据,现在慢慢把流处理各方面的东西都给融进来。

我们已经扩大产品栈,有一套完整的产品矩阵,能为企业提供非常完整的数据分析产品栈,具有整体的数据分析的解决方案能力,像是一个航空母舰一样。

ITPUB:公司官网的介绍是开启实时湖仓一体时代,您看到的是怎样的一个时代?

常雷 :数据库经过好几代的发展,其实脉络比较清晰,最早期是交易数据库,像Oracle、DB2,交易数据库其实变化没有那么大,就是传统集中式到分布式的变化。

分析型数据库的架构变化比较大,这是需求场景变化使然,分析库从早期只能做一些统计报表,到后来数据量大了之后要处理大量的数据,在到做BI。后来大数据时代,有各种不同类型的数据出来,数据量也很大,数据处理变得复杂,出现了Hadoop大数据。最这几年,云计算兴起,湖和仓向着融合演进,变成了云原生湖仓一体。

湖仓一体概念是美国先提的,英文是Lakehouse,湖仓一体只是说把湖和仓融合起来,减少了数据的孤岛。以前湖和仓是分开的,在湖和仓里面都要存数据,造成数据冗余,不是一份数据,使得开发成本、维护成本等提高,湖仓一体确实解决了一些问题,降低了客户的运营成本。

我们觉得只说湖仓一体还不够,从应用的场景来看,在分析方面,以前的T +1已经不能满足很多实时场景需求,T+0实时场景越来越多,我们不仅要做湖仓一体,而且要针对实时场景,做一个新的技术架构,所以说我们提实时湖仓一体的时代,不仅强调技术架构,而是技术、应用场景的支持和融合。

市场上也有实时“数”仓的概念,和实时“湖”仓虽然差一个字,但是差别蛮大的。实时数仓处理结构化数据,实时湖仓是一个产品矩阵,实时湖仓包含了实时数仓,范围更大一些,会把企业各种各样的数据都管理起来。

ITPUB:实时数仓、实时湖仓核心就是实时的需求,您觉得是如何发生的?

常雷 :现在越来越多的实时场景出现,就是比如说实时大屏、实时报表、实时指标、实时推荐、反欺诈、风控、IoT场景等,比如说一个用户在浏览商品,他要收到一些实时的推荐。

从业务场景的需求来看,传统的T+1已经支撑不了这种需求,大家对实时的需求已经很迫切了。

客户的IT能力越强,投入越大,业务做得越好,越讲究实时。有些传统的企业技术方面做的比较弱一些,觉得现在好像不需要,业务这样还挺好,但实际上是数字化转型没有做好,业务提升空间还很大。

ITPUB:也许企业真的没有需要?

常雷: 他不是没需要,而是他没想到他有需要,别人都已经做了,他就是跟随者。任何一个新场景、新业务或者新技术的发展,都会有一些创新的先行者,跟随者也挺多,跟随者其实是占大部分,创新者只占一小部分。

实时湖仓案例,我们做了很多头部客户,基本上每个行业的头部都有。我觉得技术随着业务场景在变化,往往是先有业务场景才有技术,有时候有了技术之后,会开拓一些以前不能做的业务场景。实时湖仓好像是需求和技术在齐头并进。一个是有需求,另外技术也在发展,走到了实时湖仓一体这样的一个时代。

ITPUB:具备哪些特才能是真正的实时湖仓?

常雷: 根据湖仓一体的本质,我们结出了湖仓一体的六大特征——ANCHOR,其中6个字母分别代表:All Disparate Data(多源异构数据)、Native on Cloud(云原生)、Consistency(数据一致)、High Concurrency(超高并发)、One Data in Open Format(一份开放格式数据)、Realtime(实时T+0)。ANCHOR 的中文意思是“锚”,利用ANCHOR六大特很容易判断出某一系统设计是否真正满足湖仓一体,“锚”定湖仓一体。

ITPUB:在实时方面,有很多技术和概念,实时数仓、实时湖仓、流批一体、HTAP数据库等,您觉得企业需要的是什么?偶数为什么会专门提实时湖仓?

常雷: 这些概念其实都有一些自己的应用场景,比如HTAP的场景也有一些。在交易库里面,有时候要做一点小的分析查询,可能在分析场景里面有一点交易型场景,也能做。从现在的业务现状来看,大家说数据库的时候,场景基本都是分开建,银行TP和AP还是分着的,是完全不同的部门团队在做。

一般场景都是有侧重的,这个场景偏重于分析,那个场景偏重于交易,然后选用不同的产品,我们其实是偏重于分析型场景,也支持一些交易。有些数据库是偏交易型的数据库,也支持一点分析。但企业真的要采购分析的时候,没有人去找交易库,同样,如果选型交易库,也不会有人去选一个分析库,我觉得在实际项目中区分得很清楚的。

偶数为什么挑选实时湖仓,我觉得湖和仓融合是必须的,是未来所有人都要做的,并不是锦上添花的一个东西。分析场景将来都会走向实时湖仓,现在企业都在想着降本增效,实时湖仓能带来很大的价值。

ITPUB:关于实时场景,很多在谈在线、离线、线,怎么理解实时?

常雷 :Gartner有个关于实时的定义,梳理得蛮清楚的。按照分析的时效可以分为战略决策、战术分析、业务运营和自动化处理,时效和分析频率越来越高。战略决策,比如企业收购、海外扩张,通常要做几个月到半年的分析;战术分析,比如细分市场的定价策略,通常要用几周到一个月的时间来分析;自动化处理,比如信用卡自动审批、股票的量化交易,通常是毫秒级,在一秒钟内完成;而业务运营夹在中间,从1秒钟到几天,跨度很大。

所以在业务运营场景中,就需要对实时有更加明确的要求。Gartner认为15分钟内的算是实时和准实时范畴,根据我们的观察和实践,10秒钟以内才能算是强实时,10秒到15分钟的区间可以认为是准实时的。很多企业正在将传统T+1报表升级为分钟级的准实时报表,在我看来,接下来完全可以做成强实时的交互式分析。

偶数做实时湖仓,是从离线到在线,从准实时到强实时,全部覆盖,我们提出叫做全实时,也是按需实时的理念,全实时通过Omega技术架构来支持。

ITPUB:不同的企业对实时湖仓的需求有哪些共和差异?

常雷 :同一个行业基本上共是比较强的对产品的需求基本上都类似。但对创新型的需求,不同规模的企业差别比较大,大型企业的业务场景相对复杂,技术创新能力比较强,像稍大型的银行在创新方面比中小银行要强很多,新的实时场景往往是他们在率先尝试,然后中小银行才会跟进。

实践:企业如何构建实时湖仓?

ITPUB:企业是如何构建实时湖仓的?

常雷: 根据现状的一些不同,企业会采取不同的方式来构建,大致分为三类。

第一类,以前信息化做得比较弱,可能分析场景基本上没做,或者他觉得以前的太落后了,只做了一个传统的 ODS ,新的大数据也没上,这是往往采取新建模式。

第二类,以前的IT基础栈比较全,可能有湖,也有仓,还有数据集市。基于现有的IT建设,向实时湖仓升级换代。比如你的存储是HDFS,我可以利用你的原有存储,使用我们的计算层,加上偶数的一些实时存储,使得架构向实时湖仓转型。

第三类,以前有传统的数仓,但没有Hadoop大数据,这种情况可以把数仓先升级成云原生存算分离的架构,先把OushuDB用起来。其他新应用场景再引入新的组件,慢慢形成实时湖仓

所以基本上是三条路径,新建、从湖转型实时湖仓,或从数仓转型到实时湖仓。

我们遇到新建的比较多一些,新建一个,硬件还可以重用,应用场景逐步迁移,并不是新建完之后一下全部迁移。对客户来说,新建相对比较简单,因为新建不会涉及重大历史包袱。如果此前有大量业务在跑,改造相对来说耗时较长,需要几个月或者半年的时间,我们尽量让企业在短期内看到价值,增加他的信心。

ITPUB:能否分享一些项目建设的方法论?

常雷 :结合偶数在数据项目建设的长期探索和经验结,提炼出了偶数湖仓一体建设方法论。这个方法论主要包括规划(Planning)、实施(Implementation)、运营(Operation)三个子过程,三者先后衔接并形成闭环;战略(Strategy)是一个或有子过程,一般适用新建湖仓数据场景,或者特殊建设背景下行业客户的特别要求。

偶数湖仓一体方法论逻辑视图

偶数湖仓一体建设方法论,既能兼容传统数据仓库的实施方法,又能规避过往数据湖落地过程中的一些弊端;既考虑众多企业已建数据多年的现实情况,又吸收年数据相关技术快速变化演进的前瞻趋势。

ITPUB:企业在构建实时湖仓的时候,你觉得有哪些需要注意的地方?

常雷 :在湖仓一体正式立项之前,我们建议客户从行业实施经验、项目实施周期、体成本三个要素来考虑湖仓一体的项目规划,进行体设计、分步实施。通俗讲,就是团队要找好,产品要选好,项目要实施好。偶数的方法论还给出了在立项阶段的几点避坑建议,以及项目实施过程中的重要抓手,大家可以关注我们即将发布的关于湖仓一体建设方法的书。

展望:AIGC时代的实时数据技术以及技术创业

ITPUB:AIGC时代,大模型等AI技术对数据技术带来了哪些影响?

常雷 :我觉得大模型的兴起对我们是一个重大利好。因为大模型降低了大家使用数据的门槛,可以用自然语言使用数据,而以前使用数据往往需要学复杂的产品和查询语法。

AIGC使得数据栈变得更加简单易用了,比如可以自动生成SQL,将来设计模型、数据治理也可以自动,用自然语言驱动。所以大模型对行业影响很大,只不过现在这种垂直场景还没有非常好的落地。

大模型现在属于一个比较前沿的探索阶段,基本上还是做一些比较通用的基础场景,针对一些垂直场景,还有很长的路要走,任重道远。

ITPUB:很多人就说现在是一个对技术创业者来说比较好的一个时代,作为一个技术创业者,您如何迎接挑战,把握机遇?

常雷 :现在对技术创业者确实是最好的时代,你真的想把一个事情做深做透做好,没有技术创新很困难。但是技术创业者也有局限,通常对业务逻辑和需求等方面了解要少一点,也是个挑战。

技术已经发展这么多年,现在突破的技术没有以前那么多。在突破越来越少的情况下,如果大家都做存量的竞争,这从商业层面其实还是蛮困难的,所以还是要从技术上做一些突破,来打破这样的格局,技术创业还是很重要的。

例如,在三年之前我们讲实时湖仓的时候,大家还在犹豫观望,现在基本上已经形成共识了。我们希望这些企业用好实时湖仓,真正实现业务的降本增效。

ITPUB:现在市场有那么多类似的产品,怎么看行业的竞争?

常雷:这 就和当年的百团、千团大战一样。一个新的技术出来之后,一定会有一批公司来做,这是很正常的,市场竞争一定越来越激烈。但是否能笑到最后,那就看战略、技术、产品,谁做得最好。

其实数据技术的发展是非常快的,现在大概每过10-15 年左右就会有新一代出现,很多厂商一不小心可能就落后了,可能就被淘汰了。

所以你永远要把握住自己的创新,永远不要把创新放下,别以为产品比较稳定了,就觉得可以满足需求了,不需要创新了。不做创新就会被淘汰,只不过有的行业可能对创新的要求更高一些,变化更快一些,有的行业创新稍慢一点,但仍然需要握住机遇和创新。交易库稍简单一点,它发展慢一点,但做大数据相关的发展变化就尤为明显,真的是日新月异,我经历了过去三代,现在已经发展到第四代云原生存算分离了。

创业是不进则退。我们一直在创新演变,刚开始我们做云原生数据仓库,是分析型数据库,现在我们变成实时湖仓,以分析型数据库为核心,形成了一套产品矩阵,这几年我们一直在不断迭代前行。

ITPUB:现在都在讲融合,数据技术的大融合,像以前的按键手机、MP3、照相机全融合成一个智能手机一样。

常雷 :Oracle很早就已经讲融合了,Oracle对各种数据场景都支持,比如图数据,时序数据等等,所以融合不是个新概念。

现在到处都在提融合,我觉得有些部分融合是可以的。但所有东西都融合在一起一定是有问题的,让一个人干所有的事情,什么事情都可以干,但是干的肯定不是所有事情都是最好的,要有侧重点。

企业的诉求是你解决了什么问题,到底带来多少价值,比如有实时场景的问题要解决。比如湖和仓,为什么要融合到一起?你要说清楚价值,然后再讨论融不融合。客户的视角是解决问题带来价值。技术人的角度,可能是你看我啥都能做,我技术很牛,这个视角是不可取的。

要结合需求来看,别拿个锤子找钉子,要根据钉子来造锤子。

ITPUB:对于从业者而言,您能不能给他们一些建议,如何跟上技术迭代的节奏?

常雷 :针对从业者,我觉得新的技术要紧跟,大的趋势要紧跟,国内新的趋势是新一代数据库产品、是实时湖仓,千万不要故步自封。现在知识和技术更新迭代的速度很快,一定要注意武装好自己。比如说我们现在推出一些课程,我觉得像这种新技术的培训分享,传统的DBA应该去学,等到以后别人都掌握了,那你就很危险。

 

责任编辑:kj005

文章投诉热线:182 3641 3660  投诉邮箱:7983347 16@qq.com
关键词:

瓜州县:探索“1+1”产业+N种电商举措新模式 助推电子商务高质量发展

2023-11-29 11:00:03瓜州县:探索“1+1”产业+N种电商举措新模式 助推电子商务高质量发展

联动「DOU来内容实验室」共创中国女足大片,看Prada如何玩转奢侈品新营销

2023-11-28 11:15:04联动「DOU来内容实验室」共创中国女足大片,看Prada如何玩转奢侈品新营销

北斗全新OPEN智能点读地球仪重磅上市

2023-11-09 11:31:26北斗全新OPEN智能点读地球仪重磅上市

火爆全球!AI软件灵犀妙笔AI(Superlala)正式在中国推出,接入国产AI大模型

2023-11-07 15:10:42火爆全球!AI软件灵犀妙笔AI(Superlala)正式在中国推出,接入国产AI大模型

DMK黑暗荣耀2023光明季年终盛典成功举办——悦享黑暗荣耀,共启璀璨未来

2023-10-20 09:00:04DMK黑暗荣耀2023光明季年终盛典成功举办——悦享黑暗荣耀,共启璀璨未来

我想学水电工技术,但是没有基础,我该如何入行才不会走弯路?

2023-10-19 11:02:06我想学水电工技术,但是没有基础,我该如何入行才不会走弯路?

相关新闻