中华网家电

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:频道首页 > 快讯 > 正文

易点天下数仓平台建设进入第四阶段

易点天下数仓平台建设进入第四阶段
2023-02-13 16:43:09 来源:财讯网

近日,据InfoQ《架构师》2月刊内容,国际化智能营销服务商易点天下(股票代码:301171)数仓平台建设已进入第四阶段,并进入全面部署,完善监控等集群的自动化运营阶段。

技术专家认为,数据仓库平台建设的主要价值,在于更高效解决海量数据存储、快速查询,并助力企业业务高效发展。而易点天下作为一家技术驱动发展的企业国际化智能营销服务公司,目前服务平台数据覆盖全球超过238个国家和地区,应用安装、用户注册、商品销售等商业效果转化累计8亿次+,独立设备覆盖70亿+台,如何更高效有序的存储、查询并调用海量数据资源,是其提升自身运营投放效率的关键之一。

image.png

在《架构师》2月刊内容中,易点天下对数仓进行了统一规划和建设,以便于更好地辅助业务提高数据模型的复用率、提升数据查询效率、控制数据成本。

在易点天下最新的数仓StarRocks的建设过程中,易点天下首先对数据进行了规范与分层。由于数据来自于不同的媒体渠道,易点天下将不同种类的数据整合处理,规范命名和存储,便于统一管理。为了更好地对数据进行检索,在广度层面,易点天下将数据分为数据引入层 、明细数据层 、汇总数据层、数据应用层以及维度层等5个层级,便于业务开展时操作上更加便捷。

为规范数据仓库处理数据的范围,以及处理数据的业务类型,在深度层面,易点天下也对不同业务和不同数据类型进行拆分,在业务板块,分为广告投放类,创新类, 推广类, 电商类等;而在类型板块,则分为收入、花费、投放、渠道等不同维度的数据。

目前数据平台以实时流离线处理两条方式同时向StarRocks数据仓库中进行数据load。如下架构中易点天下自研了数据治理平台(DataPlus)用于数据监控提高数据质量, 维护元数据血缘等数据的拓扑结构,自动化建模。另外易点天下还自研了分布式的跨云调度系统(EasyJob), 用来系统便捷处理多云环境下的数据依赖和调度。

image.png

数据分析主要流程架构

通过元数据,数据血缘体系建立,未来易点天下可以通过让建模规范,建模质量等规则自动化,形成线上系统的自动化建模功能,自动化建模生成标准SQL,最终在数仓(StarRocks)中定时执行生效,便于限制人为建模的不规范操作,最大程度的优化模型和成本。

image.png

建模过程和数据治理平台(DataPlus)中的功能映射

目前易点天下已经针对BI系统开展了StarRocks的数据仓库的建设,后期会推广到数据平台所有项目的数据场景中,实现全部数据的秒级导入延迟,SQL查询与TP95查询5秒内返回,并通过不断优化模型生成效率,持续提高数据查询效率。

技术专家指出,像易点天下这类从事国际化智能营销业务,并在技术侧需要以分布式架构全天候处理全球海量数据的科技企业,技术中台能力的建设将成为其自身运营效率与服务质量提升的关键。数字智能营销行业,已步入产品与技术精细化运营的竞争阶段。

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

节后护肤有妙招,可复美防护肌肤春季“小任性”!

2023-02-10 15:25:28节后护肤有妙招,可复美防护肌肤春季“小任性”!

可复美科研实力凸显,初心不改持续深耕修护赛道!

2023-01-29 13:09:32可复美科研实力凸显,初心不改持续深耕修护赛道!

新年焕新肌,可复美助力解决肌肤问题!

2023-01-19 15:00:52新年焕新肌,可复美助力解决肌肤问题!

新春护肤必备秘籍,可复美贴心修护肌肤问题

2023-01-18 16:21:52新春护肤必备秘籍,可复美贴心修护肌肤问题

阿华田迎来全面焕新,百年品牌如何开展新布局

2023-01-18 13:36:28阿华田迎来全面焕新,百年品牌如何开展新布局

2022鲸潮奖出炉,可复美荣膺“年度品牌最具投资价值奖”

2023-01-14 20:32:112022鲸潮奖出炉,可复美荣膺“年度品牌最具投资价值奖”

相关新闻