近日,全球领先的IT市场研究和咨询公司IDC发布了最新的《中国大数据平台市场份额,2023:数智融合时代的真正到来》(Doc# CHC5159812,2024年8月)报告。报告显示,2023年中国大数据市场相比2022年增长24.6%,尤其在先进制造、汽车、金融等行业具备强劲增长潜力,整体市场空间仍在高速增长。华为位居中国大数据平台整体市场第一,这是第四年华为蝉联该项市场第一。
同时,华为云在中国大数据本地化部署市场表现卓越:凭借基于华为云Stack平台本地化部署的FusionInsight智能数据湖方案,华为在该领域市场份额达到31.5%,持续位居第一。
数智融合时代来临
IDC在报告中指出,2023年是数智融合时代真正到来的一年。2022年,华为率先提出“数智融合”理念,并在同期推出了数智融合解决方案。经过2年多的打磨,华为云数智融合解决方案全新升级:
·LakeSearch+盘古大模型提供强大的文本检索、多模态检索与搜索生成RAG能力,其中RAG端到端准确性高达85%,华为云向量检索算法(qsgngt)在Ann-Benchmarks测评中排名第一。
·DataArts Insight+盘古大模型通过自然语言快速生成BI报表,快速智能数据见解,其指标准确度可达90%以上,让业务人员轻松用数,所想即所得。
·DataArts数据治理生产线内置AI4Data引擎对接盘古大模型,辅助SQL生成、作业生成让数据开发效率翻倍,辅助数据治理实现数据质量自动探查、质量规则自动推荐效率翻倍。
·DataArts数据工程Data4AI支持结构化和非结构化数据统一管理,面向大模型提供一站式数据获取、数据清洗、数据标注、数据安全、数据发布能力,内置60+全模态智能清洗算子,为大模型高效高质量供数,效率提升10倍。
数智融合解决方案统一构建在LakeFormation基础服务之上,全局统一元数据、数据访问控制与数据全生命周期管理,支持结构化和非结构化数据统一管理,实现一份数据在数据湖、数仓与AI之间自由共享。
数据治理生产线高效推动数智融合场景落地
DataArts数据治理生产线是华为云提供的数据全生命周期一站式开发、治理、服务运营平台,结合了数据分析市场实践以及华为自身17年数据治理的丰富经验,为政企、云原生客户提供了数据治理的顶层规划和数据架构设计,通过数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识湖智能化建设,帮助企业客户进行数字化转型和智能化升级,在先进制造、汽车、金融、政府等行业有丰富的数据治理实施经验。
面向大模型场景,DataArts新增支持非结构化数据管理,打通分析+AI工作平面,高效为大模型高质量供数。
· 支持全流程的自动化和智能化,将人工智能算法模型应用到数据集成、数据质量、数据建模、数据开发、数据安全、数据洞察的数据全生命周期治理。
· 支持高质量安全合规供数,将海量、复杂、无序的数据转化为清洁、透明、高质量的数据能源,结合多层面数据安全防护,输送给业务。
湖仓一体数智生产线的基石
IDC在报告中也指出,越来越多的企业正在积极建设湖仓一体。“湖仓一体”理念最早也由华为于2020年提出,打破湖仓数据孤岛,行业也称作LakeHouse“湖内建仓”,即通过全量数据入湖存储,增量数据实时入湖更新,统一数据格式,支持湖内ACID事务操作,实现湖内数据分层建模,全局一份数据支撑MPP、批、流、交互式、机器学习多场景业务负载,免数据搬迁,高效数据流通。
华为云湖仓一体架构基于FusionInsight智能数据湖方案打造,企业级版本支持单集群6万+节点,满足客户在公有云、混合云、边缘等场景灵活部署的诉求,架构云原生升级,支持容器部署资源弹性提升5倍,同时公有云提供全托管、Serverless云原生版本,支持用户按需使用按量计费免运维,效率提升3倍以上。
华为云大数据2018年首创“存算分离”架构,并持续迭代再次推出“三层池化”技术,持续引领行业。HetuEngine提供跨湖、跨仓、跨域的协同分析能力,通过数据虚拟化技术实现湖仓一体,减少80%数据搬迁,跨源跨域协同分析提效50倍。
湖仓一体LakeHouse当前也已经融合了华为云GaussDB(DWS)高性能云数据仓库、GES万亿级图引擎、TICS可信数据流通等服务,通过LakeFormtion统一元数据和统一数据安全,让数据湖解决方案构建更加容易,数据流动更加高效。
“流批一体”增强LakeHouse架构让数据分析实时化
在湖仓一体LakeHouse架构基础上,华为云大数据增强了流批一体能力,即数据秒级实时入湖更新,实时数据读取,一份数据在统一的数据格式上支持实时、准实时、离线数仓加工,高效支撑业务从T+1到T+0实时化,大大提升用户体验。
同时DataArts Studio提供了一键数据入湖工具,一套平台支持批、流、CDC增量等场景数据联动入湖,提供可视化流批一体作业开发调度平台,内置低代码开发能力,集成作业监控,完善的批流全链路数据治理,让流批作业轻松上线。
华为FusionInsight智能数据湖解决方案已有超过15年技术积累,服务来自超过60个不同国家的3500多个企业用户,覆盖政务、金融、运营商、互联网等各行各业。目前最大商用单集群规模已超过10000节点,部署数据超过500PB,已成为越多越多企业用户的大数据平台首选。
中国工商银行采用华为云FusionInsight建设了全行统一的数据湖,在建模层面实现了湖仓一体新范式,超越传统数仓范式建模效率,加速云数智融合。当前,工商银行的单体最大的数据湖超4000节点,支撑300多行内大数据应用,日均承载批量计算作业数超150万。
海亮集团基于华为云数智融合解决方案,构建统一数智融合平台,打通了数字工厂的全业务流程,让数据更好的服务AI应用,实现成材率由91%到93%的提高,单位产品综合能耗下降300kwh,个别工序的劳动效率提高3倍。
未来,华为云FusionInsight将继续秉持开放的生态理念,在“数智融合”、“湖仓一体”与“流批一体”等创新理念与技术方案的基础上不断探索大数据技术前沿,为企业用户带来持续领先的技术体验,加速数字化转型与智能化升级。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
责任编辑:kj005
文章投诉热线:157 3889 8464 投诉邮箱:7983347 16@qq.com