每日经济新闻
要闻

每经网首页 > 要闻 > 正文

互联网巨头扎堆布局“湖仓一体” 新一代数据管理架构如何破解金融行业数据孤岛?

每日经济新闻 2022-08-12 18:03:12

◎“湖仓一体”技术为何被各大互联网企业、大数据公司竞相看中?它能解决哪些痛点?背后反映了怎样的技术趋势?

每经记者 叶晓丹    每经编辑 董兴生    

在亚马逊、阿里云、字节跳动等互联网巨头扎堆在大数据领域布局“湖仓一体”解决方案之时,《每日经济新闻》记者注意到,8月11日,网易旗下网易数帆也宣布联合华泰证券推出企业级流式湖仓服务Arctic开源。

“湖仓一体”技术为何被各大互联网企业、大数据公司竞相看中?它能解决哪些痛点?背后反映了怎样的技术趋势?

流批割裂,金融行业数智中台建设面临挑战

目前,企业对数据库技术的需求不再局限于结构化的OLTP数据交易,而是需要进一步扩展到对多样化数据进行实时处理的场景。传统的数据湖在事务一致性及实时处理方面有所欠缺,而数据仓库也无法应对高并发、多数据类型的处理。

“湖仓一体”,被业内认为是新一代数据管理架构。赛迪顾问7月15日发布的《湖仓一体技术研究报告》显示,湖仓一体是一种新型的开放式架构,打通了数据仓库和数据湖,将数据仓库的高性能及管理能力与数据湖的灵活性融合了起来,底层支持多种数据类型并存,能实现数据间的相互共享,上层可以通过统一封装的接口进行访问,可同时支持实时查询和分析,为企业进行数据治理带来了更多的便利性。湖仓一体可在数据入湖后原地进行数据处理与分析,能有效避免数据冗余及流动导致的算力、网络及成本开销,可以作为超大型ODS存储贴源数据,实现全量数据的实时处理。

以金融证券行业为例,近年来,券商在加大自研技术投入,不过,“流批割裂”成为部分券商数智中台建设的挑战之一。“‘实时’是数智中台的核心诉求,流批割裂则是落地的一大挑战。”华泰证券大数据流计算技术专家陈丰通过腾讯会议介绍,实时湖仓在华泰证券日内数据离线加工、实时关联大量历史数据、金融数据频繁修正、统一埋点加工链路等方面具有极大的价值。

图片来源:主办方供图

然而,当前数仓建设面临流批链路分开建设、纯实时业务逻辑复杂、数据存储不统一、数据更新复杂以及演进难等五大问题。

网易数帆大数据产品线总经理余利华也通过腾讯会议表示,金融企业希望融合实时数据湖与数据仓库,打造实时数据中台支撑其数字化业务创新,这本质上正是湖仓一体的思路。然而,余利华也认识到,目前的主流数据湖技术等只解决了更新、大表访问性能、流式消费等问题,仍然遗留小文件导致性能损耗、兼容性和流失更新等性能和易用性相关问题,而开源社区尚未出现对应的解决方案。

 

使数据中台体系无缝扩展到实时场景

在接受《每日经济新闻》记者采访时,余利华表示,亚马逊、阿里云等云厂商推出的“湖仓一体”技术,更多是面向最终用户的云服务。而湖仓一体Arctic,其实不是云服务,而是独立的开源软件。理论上来讲,开源软件是可以被集成到各家客户自己的平台里,甚至包括云厂商,网易数帆的目的是帮大家更快地去落地湖仓一体。

余利华 图片来源:主办方供图

余利华表示,秉承开放式架构原则,Arctic立足开源数据湖,不绑定计算引擎,注重与传统数仓Hive的兼容,能做到100%兼容Iceberg/Hive的表格式和语法。这是继SQL统一入口之后,网易数帆大数据体系再次在存储层面实现统一,这使得数据中台体系可以无缝扩展到实时场景,金融数据价值的发挥将不再被孤岛所困扰。

“我们也看到客户有量化交易的需求,有风控方面的需求,这些对实时性的要求特别高。”对于网易数帆在金融大数据方面的发展布局,余利华表示,对数帆来说,金融行业是一个重点行业,目标是希望能成为金融行业领先的大数据技术软件的提供商。

网易数帆的关注点则在于大数据的基础软件。“客户会自己负责他的大数据业务,那么我们主要是在基础软件这方面为客户赋能。为此,首先我们一直在做信创和安全方面的工作,因为金融特别注重安全;第二个是要去建设面向金融行业的数据研发产品,也就是DataOps的产品。”余利华说。

全球新型肺炎疫情实时查询

如需转载请与《每日经济新闻》报社联系。
未经《每日经济新闻》报社授权,严禁转载或镜像,违者必究。

版权合作及网站合作电话:021-60900099转688
读者热线:4008890008

特别提醒:如果我们使用了您的图片,请作者与本站联系索取稿酬。如您不希望作品出现在本站,可联系我们要求撤下您的作品。

欢迎关注每日经济新闻APP

每经经济新闻官方APP

0

0