中的最小存储单元），从而实现高效读写。这里的术语“部分”意味着仅对文件内的相关数据页执行更新插入，但跳过不相关的数据页。一般情况下只需要更新一小部分文件，大部分数据页可以跳过。与

包括：获取所有文件组的最新基本文件、获取给定分区的最新文件切片、获取最新的合并文件切片（在压缩正在进行时有用）、获取最新的挂起压缩操作、获取替换的文件组

或任何表格式时我们需要锁提供程序。如果两个并发写入修改同一组数据，我们只能允许其中一个成功并中止另一个，因为至少与乐观并发控制（OCC）存在冲突。我们可以尝试设计和实现基于

字段表示存在记录的实际数据文件名。回到Hudi增量数据处理的根源，分区路径字段通常用于从增量查询进一步过滤记录，例如下游ETL作业只对表中最后N天分区的变化感兴趣，可以通过简单地编写一个

写入，以及Presto、Hive、Spark、Flink以及Doris的查询。可见Hudi具备丰富的流处理能力和仓的能力。所以我们选择了Hudi作为实时数仓的基础。2.

TTL，降低状态后端的数据存储。同时以满足各个业务线的协同开发，后续相继完善了数据存储模型指导、数据开发规范等指导方法，保证线上整体的可持续运行。最终实现的效果是目前单层作业耗时在

的第一个实现（我们称之为“交易数据湖”或“流数据湖”，分别是仓库用户和数据工程师的语言），我们根据当时的生态系统做了一些保守的选择。然而，重新审视这些选择很重要，以便看看它们是否仍然有效。•

的架构在数据摄取、处理、存储和删除方面的显着改进。该架构的一个主要好处是降低了基础设施成本，这是通过使用云原生技术和有效管理数据存储来实现的。另一个好处是数据管理能力的提高。我们发现与之前基于

索引：如果记录键按某些标准（例如基于时间戳）排序并且更新与最近的数据集相关，那么这对于更新繁重的工作负载是一个很好的索引策略。例如如果记录键是根据时间戳排序的，并且我们在最近几天更新数据。•

MOR（读取时合并）表是唯一能够处理这种模式的开放文件格式，确保最新的写入和清理的视图可供数据消费者使用。摄取作业——具有文件组映射的行键，降低了连接操作的复杂性——150

tableName).option("hoodie.metadata.enable","false").mode(Append).save(basePath)注意：在

Plan）保存到Timeline里，此时在Timeline里会出现一个名为replacecommit的Instant，状态是REQUESTED；执行阶段的主要工作是读取这个计划（Clustering

第2批次第2批次更新了一小部分数据，Hudi将更新数据写入到了Log文件中，大小788KB，fileVersion是1，它从属于上一步生成的Parquet文件，即Parquet文件是它的Base

在本系列的上一篇[1]文章中，我们通过Notebook探索了COW表和MOR表的文件布局，在数据的持续写入与更新过程中，Hudi严格控制着文件的大小，以确保它们始终处于合理的区间范围内，从而避免大量小文件的出现，Hudi的这部分机制就称作“File

Compaction，导致任务资源占用较大。独立任务执行，需要手动启动一个任务来进行表服务，同时缺少管理功能，导致维护成本较高。此模式会有一个任务来进行数据的写入，同时再起另外一个任务来进行

https://github.com/bluishglc/apache-hudi-core-conceptions/blob/master/1-data-preparation.ipynb[3]

存储格式和索引元数据，以处理对表的快速、频繁的突变。在传统的海量数据湖中，重新计算以处理延迟数据意味着触发所有受影响分区的重新计算（在分区表的情况下）并将此过程级联到所有下游表。Apache

十多年来，人们很难从他们的数据中获得可操作的见解这一事实一直被归咎于数据的规模。“你的数据对于系统来说太大了，”这是诊断，而解决办法是购买一些能够处理大规模数据的新奇技术。当然，在大数据任务组购买了所有新工具并从遗留系统迁移之后，人们发现他们仍然无法理解他们的数据。他们也可能已经注意到，如果他们真的注意的话，数据大小根本不是问题所在。2023

全球数字化带来的海量数据，给企业的数据存储和分析带来了越来越不可忽视的挑战。随着各行各业纷纷借力云计算技术，许多困难已逐渐得以克服，但如何从中挖掘出更实用、即时和可访问的商业智能隐藏的巨大潜力，仍需要我们不懈地上下求索。为此，第八届DAMS中国数据智能管理峰会特别精选以下大数据领域热门议题，将于3月31日在上海与大家一起进行深度探讨。DAMS中国数据智能管理峰会时间：2023年3月31日地点：上海龙之梦大酒店（上海市长宁区延安西路1116号）指导单位：上海市软件行业协会、上海市计算机行业协会、中国信息通信研究院云大所主办单位：dbaplus社群大数据主题看点腾讯、京东、网易、中国电信、携程、B站、爱奇艺、快狗打车、中国平安、光大银行、微众银行、丹诺德软件、复旦大学等产学研界技术领跑单位，都在探索哪些大数据新技术应用？背负越来越沉重的海量数据，如何踏上实时且灵活的高速列车？如何在合规、高效、可重用的前提下，充分发挥数据价值？如何建设面向未来的数据仓库与数据湖，以及两者融合的湖仓一体架构？云时代下，如何通过存算分离、离在线混部等设计，满足高并发、高可用、高性能的需求？演讲嘉宾及议题爱奇艺大数据大规模应用实践爱奇艺

以外的格式以利用数据生态系统中不断增长的工具和查询引擎集。作为一家倡导跨查询引擎互操作性的公司，如果我们不对元数据格式应用相同的标准以帮助避免将数据分解成孤岛，那我们的表现就很虚伪。今天我们通过

的数据结构，包括变更是什么样的操作（有三类：insert，update，delete），变更发生的时间点，以及变更前后的数据。显然对于insert操作该记录的变更信息中是没有旧值的，对于

现今，很多企业每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，无论是分析型场景、流批一体、增量数仓都得益于湖仓一体等数据湖技术的发展而变得越来越容易解决。3月11日，周六，09:00-17:00，DataFun联合数据湖领域的11位资深专家，共同策划出品了第一届"DataFunSummit2023：数据湖架构峰会"，届时将邀请20余位来自国内外的一线数据湖专家从核心架构、性能优化、湖仓一体、最佳实践等方面带来数据湖的最新技术和内容实践经验分享，让大家了解专家们如何应对各类复杂的数据应用场景。本次峰会现已全面开放报名，感兴趣的小伙伴欢迎识别下方二维码免费报名：▌峰会日程本次峰会，各论坛的分享日程如下：▌上午主题论坛：特性·难点·方法论·行业观察随着大数据时代的到来，数据湖从概念产生到现在经过了10多年的发展，成为企业管理海量数据的重要工具和解决方案。数据湖能够汇集多种数据源，提供多维度的数据分析和深度挖掘，帮助企业做出科学决策并推动业务发展。数据湖的应用场景主要包括DB数据入仓/湖、近实时OLAP、近实时ETL、湖仓一体(Lakehouse)等方向。为了探讨数据湖的最新发展和实践经验，本次主题论坛邀请了华为云、阿里云、腾讯、火山引擎、信通院等知名企业的专家，将分享Lakehouse架构的实现经验、数据湖元数据和存储管理、Iceberg高级特性的应用、批流一体存储实践、数据湖与湖仓一体的行业观察等内容。▌下午分论坛3月11日下午14:00-17:00，峰会将分为四个分论坛：核心架构、性能优化、湖仓一体、最佳实践。听众将从中了解到最前沿的技术和最佳实践经验，帮助企业了解并应用最新的数据湖技术，提高数据资产的价值。▌分论坛1：核心架构论坛聚焦数据湖生态的核心系统的最新特性、功能迭代、性能优化等关键技术，围绕存储、计算、分析等领域方向邀请了国内各领域专家带来最新技术成果的分享。相信通过“核心架构”主题论坛的五位重磅嘉宾的分享，会和大家一起对数据湖生态技术的发展趋势、SparkSQL为代表的数据湖计算引擎的优化、数据湖存储系统技术选型、湖仓一体化新架构演化等关键工作点的思考碰撞出智慧的火花。▌分论坛2：性能优化Lakehouse架构的核心思想是通过提升数据湖的现有能力，使湖更加具有仓的属性，实现在数据湖内建仓的能力。从Hudi、iceberg、DeltaLake这个三个组件看，都从不同程度提升了仓的属性，比如基础特性：事务性、更新能力、Schema演进、数据查询等能力，但是由于各家落地架构有所区别，在性能上也会有所区别。在Lakehouse技术一经推出，业内各家企业快速引入，从各自不同的业务场景出发对技术平台提出了各种性能要求，例如：数据入湖写入和更新性能、交互查询性能等等。这次我们邀请了华为、阿里、网易、爱奇艺四家公司，分享结合自身业务特点对技术平台进行的性能优化方法。这些优化方法也会泛化到其他企业，帮助大家一起提升整体的平台性能。同时我们也欢迎更多的朋友来分享，一起推动Lakehouse技术的发展。▌分论坛3：湖仓一体随着DataBricks在2020年提出湖仓一体架构，业界在湖仓一体进入快速发展阶段，

摄取。支持部分负载更新部分更新是社区中的一个常见用例，它需要能够仅更新某些字段而不是替换整个记录。以前我们建议用户通过引入他们自己的自定义记录负载实现来满足此用例。随着该需求变得越来越普遍，在

的未来以及如何实现这一目标。认知当读到或听到这样的公告时，我认为其中存在未讨论的细微差别。但我发现当企业阅读这些类型的公告时，他们会按字面意思看待。他们回来告诉他们的团队，我们想要转向这个无代码、零

代表一条记录的主键（通常是分区路径和记录键）。HoodieRecordPayload是用户实际传入的数据。让我们来看一个典型的例子。在

如何设置EventTime能够解析的字段类型及格式如下:类型示例TIMESTAMP(3)2012-12-12T12:12:12TIMESTAMP(3)2012-12-12

提供在开放格式之上构建和运营数据湖所需的核心数据基础设施服务，让原本艰巨的旅程变得轻松。自推出以来，我们与几位早期用户合作，将我们的产品愿景变为现实，并为他们的生产数据湖提供动力。我们的目标是在

Join，特性如下。Name优点缺点JDBC官方支持，可直接使用业务库作为维表，无需数据同步业务高峰时对数据库性能有较大损耗，可能对业务造成影响HBase官方支持，分布式服务，可支持高QPS，通过

构建Serverless实时分析平台阿里云ADB基于Hudi构建Lakehouse的实践基于Flink+Hudi在兴盛优选营销域实时数仓的实践Apache

的使命是为生活中的所有财务决策提供清晰的信息。这涵盖了一系列不同的主题：从选择合适的信用卡到管理您的支出，到找到最好的个人贷款，再到为您的抵押贷款再融资。因此，NerdWallet

是新一代流式数据湖平台，其最主要的特点是支持记录（Record）级别的插入更新（Upsert）和删除，同时还支持增量查询。DLC支持通过SparkSQL创建表、写入表和查询表中使用

引擎满足更复杂的离线处理场景和机器学习场景。在「管理」方面，我们推出了统一的元数据管理服务，统一湖仓元数据及权限，让湖仓数据的流通更顺畅在「应用」方面，除了通过SQL方式的BI分析应用外，还支持基于

数据集群的传统数据湖无法根据数据量调整文件大小[22]。结果会导致系统创建很多文件，每个文件的大小都比较小，从而占用了大量不必要的空间。高效的数据湖应根据传入数据量自动调整文件大小。例如

join，消费历史数据会导致状态瞬间膨胀很大，导致checkpoint时间过长导致任务失败重启，进而会被压导致flink程序崩溃。3．之前订单生产的双流join就是用的Interval

layer将哈希值和桶关联起来，可以看到如果bucket#2过大，可以将其对应的范围0x5000-0xA000进行split分成两个桶，仅需要在这个范围内进行重新分桶/文件重写即可。图5.

API，利用这些API可以非常方便地对Hudi表进行操作，同时Hudi也集成了其他生态，如MPP引擎Starrocks，doris等Hudi的基本概念由Timeline和File

使用TableSchemaResolver的getTableInternalSchemaFromCommitMetadata方法获取最新的完整InternalSchema2.

表，不再需要以前的手工创建外部表的繁琐过程。(https://docs.starrocks.io/zh-cn/latest/data_source/catalog/hudi_catalog）全新

org.apache.hudi.common.table.TableSchemaResolver.fetchSchemaFromFiles(TableSchemaResolver.java:604)

支持不同的源系统，以及它如何基于提交并且可以为单个源系统维护。数据湖市场趋势随着最近在Snowflake峰会[53]和数据与人工智能峰会[54]上的公告，开源数据湖表格式市场火爆。Snowflake

借助互联网大数据、人工智能等技术，帮助他们的企业用户构建贴近客户真实行为的画像洞察。通过营销自动化精准触达和交互，提升客户体验和实现业绩增长。大部分公司在自建数据中心的时候，会采用Cloudera

1.场景需求在医疗场景下，涉及到的业务库有几十个，可能有上万张表要做实时入湖，其中还有某些库的表结构修改操作是通过业务人员在网页手工实现，自由度较高，导致整体上存在非常多的新增列，删除列，改列名的情况。由于Apache

effort语义，一旦收到某个checkpoint的成功事件，就标志前面的状态都是成功的，但中间可能存在checkpoint被abort情况。因为Hudi需要保证每个写入的完整性和Exactly

MinIO。如果表已经存在，模式（覆盖）将覆盖并重新创建表。行程数据依赖于记录键（uuid）、分区字段（地区/国家/城市）和逻辑（ts）来确保行程记录对于每个分区都是唯一的。我们将使用默认的写入操作

背景介绍Linkis是一款优秀的计算中间件，他对应用层屏蔽了复杂的底层计算引擎和存储方案，让大数据变得更加简单易用，同时也让运维变得更加方便。我们的平台很早就部署了WDS全家桶给业务用户和数据分析用户使用。近段时间，我们也调研和实现了hudi作为我们数据湖落地的方案，他帮助我们解决了在hdfs上进行实时upsert的问题，让我们能够完成诸如实时ETL,实时对账等项目。hudi作为一个数据湖的实现，我觉得他也是一种数据存储方案，所以我也希望它能够由Linkis来进行管理，这样我们的平台就可以统一起来对外提供能力。因此我这边做了一个Linkis和Hudi的结合和使用的分享。1.环境版本介绍1.

提供了以异步方式运行表服务的选项，其中大部分繁重的工作（例如通过压缩服务实际重写列数据）是异步完成的，消除了任何重复的浪费重试，同时还使用Clustering技术。因此单个写入可以同时使用常规更新和

Service的方案去解决这个问题。我们之前Flink入湖默认是在Flink内部去做Compaction，发现这一步是暴露以上一系列问题的关键。经过优化，Flink入湖任务只负责增量数据的写入，以及

LO_DISCOUNT作为排序列。SpaceCurveSortingHelper.orderDataFrameBySamplingValues(df.withColumn("year",

链路用于实时处理和增量处理的场景。然而，这种做法存在的一个问题是全量导出效率低，导致数据库负载高。另外，数据一致性也难以得到保证。同时，在批数据集构建上有一定的存储效率优化，所以我们希望基于

client对Hudi进行读写。读写逻辑使用Hudi社区java实现，可以维护与社区同步；同时数据在同一个进程中进行处理，性能较高。但需要在BE维护一个JVM，管理较为复杂。④使用BE