背景:将hudi数据导入到starrocks过程中发现 flink 的timestamp类型 导入到starrocks datetime 类型 导致数据为空或错乱
原因:在hudi-flink-connect的源代码中 对timestamp类型处理有判断 当timestamp类型为3时 处理为timestamp类型 但是 当timestamp为6时 就直接处理成 TIMESTAMP_MICROS(微秒级)
在我的hudi任务中timestamp都是 6 所以在同步数据到starrocks 时导致数据为空

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐