点击蓝字 关注我们

摘要

为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

1. 本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。

2. 所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：

   1. 关于 Apache SeaTunnel 的使用问题和技术性问题；

   2. 在实际应用中遇到的瓶颈问题；

   3. 参与社区贡献遇到的困难；

   4. 关于社区发展的疑问。

3. 资源有限，请勿提问项目无关问题。

4. 【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）

5. 在社群里已经提问的问题，请勿在文档中重复提问，节约资源。

6. 本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 seatunnel1 报名。

FAQ（4月8日-4月14日）

问

如何实现 MySQL 同步到 ClickHouse？   

会先同步MySQL表中当前已经有的历史数据，再同步变更数据。

答

原则上没有问题，但是有小伙伴发现部分版本升级的时候存在问题，建议先1.3升级2.0.4，然后升级到3。

问

DolphinScheduler 3.1.4去 ZK 依赖了吗？

答

重新编译的DolphinScheduler 3.1.4支持cdh版本zk3.4.5，不依赖原来默认的zk3.8，主要是用到数据质量的，主要是解决多版本zk的依赖的问题。后面想解决打包的问题，可以用这个命令mvn clean install -Prelease -Dzk-3.4 -Dmaven.test.skip=true。

问

User-subscribe 邮件订阅好像有问题？

答

发送邮件到 dev-subscribe@dolphinscheduler.apache.org

问

SeaTunnel支持Hbase吗？

正在实现中。

答

换一下对应的版本，参考一下 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/upgrade

问

官网下载太慢了，怎么办?

答

可以使用镜像下载 https://mirrors.tuna.tsinghua.edu.cn/apache/

dolphinscheduler/3.1.4/

问

DolphinScheduler 目前不支持 OAuth2.0的单点登陆吗？

答

没发现有相关配置支持，不过支持LDAP。

问

env中的execution.parallelism对S eaTunnel Engine有作用吗？还是只对Flink engine有作用？   

现在参数统一成parallelism了。   

答

可以开发编译，但不能运行。要基于DS做二开，建议开个虚拟机做debug开发。

问

有本地搭建 DolphinScheduler 的文档吗？

答

有的，体验的话可以看看官网的standalone安装 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/standalone-deployment

问

psmisc 在DolphinScheduler中有啥用处啊？

答

这是停止工作流按钮需要的，kill 任务实例。

问

我的目标是从MySQL同步到StarRocks。需要支持初始化结构迁移、存量、增量、ddl 同步。文档中说明 starrocks sink的 save_mode_create_template  属性可以支持结构迁移，jdbc 可以支持存量迁移，cdc支持增量。现在有两个问题，第一，支持ddl同步吗？第二，如何做到存量同步后无缝开始增量同步呢？    

目前DDL同步还没支持，设计开发中。直接用MySQL CDC source， Starrocks sink，就是会自动先全量同步，再增量同步。不用先用jdbc做存量迁移。    

答

还可以xsync分发文件。

问

DolphinScheduler是必须新建一个用户来调度吗，还是说root用户也OK？

答

最好建一个DolphinScheduler的账号，并有sudo权限，因为有时候你用root用户调度的东西有些危险。

问

如何用DolphinScheduler来调度SeaTunnel任务？

答

如果要使用SeaTunnel v2的话，需要升级到DolphinScheduler 3.1（可以试试看）。

问

SeaTunnel 2.3.1版本还支持connector v1吗？    

不支持。

答

问

SeaTunnel上怎么看同步进度呢？    

用Zeta引擎可以看。如果用Flink，可以对接内部的metric报点平台，Flink每个顶点都有metric数据。    

答

问

SeaTunnel Zeta Engine支持流吗？    

支持流批一体，只需要在env中把job.mode改成STREAMING即可，前提是对应的数据源支持流    

答

问

SeaTunnel与DolphinScheduler的整合资料有吗？   

可参考：https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/task/seatunnel。DolphinScheduler对 SeaTunnel Zeta 引擎的支持的 PR 已经 merge，待发版。

答

Apache SeaTunnel

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

仓库地址： 

https://github.com/apache/incubator-seatunnel

网址：

https://seatunnel.apache.org/

Proposal：

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelPro

Apache SeaTunnel(Incubating)  下载地址：

https://seatunnel.apache.org/download

衷心欢迎更多人加入！

我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：

https://github.com/apache/incubator-seatunnel/issues

贡献代码：

https://github.com/apache/incubator-seatunnel/pulls

订阅社区开发邮件列表 : 

dev-subscribe@seatunnel.apache.org

开发邮件列表：

dev@seatunnel.apache.org

加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1cmonqu2q-ljomD6bY1PQ~oOzfbxxXWQ

关注 Twitter: 

https://twitter.com/ASFSeaTunnel

活动推荐

点击预约，免费看直播！