【第五期】| Apache SeaTunnel 每周FAQ 集锦

点击蓝字关注我们摘要为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。关于本栏目的要点：本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：关于

SeaTunnel

231人浏览 · 2023-05-12 17:05:19

SeaTunnel · 2023-05-12 17:05:19 发布

点击蓝字关注我们

摘要

为了让 Apache SeaTunnel 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。
所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：
1. 关于 Apache SeaTunnel 的使用问题和技术性问题；
2. 在实际应用中遇到的瓶颈问题；
3. 参与社区贡献遇到的困难；
4. 关于社区发展的疑问。
资源有限，请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）
在社群里已经提问的问题，请勿在文档中重复提问，节约资源。
本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 seatunnel1 报名。

FAQ（5月3日-5月12日）

问

有没有MySQL_CDC 抽取数据到DORIS 的demo？

https://seatunnel.apache.org/docs/2.3.1

/connector-v2/source/MySQL-CDC

答

原则上没有问题，但是有小伙伴发现部分版本升级的时候存在问题，建议先1.3升级2.0.4，然后升级到3。

问

DolphinScheduler 3.1.4去 ZK 依赖了吗？

答

重新编译的DolphinScheduler 3.1.4支持cdh版本zk3.4.5，不依赖原来默认的zk3.8，主要是用到数据质量的，主要是解决多版本zk的依赖的问题。后面想解决打包的问题，可以用这个命令mvn clean install -Prelease -Dzk-3.4 -Dmaven.test.skip=true。

问

User-subscribe 邮件订阅好像有问题？

答

发送邮件到 dev-subscribe@dolphinscheduler.apache.org

问

SeaTunnel在sink的query语句中，只有value(？,？)的形式吗？这样必须要求source的query字段顺序与sink的写入字段保持一致，有更灵活一点的方式吗？

sink不用写SQL这样写，mysql to sqlserver -- 自动生成SQL语句配置方法。

source里的query里SQL要取别名对应sink表的字段名就可以，如果是一样的可以不用别名。

答

可以开发编译，但不能运行。要基于DS做二开，建议开个虚拟机做debug开发。

问

有本地搭建 DolphinScheduler 的文档吗？

答

有的，体验的话可以看看官网的standalone安装 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/standalone-deployment

问

psmisc 在DolphinScheduler中有啥用处啊？

答

这是停止工作流按钮需要的，kill 任务实例。

问

MySQL-cdc，把程序停了，期间源表进行了删除数据，再开启SeaTunnel的时候，下游无法补上那个删除操作，新增和更新可以恢复。

用-r参数恢复作业（找到你停的那个任务id）。

答

可以开发编译，但不能运行。要基于DS做二开，建议开个虚拟机做debug开发。

问

有本地搭建 DolphinScheduler 的文档吗？

答

有的，体验的话可以看看官网的standalone安装 https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/standalone-deployment

问

psmisc 在DolphinScheduler中有啥用处啊？

答

这是停止工作流按钮需要的，kill 任务实例。

问

支持Zeta引擎的DolphinScheduler什么时候可以有？

DolphinScheduler 3.1.6 会支持选择 Zeta 引擎。

答

还可以xsync分发文件。

问

DolphinScheduler是必须新建一个用户来调度吗，还是说root用户也OK？

答

最好建一个DolphinScheduler的账号，并有sudo权限，因为有时候你用root用户调度的东西有些危险。

问

如何用DolphinScheduler来调度SeaTunnel任务？

答

如果要使用SeaTunnel v2的话，需要升级到DolphinScheduler 3.1（可以试试看）。

问

idea启动是不是这个入口，为什么报空指针，是不是要指定参数文件的？

本地环境参考：

https://seatunnel.apache.org/docs/2.3.1/

contribution/setup

答

问

通过SQL的transform来处理内存数据集JOIN， source_table_name 怎么传？

只要sql里面from的表在内存数据集里面存在就行。

答

问

请问v2架构还支持自定义扩展插件吗？

支持（connector-v2那个目录下有readme）。

答

Apache SeaTunnel

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

仓库地址：

https://github.com/apache/incubator-seatunnel

网址：

https://seatunnel.apache.org/

Proposal：

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelPro

Apache SeaTunnel(Incubating) 下载地址：

https://seatunnel.apache.org/download

衷心欢迎更多人加入！

我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：

https://github.com/apache/incubator-seatunnel/issues

贡献代码：

https://github.com/apache/incubator-seatunnel/pulls

订阅社区开发邮件列表 :

dev-subscribe@seatunnel.apache.org

开发邮件列表：

dev@seatunnel.apache.org

加入 Slack:

https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1cmonqu2q-ljomD6bY1PQ~oOzfbxxXWQ

关注 Twitter: