有没有大佬遇到过用 azkaban 执行 spark on yarn 任务的时候,配置了 azkaban-job 的参数 execution-jar 的地址之后,azkaban 识别不了的情况。
我配置的是
execution-jar=hdfs:///spark-jar/test/spark_20201019105827.jar
或者
execution-jar=/data/test/spark_20201019105827.jar
都不行
打印的错误是
java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn't exist:/apps/azkaban/azkaban-exec-server/build/install/azkaban-exec-server/bin/executions/63/hdfs:///spark-jar/test
azkaban 会把我 hdfs 或者本地路径加一个前缀,前缀就是 azkaban-exec 的安装位置。。。 弄了 2 天还是没结果。。大佬们有没有啥好的建议,感谢感谢!