V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dtgxx
V2EX  ›  问与答

请教下 azkaban 执行 spark 任务的 jobtype 配置问题

  •  
  •   dtgxx · 2020 年 10 月 22 日 · 587 次点击
    这是一个创建于 2002 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有没有大佬遇到过用 azkaban 执行 spark on yarn 任务的时候,配置了 azkaban-job 的参数 execution-jar 的地址之后,azkaban 识别不了的情况。


    我配置的是
    execution-jar=hdfs:///spark-jar/test/spark_20201019105827.jar 或者 execution-jar=/data/test/spark_20201019105827.jar 都不行


    打印的错误是

    java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn't exist:/apps/azkaban/azkaban-exec-server/build/install/azkaban-exec-server/bin/executions/63/hdfs:///spark-jar/test


    azkaban 会把我 hdfs 或者本地路径加一个前缀,前缀就是 azkaban-exec 的安装位置。。。 弄了 2 天还是没结果。。大佬们有没有啥好的建议,感谢感谢!

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5048 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 09:38 · PVG 17:38 · LAX 02:38 · JFK 05:38
    ♥ Do have faith in what you're doing.