一、sql文件名和sh配置文件一样,一起压缩成zip文件上传。.sh配置文件如下:
1 #!/bin/bash 2 v_proc_name='freight_waybill_prom_time_day1'; 3 v_filename="${v_proc_name}.sql"; 4 5 ######日期相关变量###### 6 #当天日期及当天时分秒日期 7 v_cur_dt=`date '+%Y-%m-%d'`; 8 v_cur_tm=`date "+%Y-%m-%d %H:%M:%S"`; 9 i_to_tm=${v_cur_tm}; 10 v_cur_h=`date "+%H"` 11 12 ######开始跑数日期与截止日期###### 13 cur_day=`date -d "" '+%Y-%m-%d'`; 14 15 if [ -z "$1" ]; then 16 v_day=`date -d " " '+%Y-%m-%d'`; 17 else 18 v_day=$1 19 fi; 20 21 v_day=`date -d "${v_day} " '+%Y-%m-%d'`; 22 c_ymd=`date -d "${v_cur_dt} " '+%Y%m%d'`; 23 i_ymd=`date -d "${v_day} " '+%Y%m%d'`; 24 i_y_ymd=`date -d "${v_day} -1 day" '+%Y%m%d'`; 25 i_to_ymd=`date -d "${v_day} 1 day" '+%Y%m%d'`; 26 v_fm_dt=`date -d "${v_day} 0 month" '+%Y-%m-01'`; 27 28 29 v_fm_day=`date -d "${v_day} 0 day" '+%Y%m%d'`; 30 v_fm_dt_1=`date -d "${v_day} -1 day" '+%Y%m%d'`; 31 v_fm_dt_07=`date -d "${v_day} -7 day" '+%Y%m%d'`; 32 v_fm_dt_09=`date -d "${v_day} -9 day" '+%Y%m%d'`; 33 34 echo "v_day=${v_day}" 35 echo "v_fm_dt=${v_fm_dt}" 36 echo "v_fm_day=${v_fm_day}" 37 echo "v_fm_dt_1=${v_fm_dt_1}" 38 echo "v_fm_dt_07=${v_fm_dt_07}" 39 echo "v_fm_dt_09=${v_fm_dt_09}" 40 41 v_user='spark-sql --master yarn --name mlk_test --driver-memory 8g --num-executors 60 --executor-memory 12g --executor-cores 4 --queue root.freight --conf spark.ui.port=5045 --conf spark.scheduler.listenerbus.eventqueue.size=100000 --jars hdfs:///tmp/udf/01368018/test-1.0.0.jar'; 42 43 ######程序处理开始###### 44 echo "#开始处理${v_proc_name}: `date '+%Y-%m-%d %H:%M:%S'`.0"; 45 echo "开始计算${v_proc_name}结果[开始日期:${v_fm_dt_09}截止日期:${v_fm_day}月份:${v_fm_dt}]\n"; 46 47 ${v_user} -hiveconf v_fm_dt=${v_fm_dt} \ 48 -hiveconf v_fm_day=${v_fm_day} \ 49 -hiveconf v_fm_dt_1=${v_fm_dt_1} \ 50 -hiveconf v_fm_dt_07=${v_fm_dt_07} \ 51 -hiveconf v_fm_dt_09=${v_fm_dt_09} \ 52 -hiveconf v_proc_name=${v_proc_name} -f "${v_filename}" ;