spark

Airflow + Spark 테스트 환경 구성 (Docker)1. Airflow Docker 환경 준비curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.7.2/docker-compose.yaml'mkdir airflowcd airflowmkdir -p ./dags ./logs ./plugins ./configecho -e "AIRFLOW_UID=$(id -u)" > .envdocker compose up airflow-initdocker compose run airflow-worker airflow infoWeb UI 접속 후, API 테스트:ENDPOINT_URL="http://localhost:8080/"curl -X GET --user "ai..

모든 복제과정은 사전에 source클러스터에 존재하는 테이블과 동일한 테이블을 target에 만들어 놓고 데이터 복제를 수행했다. 1번 kudu table copy의 경우 kudu테이블 생성 옵션이 있긴 하지만 결국 impala를 통해 테이블을 사용하기 때문에 impala에서 테이블 생성해놓고 진행했다.1. kudu table copycli kudu command보안(kerberos) 클러스터의 경우 kudu 서비스 keytab 또는 권한 가지는 유저로 kinit 필요kerberos 없을 경우 sudo -u kudu 이용kudu table copy 옵션 참조: https://kudu.apache.org/docs/command_line_tools_reference.html#table-copy Apach..