![]()
1. ozone cli 기초volume 리스트 확인$ kinit -kt ozone.keytab om/`hostname`@GOODMIT.COM$ ozone sh volume list[ { "metadata" : { }, "name" : "s3v", "admin" : "om", "owner" : "om", "quotaInBytes" : -1, "quotaInNamespace" : -1, "usedNamespace" : 1, "creationTime" : "2024-04-26T05:13:02.161Z", "modificationTime" : "2024-04-26T05:13:02.161Z", "acls" : [ { "type" : "USER", "name" : "om", "ac..
모든 복제과정은 사전에 source클러스터에 존재하는 테이블과 동일한 테이블을 target에 만들어 놓고 데이터 복제를 수행했다. 1번 kudu table copy의 경우 kudu테이블 생성 옵션이 있긴 하지만 결국 impala를 통해 테이블을 사용하기 때문에 impala에서 테이블 생성해놓고 진행했다. 1. kudu table copy cli kudu command 보안(kerberos) 클러스터의 경우 kudu 서비스 keytab 또는 권한 가지는 유저로 kinit 필요 kerberos 없을 경우 sudo -u kudu 이용 kudu table copy 옵션 참조: https://kudu.apache.org/docs/command_line_tools_reference.html#table-copy Ap..
impala는 테이블 사이즈가 큰지 작은지, distinct 값들이 많은지 적은지 등에 대한 정보가 있다면 join 쿼리나 insert 작업을 적절하게 구조화하고 병렬화할 수 있다. 1. COMPUTE STATS COMPUTE STATS [db_name.]table_name [ ( column_list ) ] -- column_list 여러개면 ,로 구분 1) compute incremental stats COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partition_spec)] incremental 만 partition지정 가능하다 compute stats와 compute incremental stats를 한 테이블에 같이 사용하지 않는다. ..
