전체 글

metastore 가 mariadb로 설치된 상태1. db_name, tbl_name 형태로 추출하기select name AS db_name,tbl_name FROM TBLS INNER JOIN DBS ON TBLS.DB_ID = DBS.DB_ID WHERE DBS.name='default'1) 테이블 리스트 추출해서 msck repair 하는 쿼리로mysql -u${user} -p${password} metastore -N -e "select concat('msck repair table ', DBS.name,'.',TBLS.tbl_name,' drop partitions;') FROM TBLS INNER JOIN DBS ON TBLS.DB_ID = DBS.DB_ID WHERE DBS.name='';..

impala는 테이블 사이즈가 큰지 작은지, distinct 값들이 많은지 적은지 등에 대한 정보가 있다면 join 쿼리나 insert 작업을 적절하게 구조화하고 병렬화할 수 있다.1. COMPUTE STATSCOMPUTE STATS [db_name.]table_name [ ( column_list ) ] -- column_list 여러개면 ,로 구분1) compute incremental statsCOMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partition_spec)]incremental 만 partition지정 가능하다compute stats와 compute incremental stats를 한 테이블에 같이 사용하지 않는다. 둘 중 하..