1.數(shù)據(jù)表存儲(chǔ)優(yōu)化 背景 當(dāng)前有這樣一張網(wǎng)關(guān)日志表，30+字段，每天存儲(chǔ)515tb，每小時(shí)全量5tb，要花費(fèi)近600塊/天，需要去進(jìn)行存儲(chǔ)優(yōu)化，全量714億。 思路 第一步評(píng)估影響 看看下游有誰(shuí)在用（血緣），怎么用（下游腳本讀了多少天的數(shù)據(jù)），有沒有報(bào)表等服務(wù)在用，如果出了問(wèn)題能不能復(fù)現(xiàn)回滾，業(yè)務(wù)方查詢分區(qū)最多多少天，元數(shù)據(jù)表則從之前做好的dwd去取，如果沒有則需要問(wèn)平臺(tái)側(cè)要元數(shù)據(jù)信息自己加工。CREATE TABLE `xx`.`dwd_meta_table_detail_df`( `cata_log` string COMMENT '集群or數(shù)據(jù)源', `db_n...