時(shí)間:3月3日1.自我介紹2.說一下熟練到不熟練的技術(shù)棧(編程語言和框架)3.spark和hadoop MR兩者的區(qū)別 ,spark相比hadoop的缺點(diǎn)4.spark內(nèi)存有500G,數(shù)據(jù)量有一個(gè)T,那spark能不能處理這個(gè)數(shù)據(jù)5.講講寬窄依賴、stage怎么劃分的6.常用的轉(zhuǎn)換算子和action算子有哪些,reducebykey是action算子嗎,和groupbykey有什么區(qū)別7.解決數(shù)據(jù)傾斜的方式 加前綴怎么加8.spark的OOM都是什么原因?qū)е碌?.spark的executor內(nèi)存分成哪幾部分 spark.memory.fraction=0.6是控制什么的 10.聊聊廣播變量 什么時(shí)候廣播11.兩個(gè)sql題,比較簡單反問更新 3.7二面掛 回答的不好1.hive的元數(shù)據(jù)管理2.怎么保證數(shù)據(jù)一致性3.怎么做數(shù)據(jù)治理4.怎么把天調(diào)度任務(wù)做到小時(shí)更新 3.10 被撈 晚點(diǎn)更新面經(jīng)#數(shù)據(jù)開發(fā)工程師面經(jīng)# #騰訊#