#數(shù)據(jù)人的面試交流地##實(shí)習(xí)進(jìn)度記錄##數(shù)據(jù)人的面試交流地#作業(yè)幫時(shí)間是隨機(jī)的，今天下午測(cè)的。作業(yè)幫是10道選擇題加2到算法題：選擇題：考了數(shù)據(jù)結(jié)構(gòu)排序二叉樹，linux命令：awk '$NF' test 這里的test是一個(gè)有多行數(shù)據(jù)的文件，這命令是輸出該文件末行的內(nèi)容。還考了mapreduce優(yōu)化數(shù)據(jù)傾斜的辦法這里我好像選錯(cuò)了有兩個(gè)選項(xiàng)一個(gè)是把count(distinct ) 替換為sum()group by 還有是將小文件先保存到內(nèi)存中這兩個(gè)好像是對(duì)的都可以優(yōu)化數(shù)據(jù)傾斜此問題。還考了Flink的一些特性不過我還沒學(xué)過flink，還考了kafka的高性能和低性能的一些問題，這我也是一臉懵。還考了六個(gè)盤的漢洛塔要移動(dòng)幾次才通過。然后是算法題，第一個(gè)是簡(jiǎn)單的二分查找，不過我只通過了94%，后面看估計(jì)是我對(duì)左右指針移動(dòng)還是有點(diǎn)問題。第二個(gè)是leetcode32題，最長(zhǎng)有效括號(hào)，可惜了我兩個(gè)月前還寫過但是還是沒寫對(duì)，只通過了63%。也不知道能不能過。閱文（寄了，以為是8.30考沒想到是8.30結(jié)束結(jié)果只寫了20分鐘）：這好像是前面是單選題，中間是不定項(xiàng)，后面是問答題單選題：考了hive內(nèi)置函數(shù)，考了hive與spark的對(duì)比，hadoop節(jié)點(diǎn)默認(rèn)備份是多少~（還考了斗破蒼穹的主角是誰(shuí)雖然我沒看過印像中好像叫蕭炎）不定項(xiàng)：有mysql中delete，drop和truncate這三者的區(qū)別特點(diǎn)（我對(duì)truncate完全沒印象），還考了flink的一些知識(shí)。問答題：第一個(gè)是mapredce工作流程這個(gè)還好，第二個(gè)是如何解決spark數(shù)據(jù)傾斜的方法。這里時(shí)間不夠了我一點(diǎn)沒寫，也沒多少印象。這里我現(xiàn)在寫一下加深點(diǎn)印象1.可以增加隨機(jī)前綴或后綴：來打散數(shù)據(jù)分布，在后繼計(jì)算中去除前后綴從而負(fù)載均衡2.廣播小表，如果是原因是小表與大表join可以將小表廣播到每個(gè)節(jié)點(diǎn)，避免產(chǎn)生數(shù)據(jù)傾斜。3.salting方法：為傾斜數(shù)據(jù)填加鹽值，打散傾斜數(shù)據(jù)4.分區(qū)策略調(diào)整：通過自定義分區(qū)器或者合理選擇內(nèi)置分區(qū)器來均勻分布數(shù)據(jù)5.增大并行度：針對(duì)只有少量數(shù)據(jù)造成的傾斜任務(wù)，增加并行度可以更快地處理這些小任務(wù)6.數(shù)據(jù)預(yù)處理：合并一些小文件，fliter操作等第三四個(gè)就是寫sql語(yǔ)句，第三個(gè)挺簡(jiǎn)單的就是第四題來不及看了。ok就是這些了，預(yù)祝大家都能找到自己想要的工作實(shí)現(xiàn)，我還是繼續(xù)去沉淀去了，這一個(gè)月也不知道自己在忙些啥好像就是一直在刷算法題和sql題，八股都沒怎么看，對(duì)組件的掌握還是太淺了。#實(shí)習(xí)##數(shù)據(jù)開發(fā)工程師實(shí)習(xí)##暑期實(shí)習(xí)加油##牛客AI配圖神器#

部門Java商業(yè)化，一面被面試官像踩肉蟲一樣踩死，期望不要臟面評(píng)。不愧是字節(jié)，問的問題難度很高，刁鉆且抽象，而且大部分都是場(chǎng)景題，可以說是個(gè)人整個(gè)暑期最難的一次面試。1.講講UDP TCP的區(qū)別2.問問Java吧，講講Spring Bean的載入流程3.講講volatile和synchronized底層，用了他們之后在內(nèi)存是怎么走的？3.redis會(huì)多少？分布式鎖了解嗎？（下面開始不對(duì)勁了）4.那你們用的是redis分布式鎖對(duì)吧，那我問你一下，不用redis怎么做分布式鎖？5.不用任何組件如何做分布式鎖？（寄）6.不用任何組件，如何做分布式限流？原生你怎么實(shí)現(xiàn)令牌桶，阻塞隊(duì)列嗎？7.設(shè)計(jì)一個(gè)高并發(fā)論壇？講一下數(shù)據(jù)庫(kù)和緩存的詳細(xì)設(shè)計(jì)8.redis怎么做持久化？redis集群做持久化需要什么細(xì)節(jié)？9.索引失效場(chǎng)景講一下，為什么like和范圍查詢會(huì)失效？底層了解過嗎？10.MySQL都有什么Log？MVCC底層原理講一講？11.你們做分布式用的什么自動(dòng)化平臺(tái)，莫非是手動(dòng)部署？算法題：15分鐘手撕一道leedcode hard KMP題隔天收到感謝信#?？虯I配圖神器#

有人面了深圳客路旅行暑期實(shí)習(xí)了嗎，感覺怎么樣？

一面033157mins自我介紹問項(xiàng)目有沒有真實(shí)用戶的使用1 講一下JWT（項(xiàng)目提到）2 JWT和session的區(qū)別3 JWT和cookie的區(qū)別4 講一下OAuth2.05 授權(quán)碼模式拿到的access token泄露了咋辦，如何降低泄露風(fēng)險(xiǎn)6 你說設(shè)置較短的過期時(shí)間，那過期了咋辦，客戶端還沒用呢7 講一下websocket8 如果不用websocket還有什么方式嗎 （服務(wù)端咋通知客戶端，沒答出來）9 你剛才提到全雙工，全雙工指得啥下面開始八股10 MySQL的存儲(chǔ)引擎11 innodb有非聚簇索引嗎，說說聚簇索引和非聚簇索引的區(qū)別12 講一講事務(wù)的特性，具體說一下各個(gè)特性（一致性沒說出來，被追問了）13 說一下隔離級(jí)別，分別可能有什么問題呢14 幾個(gè)問題（臟讀、幻讀、不可重復(fù)讀）具體指什么（一開始忘記了臟讀，被提醒了）15 索引什么情況下失效 （函數(shù)、where、模糊匹配、表達(dá)式計(jì)算、不滿足最左匹配原則忘記了）16 redis如何實(shí)現(xiàn)分布式鎖17 加了過期時(shí)間，業(yè)務(wù)代碼還沒執(zhí)行完，鎖就過期了怎么辦18 緩存三大問題（雪崩、擊穿、穿透），如何避免19 redis內(nèi)存的淘汰策略手撕lc143 重排鏈表當(dāng)晚約4月10號(hào)二面二面04101h15mins自我介紹問項(xiàng)目中間一小段忘記了慢查詢?cè)趺崔k？（慢查詢?nèi)罩?、explain分析字段）假如使用了索引，但是還是很慢怎么辦？（索引失效的情況）假如使用了索引，且索引沒有失效，怎么辦？（這塊答的比較差，我說的就是判斷數(shù)據(jù)量是否比較大，如果是數(shù)據(jù)量實(shí)在較大，可以進(jìn)行分表）spring中使用了哪些代理模式 （我只回答了工廠模式、單例模式、代理模式）說一下你對(duì)AOP的理解（吟唱）你了解線程池嗎，講一下創(chuàng)建參數(shù)和運(yùn)行的流程（吟唱）有沒有用過消息隊(duì)列，如何保證消費(fèi)的時(shí)候不重復(fù)也不遺漏（筆者沒用過消息隊(duì)列，八股也基本沒看，只有一些簡(jiǎn)單的印象）那根據(jù)你自己的理解，為什么消息隊(duì)列在項(xiàng)目中有使用，它的使用場(chǎng)景是什么，你覺得怎么保證消息不重復(fù)不遺漏，所有的消息都能正確的被消費(fèi)到？對(duì)AI工具有沒有了解，用來干嘛（ds、kimi、cursor，看論文，讀代碼）解決問題的效率高嗎，能解決多少問題場(chǎng)景：設(shè)計(jì)一個(gè)搶課系統(tǒng)，你覺得它的痛點(diǎn)在哪里，你又會(huì)如何解決這個(gè)痛點(diǎn)，一堆人使用的時(shí)候系統(tǒng)不會(huì)宕機(jī)，熱門課程不會(huì)被超出容量的人搶掉 （這塊答的比較差）追問：這個(gè)系統(tǒng)越做越大，對(duì)于搶課信息的表的設(shè)計(jì)和存儲(chǔ)，有什么好的方式，避免出現(xiàn)慢查詢的問題繼續(xù)追問：如果有人用接口去刷來?yè)屨n，這種場(chǎng)景怎么解決（統(tǒng)計(jì)某個(gè)ip的QPS，過高就ban掉）再次追問：怎么統(tǒng)計(jì)這個(gè)QPS？（通過調(diào)用api的用戶唯一標(biāo)識(shí)符存儲(chǔ)，帶上過期時(shí)間，存在本地緩存中）本地緩存可以在一個(gè)集群中多個(gè)機(jī)器下共享嗎？打在別的機(jī)器上怎么辦？可不可以讓一個(gè)人的請(qǐng)求只打到同一臺(tái)機(jī)器上？（面試官提醒一致性hash）手撕：尋路，只能往右和往下走，現(xiàn)在在左上角，能否走到右下角，能走到的話最短距離是多少（我先用的dfs，做完后面試官說dp行不行呢，我說可以，然后讓我也用dp做）反問：業(yè)務(wù) + 面試結(jié)果 + 建議體驗(yàn)：是一個(gè)年輕的小哥，人很好，不會(huì)的問題也會(huì)引導(dǎo)，是一次不錯(cuò)的面試體驗(yàn)。第二天約16號(hào)三面，后改到17號(hào)三面041758mins自我介紹項(xiàng)目相關(guān) 10分鐘左右在實(shí)際過程（你的日常編程中）中如何減少gc的開銷給了一條sql語(yǔ)句，分析執(zhí)行的過程（我從索引的角度分析的）（select a, b, c,d from t where a=x and b=y order by c;）如何避免索引失效呢？如何看實(shí)際過程中有沒有使用到你說的那些索引呢？（explain）說一下sql的整個(gè)執(zhí)行過程（從連接器->解析器->預(yù)處理器->優(yōu)化器->執(zhí)行器）說一下整個(gè)innodb的索引結(jié)構(gòu)？（說了B+樹的結(jié)構(gòu)）實(shí)際過程中每頁(yè)快速定位記錄？了解Linux的awk命令嗎？（不了解）講一下線程池的工作原理吧。（講了線程池的參數(shù)+執(zhí)行任務(wù)的過程）手撕 leetcode 3 無重復(fù)字符的最長(zhǎng)子串為啥代碼中選擇使用set呢場(chǎng)景題：設(shè)計(jì)一個(gè)社交朋友圈，可以發(fā)文，好友可以發(fā)動(dòng)態(tài)，設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)和架構(gòu)日常過程中是如何學(xué)習(xí)的呢？有系統(tǒng)的學(xué)習(xí)過某些知識(shí)嗎？有深入的學(xué)習(xí)過嗎？比如Linux源碼之類的問實(shí)習(xí)時(shí)間反問下午約傍晚HR面