鼠鼠暑期結(jié)束了，拿到兩個offer，都是大模型相關(guān)的，各位有經(jīng)驗的大佬的大佬路過幫忙選一下唄～，base都是北京寒武紀(jì):大模型訓(xùn)練框架相關(guān)，優(yōu)點是實習(xí)生少，轉(zhuǎn)正率高，近期公司也在盈利，公司前景也不錯，缺點是從鼠鼠這兩個月找實習(xí)來看，訓(xùn)練和推理相比方向有點窄了，秋招時招的人沒推理多百度: 大模型推理相關(guān)，優(yōu)點是title大，推理秋招崗位比較多，多個方向多條路，缺點是轉(zhuǎn)正率不明，可能不高各位大佬幫幫忙啊引流:阿里，騰訊，美團(tuán)，華為，PDD，小紅書，字節(jié)，快手，商湯，滴滴，網(wǎng)易，京東，

鼠鼠急性咽炎好幾天了，下午還發(fā)39度高燒，本來想聯(lián)系換時間的，但考慮現(xiàn)在hc基本發(fā)完了，再延期不知道會不會影響，去校醫(yī)室開了點退燒藥手撕：hot100 層序遍歷，秒了說下復(fù)雜度聊項目，跟面試官講了項目背景、遇到的難點，中間面試官會打斷提問題之后面試官對整體的訓(xùn)練流程比較質(zhì)疑，問CPT后為什么需要sft？跟CPT的區(qū)別是什么，我解釋了好幾次，從訓(xùn)練目的、數(shù)據(jù)差異等角度都解釋了，但面試官還是沒明白，讓我寫下兩者的loss，從loss的角度去解釋，我就寫了個基于上下文去預(yù)測next token的交叉熵，然后解釋說無論是pt還是sft，loss都是交叉熵，區(qū)別在于給定的上下文，或者數(shù)據(jù)不同，結(jié)果面試官...

從3.8號開始投簡歷，整個3月只零星收到幾場面試，而且前幾場都面掛了，整個人就陷入了很大的焦慮中。不過從清明之后面試就多了起來，基本上每天都有兩到三場面試，面試通過率也增加了很多。整體面下來的感受就是，一定要對簡歷上的內(nèi)容了如指掌。一是要能完整的講清楚自己做的工作，二是能經(jīng)得起問。手撕基本上把hot100刷個兩三遍就能應(yīng)對大部分的面試了。算法八股基本上沒被問過，主要還是問簡歷。附一個timelineOC：小紅書多模態(tài)：3.26投遞，3.28一面，4.7二面，二面完當(dāng)天oc高德大模型：3.24投遞，4.3一面，4.10二面，4.14oc京東風(fēng)控：3.9投遞，4.7一面，4.9二面，4.14三面，4.16octemu搜推：3.16投遞，3.29一面，4.2二面，4.11三面，4.18hr面，現(xiàn)在還在排序。微信搜索：4.10一面，4.14二面，4.21面委會面，4.23hr面，4.27oc。二面掛：微信安全：3.8投遞，3.20一面，3.25二面，半小時秒掛。阿里達(dá)摩院：3.24投遞，4.7一面，4.14二面，第二天掛一面掛：抖音搜索、剪映推薦、阿里云（連掛三輪）、淘天、快手大模型主動結(jié)束流程的：作業(yè)幫：4.1一面，4.9二面黑翼資產(chǎn)：4.2一面，4.9二面百度智能云：4.3一面，4.25二面快手廣告：4.8一面，4.25二面，當(dāng)天面試官加微信問意向，wxg oc后拒優(yōu)酷：4.15一面，4.21二面字節(jié)風(fēng)控：4.15一面，4.21二面，4.23三面，4.28hr面泡簡歷：b站、oppo、螞蟻、餓了么、蝦皮

?一面1??深挖多模態(tài)論文2??介紹transformer架構(gòu)3??詳細(xì)說一下Decoder的因果注意力 QKV分別來自哪4??Attention為什么要做scaled 不做會怎么樣 為什么用根號d_k5??Transformer怎么做加速訓(xùn)練（KV緩存） 訓(xùn)練和推理有什么區(qū)別（并行化）6??深挖多模態(tài)大模型論文用的video-llama 講一下大模型的結(jié)構(gòu)7??論文用了CoT講一下論文的CoT是怎么樣的8??微調(diào)用的LoRA介紹一下LoRA9??LoRA初始化怎么做的，用的秩是多少，為什么不選其他的數(shù)1??0??知道deepspeed和megatron嗎？分別介紹一下1??1??論文用的deepspeed詳細(xì)講了一下三個stage分別是什么?二面1??深挖多模態(tài)和大模型的論文2??Decoder文本生成有哪幾種方法3??還知道哪些多模態(tài)大模型4??介紹一下ALBEF、BLIP5??BLIP2的結(jié)構(gòu)是什么  兩階段怎么訓(xùn)練的 有哪些損失6??知道PEFT嗎 講一下LoRA7??還有什么微調(diào)方法 -> prefix-tuning和P-tuning 兩者分別是怎么做的 為了解決什么提出的8??后面就是一些場景題?三面1??深挖論文2??講一下multi-head attention 用pytorch手撕一下 要可以實現(xiàn)cross attention的3??講一下你用的大模型是什么結(jié)構(gòu) 特征是怎么喂給大模型的4??大模型訓(xùn)練為什么不用SFT5??LoRA是什么？有什么好處6??知道RLHF嗎？講一下訓(xùn)練流程7??接下來就是好幾個場景題，電商相關(guān)的，用大模型解決prompt應(yīng)該怎么設(shè)計，怎么處理prompt的輸出，怎么過濾錯誤格式的輸出??對于想求職算法崗的同學(xué)，如果想?yún)⒓痈哔|(zhì)量項目輔導(dǎo)，提升面試能力，歡迎后臺聯(lián)系。