不怎么發(fā)面經(jīng)，但是元象的面試體驗(yàn)是目前面過所有的公司體驗(yàn)最好的，所以寫出來分享一下更新 ——————————————9.30 二面10.08 HR面（系統(tǒng)里寫的聯(lián)創(chuàng)面，以為是聯(lián)合創(chuàng)始人面，結(jié)果是HR面）HR很真誠，說不養(yǎng)魚，很快談薪————————————————大模型應(yīng)用組：（面的時(shí)間比較早好些問題忘了）8.24 投遞9.13 一面 30min- 深挖實(shí)習(xí)- deepspeed原理- LoRA原理- LN的作用- 為什么LN能使模型訓(xùn)練更穩(wěn)定- 無手撕9.19 二面掛 30min- 全程深挖我的實(shí)習(xí)經(jīng)歷，無八股無手撕（面試官一直解釋說是想雞蛋里挑骨頭，挺實(shí)誠的，行吧）9.23 被大模型研發(fā)組撈9.25 剛一面完 1h：- 深挖實(shí)習(xí)- deepspeed原理- deepspeed和以往張量并行的區(qū)別- transformer結(jié)構(gòu)- 拷打多頭注意力（為什么多頭更好，能不能單頭）- Llama相對于Transformer decoder的改進(jìn)點(diǎn)- RMSNorm和LN的區(qū)別- prenorm和postnorm的區(qū)別- 模型訓(xùn)練時(shí)顯存占用（優(yōu)化器，梯度，激活值等都怎么估計(jì)，假設(shè)模型7b）- 序列并行的原理- 介紹一下位置編碼（和面試官討論了RoPE和NTK系列的位置編碼）- RoPE為什么能夠表示相對位置- RoPE怎么作用的，如何旋轉(zhuǎn)（我說完后面試官從數(shù)學(xué)角度補(bǔ)充了他的理解，鼠鼠受益良多）- VLLM原理- 為什么需要KV-cache- “寫個(gè)題唄，簡單點(diǎn)的，反轉(zhuǎn)鏈表吧”這三場面試的面試官都很有禮貌。尤其剛面完的這場，面試官基礎(chǔ)和技術(shù)都很強(qiáng)，感覺他沒少看蘇神博客，對原理拷打的很細(xì)致。很多問題我說完之后他會補(bǔ)上自己的理解和我討論，不像是在面試哈哈哈。但是也感覺自己的所有積累也被他翻了個(gè)底朝天，收獲很多，許愿一個(gè)二面～
