不怎么發(fā)面經(jīng)，但是元象的面試體驗(yàn)是目前面過所有的公司體驗(yàn)最好的，所以寫出來分享一下

更新 ——————————————

9.30 二面
10.08 HR面（系統(tǒng)里寫的聯(lián)創(chuàng)面，以為是聯(lián)合創(chuàng)始人面，結(jié)果是HR面）
HR很真誠，說不養(yǎng)魚，很快談薪

————————————————
大模型應(yīng)用組：（面的時(shí)間比較早好些問題忘了）
8.24 投遞
9.13 一面 30min
- 深挖實(shí)習(xí)
- deepspeed原理
- LoRA原理
- LN的作用
- 為什么LN能使模型訓(xùn)練更穩(wěn)定
- 無手撕
9.19 二面掛 30min
- 全程深挖我的實(shí)習(xí)經(jīng)歷，無八股無手撕（面試官一直解釋說是想雞蛋里挑骨頭，挺實(shí)誠的，行吧）

9.23 被大模型研發(fā)組撈

9.25 剛一面完 1h：
- 深挖實(shí)習(xí)
- deepspeed原理
- deepspeed和以往張量并行的區(qū)別
- transformer結(jié)構(gòu)
- 拷打多頭注意力（為什么多頭更好，能不能單頭）
- Llama相對(duì)于Transformer decoder的改進(jìn)點(diǎn)
- RMSNorm和LN的區(qū)別
- prenorm和postnorm的區(qū)別
- 模型訓(xùn)練時(shí)顯存占用（優(yōu)化器，梯度，激活值等都怎么估計(jì)，假設(shè)模型7b）
- 序列并行的原理
- 介紹一下位置編碼（和面試官討論了RoPE和NTK系列的位置編碼）
- RoPE為什么能夠表示相對(duì)位置
- RoPE怎么作用的，如何旋轉(zhuǎn)（我說完后面試官從數(shù)學(xué)角度補(bǔ)充了他的理解，鼠鼠受益良多）
- VLLM原理
- 為什么需要KV-cache
- “寫個(gè)題唄，簡單點(diǎn)的，反轉(zhuǎn)鏈表吧”

這三場面試的面試官都很有禮貌。尤其剛面完的這場，面試官基礎(chǔ)和技術(shù)都很強(qiáng)，感覺他沒少看蘇神博客，對(duì)原理拷打的很細(xì)致。很多問題我說完之后他會(huì)補(bǔ)上自己的理解和我討論，不像是在面試哈哈哈。但是也感覺自己的所有積累也被他翻了個(gè)底朝天，收獲很多，許愿一個(gè)二面～