騰訊 LLM (3+1) ??實(shí)習(xí)+項(xiàng)目占比1/2,八股1/4,代碼題1/4,項(xiàng)目被問(wèn)個(gè)底朝天1. 介紹transformers的結(jié)構(gòu)以及每部分的作用以及對(duì)應(yīng)的參數(shù)大小2. 介紹位置編碼(絕對(duì),相對(duì)主要是ROPE,以及Alibi(Baichuan使用的))3. 介紹目前所用的優(yōu)化器,它們有何區(qū)別?項(xiàng)目中使用了LSTM?為什么使用它,不用Transformer?LSTM的不足和優(yōu)勢(shì)??jī)?yōu)勢(shì)差點(diǎn)沒(méi)說(shuō)不來(lái)??5. LLM多大的,是否使用并行方式,訓(xùn)練多久,訓(xùn)練過(guò)程中遇到什么難題以及如何解決?Deepspeed和Megatron對(duì)比一下有何不同,優(yōu)勢(shì)分別是什么?6. 你為什么選用Deepspeed?出發(fā)點(diǎn)是什么?PEFT的各種結(jié)構(gòu),簡(jiǎn)單總結(jié)下,各有什么好處?6. linux如何查詢(xún)某個(gè)文件的前幾行?回答指令你為什么使用DPO不使用PPO?出發(fā)點(diǎn)是什么?7. 闡述下你所了解的大模型壓縮技術(shù)?并展開(kāi)講述1-2個(gè)8. 開(kāi)放題:現(xiàn)在你有兩個(gè)選擇:超大模型的對(duì)話(huà)助手和很多特定領(lǐng)域的小模型對(duì)話(huà)助手,你會(huì)選用哪種方案?9. 代碼題:1. 多頭注意力機(jī)制源碼、2. 對(duì)角線(xiàn)矩陣、三數(shù)之和、3. 快速排序、最長(zhǎng)不重復(fù)子數(shù)組(?)10.HR就是那樣子的,騰訊那邊會(huì)問(wèn):你自己職業(yè)規(guī)劃有什么想法?可三年或五年。面了兩次都遇到了。。。#nlp算法工程師# #秋招# #算法# #互聯(lián)網(wǎng)大廠(chǎng)# #大模型# #實(shí)習(xí)# #馬上消費(fèi)金融#