4.21 投簡(jiǎn)歷4.23 約后天一面4.25 一面無手撕,上來先拷打論文,其中有個(gè)地方用了rag,面試官問我這里是怎么把文本轉(zhuǎn)換成向量?jī)?chǔ)存的。(我以為是問我工程上的實(shí)現(xiàn),這是去年做的一個(gè)小模塊,回憶了半天細(xì)節(jié),答得支支吾吾,面完了之后結(jié)合下一個(gè)問我才意識(shí)到其實(shí)是問我embedding過程)看我支支吾吾就直接問transformer是怎么把token處理成向量的。transformer的self-attention和cross self-attention區(qū)別在哪里。pre-norm和post-norm的區(qū)別?進(jìn)一步,為什么現(xiàn)在主流大模型都用post-norm。lora的實(shí)現(xiàn)過程。大模型用的Lo...