電商治理二面拷麻了持續(xù)記錄！#面試問題記錄#

鼠鼠急性咽炎好幾天了，下午還發(fā)39度高燒，本來想聯(lián)系換時間的，但考慮現(xiàn)在hc基本發(fā)完了，再延期不知道會不會影響，去校醫(yī)室開了點退燒藥手撕：hot100 層序遍歷，秒了說下復(fù)雜度聊項目，跟面試官講了項目背景、遇到的難點，中間面試官會打斷提問題之后面試官對整體的訓(xùn)練流程比較質(zhì)疑，問CPT后為什么需要sft？跟CPT的區(qū)別是什么，我解釋了好幾次，從訓(xùn)練目的、數(shù)據(jù)差異等角度都解釋了，但面試官還是沒明白，讓我寫下兩者的loss，從loss的角度去解釋，我就寫了個基于上下文去預(yù)測next token的交叉熵，然后解釋說無論是pt還是sft，loss都是交叉熵，區(qū)別在于給定的上下文，或者數(shù)據(jù)不同，結(jié)果面試官...

已掛，開個帖子攢點人品。bg：雙2，本科非科班，碩士計科，無實習(xí)。兩個非大模型項目，模型壓縮和模型微調(diào)相關(guān)。百度一面：1、自我介紹2、項目介紹3、解釋項目方法原理（項目用到了個小眾的方法）4、怎么保證模型在更高壓縮率下的性能5、項目方法能和GPU并行結(jié)合使用嗎6、項目有使用TB并行嗎7、如果在多卡上實現(xiàn)項目方法，需要如何考慮卡間通信8、如何降低KV cache9、講講DeepSeek中的MLA10、對模型的量化壓縮方法有哪些了解11、Linux常用命令有哪些，如何用Linux命令在兩服務(wù)器間傳數(shù)據(jù)12、手撕：查看一顆二叉樹的右視圖百度二面：1、自我介紹2、講講最開始的自注意力機(jī)制發(fā)展到當(dāng)今的一個優(yōu)化路線3、對Flash Attention的了解4、講講優(yōu)化訪存時會遇到的數(shù)據(jù)局部性問題5、手撕：二維矩陣乘積6、手撕：有向無環(huán)圖存儲神經(jīng)網(wǎng)絡(luò)，并根據(jù)網(wǎng)絡(luò)執(zhí)行的拓?fù)渑判蜻M(jìn)行遍歷#聊聊我眼中的AI# #我的失利項目復(fù)盤# #百度求職進(jìn)展匯總# #面試問題記錄# #我的實習(xí)日記# #?？虯I配圖神器#

LORA 原理：解釋 LORA(Low-RankAdaptation)的核心思想，如何通過低秩矩陣實現(xiàn)參數(shù)高效微調(diào)?數(shù)學(xué)形式如何表達(dá)?Self-Attention機(jī)制：自注意力機(jī)制中 O/K/ 矩陣的作用是什么?如何通過縮放點積計算注意力權(quán)重?公式推導(dǎo)并解釋Softmax 的意義。位置編碼：Transformer為何需要位置編碼?主流 LLM(如 LLaMA、GPT)使用哪種位置編碼(如 ROPE)?相比絕對/相對位置編碼有何優(yōu)勢?Seq2Seg 模型：Seq2Seq模型的核心組件是什么?Encoder-Decoder結(jié)構(gòu)如何解決長程依賴問題?RAG技術(shù)：RAG(檢索增強(qiáng)生成)的完整鏈路包含哪...