??面試問題：#找實(shí)習(xí)#(4.9)Q1:簡單介紹一下在研究生期間的科研和實(shí)習(xí)經(jīng)歷。Q2:介紹一下簡歷上那個(gè)完整的大模型項(xiàng)目。Q3:做這個(gè)項(xiàng)目的背景，做項(xiàng)目的動(dòng)機(jī)。Q4:第三個(gè)項(xiàng)目是實(shí)習(xí)項(xiàng)目嗎？Q5:對(duì)第1個(gè)項(xiàng)目有用NER的方法嗎？微調(diào)前base模型的準(zhǔn)確率是多少？Q6:第2個(gè)項(xiàng)目的數(shù)據(jù)集構(gòu)造是不是有問題？這些數(shù)據(jù)的判斷是不是對(duì)大模型來說太簡單了？Q7:有用傳統(tǒng)方法來測你構(gòu)造數(shù)據(jù)集的有效性嗎？比如用BERTQ8:介紹一下Lora的原理。Q9:LORA基于什么問題，什么樣的模型可以用LORA進(jìn)行微調(diào)？什么是低秩分解？Q10:LORA的初始化方法。Q11:兩個(gè)權(quán)重矩陣的初始化。Q12:項(xiàng)目中的可解釋性模塊是什么？Q13:介紹一下Int8和FP32的區(qū)別是什么？Q14:Int8的表示范圍。Q15:Int8和FP32前向計(jì)算的區(qū)別。Q16:除了大模型，你對(duì)推薦系統(tǒng)，CV模型有了解嗎？手撕代碼：lc82. 刪除排序鏈表中的重復(fù)元素 II反問：做什么業(yè)務(wù)（淘寶直播生態(tài)和主播智能手卡）進(jìn)組后做什么業(yè)務(wù)（預(yù)訓(xùn)練）??面試體驗(yàn)：挺好的，注重業(yè)務(wù)，八股并不多。

4.21 投簡歷4.23 約后天一面4.25 一面無手撕，上來先拷打論文，其中有個(gè)地方用了rag，面試官問我這里是怎么把文本轉(zhuǎn)換成向量儲(chǔ)存的。(我以為是問我工程上的實(shí)現(xiàn)，這是去年做的一個(gè)小模塊，回憶了半天細(xì)節(jié)，答得支支吾吾，面完了之后結(jié)合下一個(gè)問我才意識(shí)到其實(shí)是問我embedding過程)看我支支吾吾就直接問transformer是怎么把token處理成向量的。transformer的self-attention和cross self-attention區(qū)別在哪里。pre-norm和post-norm的區(qū)別？進(jìn)一步，為什么現(xiàn)在主流大模型都用post-norm。lora的實(shí)現(xiàn)過程。大模型用的Lo...

結(jié)合最近輔助修改的簡歷及項(xiàng)目，老師總結(jié)了部分大模型微調(diào)簡歷的踩雷點(diǎn)。???♂?錯(cuò)誤示范：在 x任務(wù)中，獲取 xxx 條數(shù)據(jù)，通過規(guī)則 or 腳本清洗出 x 條數(shù)據(jù)，然后微調(diào) y 大模型，在業(yè)務(wù)上提升 x 個(gè)點(diǎn)。???原因:大模型微調(diào)的平臺(tái)是現(xiàn)成的，基模是現(xiàn)成的，體現(xiàn)不出核心能力。?應(yīng)該怎么寫？首先介紹業(yè)務(wù)背景：業(yè)務(wù)是一個(gè)銷售對(duì)話業(yè)務(wù)，機(jī)器人是銷售，代替真人，直接面對(duì)用戶。我們會(huì)給模型設(shè)定任務(wù)，任務(wù)是 prompt 。步驟1??．提取訓(xùn)練數(shù)據(jù)問題：1.真人通話每通電話任務(wù)是未知的，我們訓(xùn)練數(shù)據(jù)是任務(wù)＋通話的 pair 對(duì)。2.真人通話很亂，與客戶的對(duì)話是各種交叉的，導(dǎo)致 asr 后并不是一人一輪。解決方案：1.首先通過大模型 prompt 對(duì)該通電話提取任務(wù)，得到任務(wù)＋ pair 對(duì)。需要用到 cot + reflection ＋多 Ilm 一致性+ debating 的模式。2.使用大模型根據(jù)以上任務(wù)和真人對(duì)話，讓大模型編寫出通話內(nèi)容。提問，為什么要編寫而不是直接用？步驟2??．制定訓(xùn)練數(shù)據(jù)集問題：1、正常的對(duì)話內(nèi)容，前面幾句和后面幾句基本上一致的。都是問候和拜拜，但是也有一些差異。2、因?yàn)槎际窍嗨茍鼍?，雖然任務(wù)不同，但是很多場景語義很相似。解決方案：1、基于輪次的權(quán)重采樣：通過輪次設(shè)定權(quán)重進(jìn)行 weighting sample 。解決問候和拜拜的高占比問題。2、基于語義的采樣：使用 bert 對(duì)對(duì)話內(nèi)容進(jìn)行 embedding ，然后使用層次聚類通過調(diào)節(jié)閾值聚類出相似語義的類。對(duì)一個(gè)類里的樣本進(jìn)行隨機(jī)采樣，提問，為什么要對(duì)重復(fù)語義的數(shù)據(jù)進(jìn)行下采樣？3、基于客戶類型和產(chǎn)品的采樣，因?yàn)楹芏喈a(chǎn)品是熱品，導(dǎo)致對(duì)話內(nèi)容有偏，用戶類型一樣，需按照類型調(diào)整整體比例采樣。提問，為什么要這么采樣？步驟3??．制定訓(xùn)練數(shù)據(jù)集我們直接把輸出當(dāng)作 target 進(jìn)行訓(xùn)練。使用的 lora 訓(xùn)練，但是 lora alpha 設(shè)定成為4倍的時(shí)候達(dá)到了比較好的效果，經(jīng)驗(yàn)值不同任務(wù)不一樣，提問，在各種情況下要怎么調(diào)？步驟4??.dpo訓(xùn)練問題：v1版本訓(xùn)練時(shí)，很多輸出內(nèi)容是對(duì)的，但是輸出的語氣不太像真人，機(jī)器人味還是很嚴(yán)重。解決方案：由于訓(xùn)練本身是有 ground truth 的，因此使用v1訓(xùn)練的模型，預(yù)測訓(xùn)練集，使用大模型對(duì)比兩者語氣不符合訓(xùn)練集的拿出來，使用訓(xùn)練集的 ground truth 和模型的預(yù)測數(shù)據(jù)作為 dpo 訓(xùn)練對(duì)，對(duì)v1版本模型重新訓(xùn)練。??這里老師只是簡要進(jìn)行概括解答，具體情況和詳細(xì)解答可以咨詢輔導(dǎo)，如果想了解項(xiàng)目輔導(dǎo)，提升面試能力，歡迎后臺(tái)聯(lián)系。#算法# #簡歷中的項(xiàng)目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘#

個(gè)人背景： 雙9，0對(duì)口實(shí)習(xí)+0對(duì)口論文，2月中下旬投完小論文后，由于自己本身沒有太多大模型的經(jīng)驗(yàn)，一直在糾結(jié)是做傳統(tǒng)NLP/搜廣推/大模型，甚至是開發(fā)。在糾結(jié)思考了很久，綜合?？?xhs各路dl的建議后，決定全力梭哈大模型。 準(zhǔn)備過程 2月中下旬開始準(zhǔn)備大模型八股+刷力扣，目前力扣300題左右，八股找了一些大模型資料看了一遍之后，3月中下旬開始大規(guī)模海投。 投遞記錄 OPPO：大模型算法崗，3.7投遞，一直在初篩階段； 蔚來：大模型應(yīng)用研究崗， 3.9投遞，一面 + 二面后OC已拒； 騰訊音樂：技術(shù)研究—自然語言處理（TME沒有專門的大模型崗），3月初投遞，一面 ...