結(jié)合最近輔助修改的簡歷及項目，老師總結(jié)了部分大模型微調(diào)簡歷的踩雷點。???♂?錯誤示范：在 x任務(wù)中，獲取 xxx 條數(shù)據(jù)，通過規(guī)則 or 腳本清洗出 x 條數(shù)據(jù)，然后微調(diào) y 大模型，在業(yè)務(wù)上提升 x 個點。???原因:大模型微調(diào)的平臺是現(xiàn)成的，基模是現(xiàn)成的，體現(xiàn)不出核心能力。?應(yīng)該怎么寫？首先介紹業(yè)務(wù)背景：業(yè)務(wù)是一個銷售對話業(yè)務(wù)，機器人是銷售，代替真人，直接面對用戶。我們會給模型設(shè)定任務(wù)，任務(wù)是 prompt 。步驟1??．提取訓練數(shù)據(jù)問題：1.真人通話每通電話任務(wù)是未知的，我們訓練數(shù)據(jù)是任務(wù)＋通話的 pair 對。2.真人通話很亂，與客戶的對話是各種交叉的，導致 asr 后并不是一人一輪。解決方案：1.首先通過大模型 prompt 對該通電話提取任務(wù)，得到任務(wù)＋ pair 對。需要用到 cot + reflection ＋多 Ilm 一致性+ debating 的模式。2.使用大模型根據(jù)以上任務(wù)和真人對話，讓大模型編寫出通話內(nèi)容。提問，為什么要編寫而不是直接用？步驟2??．制定訓練數(shù)據(jù)集問題：1、正常的對話內(nèi)容，前面幾句和后面幾句基本上一致的。都是問候和拜拜，但是也有一些差異。2、因為都是相似場景，雖然任務(wù)不同，但是很多場景語義很相似。解決方案：1、基于輪次的權(quán)重采樣：通過輪次設(shè)定權(quán)重進行 weighting sample 。解決問候和拜拜的高占比問題。2、基于語義的采樣：使用 bert 對對話內(nèi)容進行 embedding ，然后使用層次聚類通過調(diào)節(jié)閾值聚類出相似語義的類。對一個類里的樣本進行隨機采樣，提問，為什么要對重復語義的數(shù)據(jù)進行下采樣？3、基于客戶類型和產(chǎn)品的采樣，因為很多產(chǎn)品是熱品，導致對話內(nèi)容有偏，用戶類型一樣，需按照類型調(diào)整整體比例采樣。提問，為什么要這么采樣？步驟3??．制定訓練數(shù)據(jù)集我們直接把輸出當作 target 進行訓練。使用的 lora 訓練，但是 lora alpha 設(shè)定成為4倍的時候達到了比較好的效果，經(jīng)驗值不同任務(wù)不一樣，提問，在各種情況下要怎么調(diào)？步驟4??.dpo訓練問題：v1版本訓練時，很多輸出內(nèi)容是對的，但是輸出的語氣不太像真人，機器人味還是很嚴重。解決方案：由于訓練本身是有 ground truth 的，因此使用v1訓練的模型，預測訓練集，使用大模型對比兩者語氣不符合訓練集的拿出來，使用訓練集的 ground truth 和模型的預測數(shù)據(jù)作為 dpo 訓練對，對v1版本模型重新訓練。??這里老師只是簡要進行概括解答，具體情況和詳細解答可以咨詢輔導，如果想了解項目輔導，提升面試能力，歡迎后臺聯(lián)系。#算法# #簡歷中的項目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘#

bg top3本機械+美本cs雙學位，大三，投的服務(wù)端研發(fā)暑期實習時間線 3.24投遞， 4.9筆試（2.8/4） 4.11一面 拷打八股的很深入有些答得不好有些挺不錯，然后算法提示了一下寫完4.16二面 根據(jù)項目問了很多場景題，我感覺回答得中規(guī)中矩，算法提示一下寫完4.21三面 很和善的主管上來就說不考算法，聊了二十幾分鐘項目就結(jié)束了然后一直等消息，剛才看官網(wǎng)應(yīng)聘終止了，挺難受的因為暑假三月底投了不少實習只有pdd這個一直在推進，請教一下各位應(yīng)聘終止還有復活的可能嘛

bg  雙非院校 一個大模型方向B會 一段中廠實習新能源車企 多模態(tài) agent方向，涉及workflow，sft，rlhf百度某搜廣推組 使用llm做純文本 query個性化 改寫，涉及sft，rlhf主要區(qū)別：一個是做大模型產(chǎn)品的，一個是大模型作為手段來為搜廣推服務(wù)，但工作內(nèi)容是做大模型。本人還是傾向于秋招找大模型的工作，這兩個實習應(yīng)該如何選擇？#求助offer選擇# #offer# #大廠offer[話題]#

我看到現(xiàn)在競賽越來越多 眼花繚亂,有些我聽都沒聽過。全網(wǎng)最受歡迎的嵌入式面經(jīng)面經(jīng)一共32篇文章，12w+字數(shù)，包含全部最新的面試必問考點，4.7w+同學學習，2800+訂閱，非常適合在找工作面經(jīng)薄弱的同學，3000+訂閱還會漲價，提前訂閱提前享受，持續(xù)更新中。原帖鏈接：http://www.fangfengwang8.cn/creation/manager/columnDetail/MJNwoMc