榮耀要進(jìn)去才分配不明確做什么，一面反問(wèn)說(shuō)可能會(huì)偏多模態(tài)或nlp強(qiáng)化學(xué)習(xí)。阿里智能信息和夸克合作，做的偏向nlp業(yè)務(wù)端。還有一個(gè)騰訊cigs安全部門(mén)的做游戲作弊檢測(cè)，整體團(tuán)隊(duì)偏機(jī)器學(xué)習(xí)，但想做大模型在這方面的探索。

個(gè)人情況：2025屆211本科生，數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專(zhuān)業(yè)，家鄉(xiāng)云南。成績(jī)靠前，獲得過(guò)一些獎(jiǎng)學(xué)金和校級(jí)獎(jiǎng)項(xiàng)，參加過(guò)一次互聯(lián)網(wǎng)+大賽，其他的科研項(xiàng)目沒(méi)有參加過(guò)。2024下半年進(jìn)行的秋招，我真的整個(gè)人都投入進(jìn)去，每天都在投簡(jiǎn)歷、做測(cè)評(píng)、筆試面試。因?yàn)橐婚_(kāi)始認(rèn)為應(yīng)該廣撒網(wǎng)，只要自己能投的差不多都去試了，所以整個(gè)過(guò)程很累，后面也拿到了幾個(gè)offer但都不滿意所以拒了，當(dāng)然也積累了一些面試經(jīng)驗(yàn)。一直沒(méi)來(lái)得及做一個(gè)完整的總結(jié)，在上個(gè)月收到了中國(guó)電信的offer，也終于決定簽了，這才讓自己放松下來(lái)。（春招雖然也在看一些，但感覺(jué)崗位好像沒(méi)有那么多了，也可能是我沒(méi)那么投入地去找吧）據(jù)我的記錄（可能不全）...

??面試公司：vivo??面試崗位：大模型研究員?面試問(wèn)題：1、自我介紹2、項(xiàng)目介紹3、項(xiàng)目交流4、講一下為啥用DPO5、數(shù)據(jù)集是怎么構(gòu)建的？6、怎么去的分析badcase7、會(huì)去寫(xiě)訓(xùn)練代碼嗎？8、chatglm結(jié)構(gòu)9、代碼題：和最大子數(shù)組10、反問(wèn)??面試感想：Boss投的，應(yīng)該是日常實(shí)習(xí)。崗位叫啥研究員，感覺(jué)不太像搞啥研究，部門(mén)好像是做圖片視頻理解的。兩個(gè)面試官，輪著交流。聽(tīng)說(shuō)就兩面，后面還有一面hr面，看看有無(wú)后續(xù)。 #面試問(wèn)題記錄#  #面經(jīng)#  #大模型算法工程師#  #算法工程師#

結(jié)合最近輔助修改的簡(jiǎn)歷及項(xiàng)目，老師總結(jié)了部分大模型微調(diào)簡(jiǎn)歷的踩雷點(diǎn)。???♂?錯(cuò)誤示范：在 x任務(wù)中，獲取 xxx 條數(shù)據(jù)，通過(guò)規(guī)則 or 腳本清洗出 x 條數(shù)據(jù)，然后微調(diào) y 大模型，在業(yè)務(wù)上提升 x 個(gè)點(diǎn)。???原因:大模型微調(diào)的平臺(tái)是現(xiàn)成的，基模是現(xiàn)成的，體現(xiàn)不出核心能力。?應(yīng)該怎么寫(xiě)？首先介紹業(yè)務(wù)背景：業(yè)務(wù)是一個(gè)銷(xiāo)售對(duì)話業(yè)務(wù)，機(jī)器人是銷(xiāo)售，代替真人，直接面對(duì)用戶。我們會(huì)給模型設(shè)定任務(wù)，任務(wù)是 prompt 。步驟1??．提取訓(xùn)練數(shù)據(jù)問(wèn)題：1.真人通話每通電話任務(wù)是未知的，我們訓(xùn)練數(shù)據(jù)是任務(wù)＋通話的 pair 對(duì)。2.真人通話很亂，與客戶的對(duì)話是各種交叉的，導(dǎo)致 asr 后并不是一人一輪。解決方案：1.首先通過(guò)大模型 prompt 對(duì)該通電話提取任務(wù)，得到任務(wù)＋ pair 對(duì)。需要用到 cot + reflection ＋多 Ilm 一致性+ debating 的模式。2.使用大模型根據(jù)以上任務(wù)和真人對(duì)話，讓大模型編寫(xiě)出通話內(nèi)容。提問(wèn)，為什么要編寫(xiě)而不是直接用？步驟2??．制定訓(xùn)練數(shù)據(jù)集問(wèn)題：1、正常的對(duì)話內(nèi)容，前面幾句和后面幾句基本上一致的。都是問(wèn)候和拜拜，但是也有一些差異。2、因?yàn)槎际窍嗨茍?chǎng)景，雖然任務(wù)不同，但是很多場(chǎng)景語(yǔ)義很相似。解決方案：1、基于輪次的權(quán)重采樣：通過(guò)輪次設(shè)定權(quán)重進(jìn)行 weighting sample 。解決問(wèn)候和拜拜的高占比問(wèn)題。2、基于語(yǔ)義的采樣：使用 bert 對(duì)對(duì)話內(nèi)容進(jìn)行 embedding ，然后使用層次聚類(lèi)通過(guò)調(diào)節(jié)閾值聚類(lèi)出相似語(yǔ)義的類(lèi)。對(duì)一個(gè)類(lèi)里的樣本進(jìn)行隨機(jī)采樣，提問(wèn)，為什么要對(duì)重復(fù)語(yǔ)義的數(shù)據(jù)進(jìn)行下采樣？3、基于客戶類(lèi)型和產(chǎn)品的采樣，因?yàn)楹芏喈a(chǎn)品是熱品，導(dǎo)致對(duì)話內(nèi)容有偏，用戶類(lèi)型一樣，需按照類(lèi)型調(diào)整整體比例采樣。提問(wèn)，為什么要這么采樣？步驟3??．制定訓(xùn)練數(shù)據(jù)集我們直接把輸出當(dāng)作 target 進(jìn)行訓(xùn)練。使用的 lora 訓(xùn)練，但是 lora alpha 設(shè)定成為4倍的時(shí)候達(dá)到了比較好的效果，經(jīng)驗(yàn)值不同任務(wù)不一樣，提問(wèn)，在各種情況下要怎么調(diào)？步驟4??.dpo訓(xùn)練問(wèn)題：v1版本訓(xùn)練時(shí)，很多輸出內(nèi)容是對(duì)的，但是輸出的語(yǔ)氣不太像真人，機(jī)器人味還是很?chē)?yán)重。解決方案：由于訓(xùn)練本身是有 ground truth 的，因此使用v1訓(xùn)練的模型，預(yù)測(cè)訓(xùn)練集，使用大模型對(duì)比兩者語(yǔ)氣不符合訓(xùn)練集的拿出來(lái)，使用訓(xùn)練集的 ground truth 和模型的預(yù)測(cè)數(shù)據(jù)作為 dpo 訓(xùn)練對(duì)，對(duì)v1版本模型重新訓(xùn)練。??這里老師只是簡(jiǎn)要進(jìn)行概括解答，具體情況和詳細(xì)解答可以咨詢(xún)輔導(dǎo)，如果想了解項(xiàng)目輔導(dǎo)，提升面試能力，歡迎后臺(tái)聯(lián)系。#算法# #簡(jiǎn)歷中的項(xiàng)目經(jīng)歷要怎么寫(xiě)# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘#