主要是按照簡(jiǎn)歷來問部分分享:蝦皮:在做領(lǐng)域數(shù)據(jù)清洗時(shí)有沒有自己構(gòu)建pipeline垂直領(lǐng)域大模型增量訓(xùn)練的文本長(zhǎng)度問題增量訓(xùn)練有沒有做分布式,deepspeed相關(guān)的問題微調(diào)時(shí),batch中數(shù)據(jù)長(zhǎng)度不一致如何優(yōu)化訓(xùn)練速率代碼:實(shí)現(xiàn)梯度累計(jì)代碼拼多多:數(shù)據(jù)清洗的pipeline領(lǐng)域模型訓(xùn)練時(shí)專有詞匯的處理有沒有做過強(qiáng)化學(xué)習(xí),dpo訓(xùn)練后有沒有看過token的概率分布變化代碼:旋轉(zhuǎn)二分查找