拼多多+蝦皮 算法實(shí)習(xí)生一面
主要是按照簡(jiǎn)歷來(lái)問
部分分享:
蝦皮:
在做領(lǐng)域數(shù)據(jù)清洗時(shí)有沒有自己構(gòu)建pipeline
垂直領(lǐng)域大模型增量訓(xùn)練的文本長(zhǎng)度問題
增量訓(xùn)練有沒有做分布式,deepspeed相關(guān)的問題
微調(diào)時(shí),batch中數(shù)據(jù)長(zhǎng)度不一致如何優(yōu)化訓(xùn)練速率
代碼:
實(shí)現(xiàn)梯度累計(jì)代碼
拼多多:
數(shù)據(jù)清洗的pipeline
領(lǐng)域模型訓(xùn)練時(shí)專有詞匯的處理
有沒有做過(guò)強(qiáng)化學(xué)習(xí),dpo訓(xùn)練后有沒有看過(guò)token的概率分布變化
代碼:
旋轉(zhuǎn)二分查找
部分分享:
蝦皮:
在做領(lǐng)域數(shù)據(jù)清洗時(shí)有沒有自己構(gòu)建pipeline
垂直領(lǐng)域大模型增量訓(xùn)練的文本長(zhǎng)度問題
增量訓(xùn)練有沒有做分布式,deepspeed相關(guān)的問題
微調(diào)時(shí),batch中數(shù)據(jù)長(zhǎng)度不一致如何優(yōu)化訓(xùn)練速率
代碼:
實(shí)現(xiàn)梯度累計(jì)代碼
拼多多:
數(shù)據(jù)清洗的pipeline
領(lǐng)域模型訓(xùn)練時(shí)專有詞匯的處理
有沒有做過(guò)強(qiáng)化學(xué)習(xí),dpo訓(xùn)練后有沒有看過(guò)token的概率分布變化
代碼:
旋轉(zhuǎn)二分查找
全部評(píng)論
相關(guān)推薦
點(diǎn)贊 評(píng)論 收藏
分享
點(diǎn)贊 評(píng)論 收藏
分享

點(diǎn)贊 評(píng)論 收藏
分享