欧美1区2区3区激情无套,两个女人互添下身视频在线观看,久久av无码精品人妻系列,久久精品噜噜噜成人,末发育娇小性色xxxx

本人只做點業(yè)務(wù)數(shù)據(jù)sft, 做的更加偏向于粗糙業(yè)務(wù)，直接被拷打麻了，望佬看到可以給我指點一下1. 現(xiàn)在有一個非常完備的sft指令集，你只能選擇1w條，你如何選擇數(shù)據(jù)來使模型的能力更加提升+完備？2.我們知道sft的時候盡量不要注入知識給模型，因為只希望sft可以提升模型的指令遵循的能力，注入知識的話，可能會導(dǎo)致后面使用的時候模型容易出現(xiàn)幻覺，那我們怎么確保自己選擇的這1w條數(shù)據(jù)沒注入知識給模型呢？3.7b和13b模型微調(diào)同一批數(shù)據(jù)，學(xué)習(xí)率哪個大？4. Pretrain/sft/ppo學(xué)習(xí)率怎么變換？5. 學(xué)習(xí)率和batch大小變化一致嗎？6. 做表征學(xué)習(xí)的時候，模型坍塌的原因？7. 為什么做rm的時候，用不同的小模型大模型來采樣生成后訓(xùn)練出來的rm會比以前那種方法奏效？這很反直覺，因為按照直覺來說的話，這種方式可能會讓rm偏向某個權(quán)威的模型8. 現(xiàn)在有很多種方法，有做完pt直接做rlhf的，也有按班就步的pt-sft-rlhf的，還有直接不做rlhf的，你覺得為什么這些方法都有效，你覺得是什么原因造成的？#滴滴##秋招##面經(jīng)#  #算法#  #八股#