翻遍各種大模型的實(shí)現(xiàn)，雖然結(jié)構(gòu)上可能保留了 dropout 的實(shí)現(xiàn)，但是采樣概率都設(shè)置為 0 了。唯一一個(gè)比較新的，還用 Dropout 的模型是 Meta 訓(xùn)練的 Galactica 模型。那為什么現(xiàn)在不用了呢？核心還是要弄清楚 Dropout 的使用場(chǎng)景。Dropout 之前在深度學(xué)習(xí)當(dāng)中是一個(gè)特別好用的方法，可以防止過擬合，提高泛化。所以說，當(dāng)模型較大，數(shù)據(jù)較少的時(shí)候，使用 Dropout 是比較合適的?，F(xiàn)在大模型處在什么狀態(tài)呢？?預(yù)訓(xùn)練在預(yù)訓(xùn)練階段，目前可能還是處于欠擬合的狀態(tài)。之所以說可能，是基于目前公開的一些論文的出的結(jié)論。但是現(xiàn)在閉源的公司在采用大量數(shù)據(jù)合成的情況下，已經(jīng)訓(xùn)練足夠充分或者接近充分也說不定。以 llama 一系列論文為例，訓(xùn)練 llama 1 的時(shí)候，龍貓 Scaling law 里面提到 GPT3 是一個(gè)訓(xùn)練很不充分的模型。然后給出的數(shù)據(jù)配比的建議是，10B 的模型要采用 200B 的 token 來訓(xùn)練。但是 llama 1 采用了 7B 的模型，訓(xùn)練量 1T 的 token 發(fā)現(xiàn)性能依然有提升。而且預(yù)訓(xùn)練所有的語料一般只過一個(gè) epoch，某些特定的領(lǐng)域可能過 2個(gè) epoch，可以認(rèn)為樣本的重復(fù)率很低。所以，在數(shù)據(jù)足夠多，多樣性足夠而且沒有太多重復(fù)的情況下，大模型在預(yù)訓(xùn)練階段仍然沒有過擬合的風(fēng)險(xiǎn)。也就完全不需要采用 dropout。?Dropout 就完全不需要了么？如果上面的條件不能滿足，Dropout 還是有用武之地的。比如前面提到的 Galactica 模型。這個(gè)模型和其他大模型不太一樣的地方是訓(xùn)練了 4.25 個(gè) epoch，因?yàn)樗麄冋J(rèn)為高質(zhì)量的數(shù)據(jù)更重要一些，但是又沒有那么多，所以就 repeat 數(shù)據(jù)了。在論文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，詳細(xì)列舉了數(shù)據(jù) Repeat 對(duì)訓(xùn)練 LLM 的影響，并且證明了 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的性能損失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的時(shí)候，少量的重復(fù)數(shù)據(jù)就會(huì)降低模型的性能。這也符合常理，SFT 的數(shù)據(jù)分布和預(yù)訓(xùn)練的通常是不太一樣的，重復(fù)的數(shù)據(jù)會(huì)讓模型擬合新的分布，從而忘掉舊的分布。文中同樣也提到 Dropout 可以緩解數(shù)據(jù)重復(fù)帶來的影響。所以 Dropout 在數(shù)據(jù)量較少，多樣性不高，需要 repeat 的場(chǎng)景下，依然是一個(gè)減少過擬合的很方便的手段。比如現(xiàn)在已經(jīng)有一些在 LoRA 微調(diào)的時(shí)候采用 Dropout 的研究了。#算法# #簡(jiǎn)歷中的項(xiàng)目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘# #大模型# #大模型面經(jīng)#

目前有兩個(gè)大模型offer，糾結(jié)要選哪個(gè)1、美團(tuán)-業(yè)務(wù)研發(fā)平臺(tái)-keetabase北京，有商家供給側(cè)、用戶理解和廣告三個(gè)方向可做，其中商家供給側(cè)這個(gè)方向目前都用大模型實(shí)現(xiàn)，業(yè)務(wù)場(chǎng)景有供給理解，選品，素材生成優(yōu)化，智能化應(yīng)用等等，進(jìn)去之后應(yīng)該選這個(gè)方向，技術(shù)包括但不限于微調(diào)、agent、其他兩個(gè)方向llm含量不一定高。2、騰訊-csig-騰訊地圖base深圳，業(yè)務(wù)場(chǎng)景有ai對(duì)話助手（智能問答客服，做旅游路線規(guī)劃啥的）、還有信息位置服務(wù)（商家店鋪選址），to c的業(yè)務(wù)是內(nèi)容運(yùn)營(yíng)（根據(jù)用戶軌跡做本地服務(wù)的個(gè)性化推薦），也是用大模型去實(shí)現(xiàn)，hr說往年轉(zhuǎn)正率至少五六十業(yè)務(wù)場(chǎng)景個(gè)人會(huì)偏向美團(tuán)點(diǎn)，因?yàn)榇蟾怕?..

感覺和面試官聊的還行，一直在說我的實(shí)習(xí)，最后手撕雖然調(diào)試了下但也撕出來了，但過了幾小時(shí)后掛了，不知道為啥??????????#?？虯I配圖神器# #jdy# #京東實(shí)習(xí)# #實(shí)習(xí)面試失敗# #暑期實(shí)習(xí)# #后端開發(fā)#

理想：RAG 的完美愿景 在大語言模型（LLM）的浪潮中，檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）被寄予厚望，作為 LLM 應(yīng)用落地的關(guān)鍵技術(shù)范式之一，它的核心思想很簡(jiǎn)單： “讓大模型在生成答案時(shí)，先檢索外部知識(shí)庫，確?；卮鸺葴?zhǔn)確又新鮮?！?amp;nbsp;理論上，RAG 能解決大語言模型（LLM）的三大痛點(diǎn)： 知識(shí)固化：LLM 依賴訓(xùn)練數(shù)據(jù)，無法自動(dòng)更新知識(shí)（如 GPT-4 不知道 2024 年后的新聞），導(dǎo)致時(shí)效性差、專業(yè)領(lǐng)域知識(shí)不足，而 RAG 通過連接外部知識(shí)庫，可以隨時(shí)引入新信息。 幻覺問題：LLM 可能編造虛假信息，而 RAG 為回答提供證據(jù)、增強(qiáng)生...