今天老師給大家分享推薦算法3輪面經(jīng)，供各位同學參考。1??第一輪1、先自我介紹，我的習慣是經(jīng)歷簡單介紹一下，然后自然轉向準備最充分的一個項目開始詳細講，面試官感興趣的話最好，不感興趣的話會直接打斷的。主要介紹了項目的背景，難點和解決方案，面試官關心的點主要集中在問題抽象和損失函數(shù)，講清楚為什么這么做，項目大概聊了半小時左右2、機器學習基礎：推導 lr，寫出loss和梯度（比起推導svm來說簡直就是送分題，要是寫不出來的話估計會直接掛，基礎還是要好好準備）3、算法 鏈表對折 1 2 3 4 5 變成 1 5 2 4 3拆解一下題目，(靈活)找到鏈表的中點 ?？皖}霸: 鏈表中倒數(shù)第k個節(jié)點 是找中點的復雜版，都是雙指針解法翻轉后半段鏈表 ?？皖}霸: 翻轉鏈表合并兩個鏈表 ?？皖}霸: 合并兩個有序鏈表 是復雜版2??第二輪1、先介紹項目，主要聊了項目背景和收益，收益具體怎么衡量，項目如何上線生效2、算法題 m*n的二維數(shù)組，只能往右或者往下，找最短路徑，n空間 ?？皖}霸: 矩陣的最小路徑和3、有了解過設計模式嗎？(答了常見的工廠模式和單例模式，對應的應用場景，簡單扯了一下裝飾器模式，也是看xgb源碼看到的，其實不會用)4、系統(tǒng)設計需要注意什么，如何設計一個系統(tǒng)，系統(tǒng)性能如何評估，需要考慮哪些指標（考察點應該是線上的系統(tǒng)了，指標比如內存使用率，qps，99 39 49時間之類的）5、之前幫阿里云錄制過一些深度學習的入門課程，簡單聊了一下相關的內容3??第三輪1、先介紹項目，主要聊了項目背景和收益，收益具體怎么衡量，項目如何上線生效2、介紹xgbgbdt和xgb的區(qū)別(居然沒有問lgb)怎么選最優(yōu)分裂節(jié)點，怎么加速，預排序有什么作用，怎么分箱，等寬還是等深怎么處理缺失值的，預測時候缺失值怎么辦3、為什么離職，希望一份什么樣的工作4、有沒有什么問題想要了解的（問了業(yè)務場景 工作內容）??對于想求職算法崗的同學，如果想?yún)⒓痈哔|量項目輔導，提升面試能力，歡迎后臺聯(lián)系。#簡歷中的項目經(jīng)歷要怎么寫# #大模型# #大模型面經(jīng)# #互聯(lián)網(wǎng)大廠招聘#

??面試公司：網(wǎng)易有道??面試崗位：大模型 實習生??面試問題：1. top-k和top-p2. 對比損失和llm中的temperature3. lora微調4. llm中的強化學習5. 訓練樣本的文本如何構建的，輸出的格式6. rag??面試體驗：問的很細，難，一輪直接掛 #大模型面經(jīng)#

已簽騰訊投遞了大中小共30+公司目前看來大模型相關的崗位主要是大廠在招人投遞的中小廠除了理想和巨人網(wǎng)絡都沒有約面大廠阿里騰訊字節(jié)螞蟻都順利約面了如果方向對口的話流程推進會非?？?，騰訊從一面到oc共7個工作日整體面試下來感覺面試更看重項目落地，方向最好夠深入我做的是數(shù)據(jù)相關工作，基本上大廠面試只問了我項目和數(shù)據(jù)處理流程，沒有問八股手撕只需要刷hot100即可，一道手撕題前一天字節(jié)考完，第二天騰訊又考了一遍祝各位順利上岸#暑期實習##大模型面經(jīng)#

??面試公司：美團??面試崗位：算法??面試問題：主要分了兩部分，簡歷里項目，論文，競賽和手撕。項目是穿插著八股問的，下面是涉及到八股的一些問題1.如何緩解大模型的復讀機問題和幻覺問題2.講一下大模型的采樣3.為什么做了sft還要做ppo4.講一下qlora的好處5.講一下ppo的四個模型6.sft數(shù)據(jù)的多樣性怎么保證7.dpo和ppo相比的優(yōu)勢在哪里8.有沒有考慮過rag，具體怎么實施的手撕是基礎的單頭注意力，寫完之后問了怎么改多頭，為什么要除以根號dk和單頭改多頭的參數(shù)量會不會變。反問問了一下業(yè)務和對于大模型定量計算的看法??面試體驗：體驗不錯，沒答上的地方也只是說下去看看。#面試體驗感最好的是哪家？# #大模型實習# #大模型算法工程師# #大模型面經(jīng)# #美團求職進展匯總#

??面試公司：美團??面試崗位：算法二面??面試問題：拷打簡歷的論文，項目和競賽。非常細節(jié)。穿插的八股主要集中在ppo和lora，關于ppo的四個模型和actor loss，lora具體的精度改變。手撕層序遍歷和反轉鏈表（層序遍歷bug沒改出來）??面試體驗：體驗不錯，就是我太菜了許愿團子收留我，不想面了#美團求職進展匯總# #大模型算法工程師# #大模型面經(jīng)# #大模型實習#

??面試公司：阿里淘天??面試崗位：大模型算法??面試問題：最開始是自我介紹先拷打了論文和項目問了兩道大模型八股，lora和deepseek的進展一道業(yè)務開放題反問環(huán)節(jié)??面試體驗：體驗良好，面試過程非常輕松，面試官也很溫和。#面試體驗感最好的是哪家？# #哪些公司面試官讓你印象深刻？# #如何判斷面試是否涼了# #大模型面經(jīng)# #大模型算法工程師# #大模型實習#

作為AI產(chǎn)品經(jīng)理，大模型選型需要從業(yè)務目標、技術特性和資源投入三個維度進行系統(tǒng)性評估。分步驟的選型：1. 場景需求拆解- 任務類型：區(qū)分生成式（GPT）、理解式（BERT）、多模態(tài)（CLIP）等任務需求- 性能指標：明確時延要求（如對話場景<2s）、準確率閾值、內容安全等級- 輸入輸出：處理文本長度（如法律文本需支持10k tokens）、多語言支持需求2. 技術參數(shù)評估- 模型架構對比：Transformer層數(shù)（如LLaMA 7B vs 13B）、注意力機制差異- 性能基準測試：在HuggingFace OpenLLM Leaderboard等榜單比對MMLU/HELM得分- 領域適配性：檢查是否經(jīng)過垂直領域微調（如Med-PaLM 2醫(yī)療專用模型）3. 成本效益分析- 推理成本計算：API調用成本（如GPT-4 $0.03/1k tokens）vs 自建GPU集群成本- 算力需求評估：模型參數(shù)量與GPU顯存關系（7B模型需至少16G顯存）- 長尾運維成本：監(jiān)控維護、版本迭代、安全補丁更新等隱性成本4. 工程化適配度- 部署方案驗證：測試ONNX轉換效果、量化后精度損失（INT8量化典型損失2-5%）- 擴展能力測試：分布式推理效率、最大并發(fā)請求承載量- 工具鏈完整性：配套的Prompt工程工具、評估體系、持續(xù)訓練Pipeline5. 風險合規(guī)審查- 數(shù)據(jù)隱私合規(guī)：評估模型訓練數(shù)據(jù)來源合法性（如排除版權爭議數(shù)據(jù)）- 輸出可控性：測試有害內容生成概率及防護機制有效性- 許可證審查：確認商用限制（如LLaMA商用需單獨授權）6. 迭代路線規(guī)劃- 短期方案：采用API快速驗證（如Azure OpenAI）+ RAG增強時效性- 中期過渡：微調行業(yè)小模型（LoRA適配器方案）- 長期演進：構建混合模型架構（大模型+規(guī)則引擎+傳統(tǒng)ML） #牛客激勵計劃#  #大模型#  #大模型面經(jīng)#  #找工作#  #聊聊我眼中的AI#  #數(shù)據(jù)人的面試交流地#  #AI了，我在打一種很新的工#  #產(chǎn)品經(jīng)理# #?？虯I配圖神器#

如題，我目前在字節(jié)做后端的實習，此前有一段知名開源經(jīng)歷和中廠后端實習，但是覺得開發(fā)工作枯燥而且工資比不上算法，職業(yè)上限也是算法更高。再說算法，目前是中了一篇一作頂會llm方向，n作的數(shù)篇，沒有算法實習，這個bg做llm如何？目前算法刷的還挺多，Python手撕也有在刷，背背八股可以去大廠嗎，也不是想做基座這種硬核方向，蹭個應用方向也可以。還請各位大佬指點迷津#實習# #字節(jié)跳動# #大模型# #大模型面經(jīng)# #沒有實習經(jīng)歷，還有機會進大廠嗎# #夸夸我的求職搭子# #無實習如何秋招上岸#

今天老師為大家梳理了字節(jié)算法崗關于大模型Rag的面試題，供各位同學參考。1?? LORA 原理：解釋 LORA(Low-RankAdaptation)的核心思想，如何通過低秩矩陣實現(xiàn)參數(shù)高效微調?數(shù)學形式如何表達?2??Self-Attention機制：自注意力機制中 O/K/ 矩陣的作用是什么?如何通過縮放點積計算注意力權重?公式推導并解釋Softmax 的意義。3??位置編碼：Transformer為何需要位置編碼?主流 LLM(如 LLaMA、GPT)使用哪種位置編碼(如 ROPE)?相比絕對/相對位置編碼有何優(yōu)勢?4??Seq2Seg 模型：Seq2Seq模型的核心組件是什么?Encoder-Decoder結構如何解決長程依賴問題?5??RAG技術：RAG(檢索增強生成)的完整鏈路包含哪些步驟?為什么它能提升生成質量?6??大模型幻覺：大模型產(chǎn)生幻覺的根本原因是什么?7??顯存計算：7B 模型在訓練和推理時的顯存占用如何估算?顯存與參數(shù)量、批次大小、序列長度的關系是什么?8??實習與論文：詳細說明實習中解決的一個技術難點，涉及哪些模型或算法?如何評估效果?9??鏈表操作：刪除鏈表倒數(shù)第 N 個節(jié)點的算法思路?如何用雙指針法實現(xiàn)?邊界條件(如頭節(jié)點刪除)如何處理???對于想求職算法崗的同學，如果想?yún)⒓痈哔|量項目輔導，提升面試能力，歡迎后臺聯(lián)系。#簡歷中的項目經(jīng)歷要怎么寫# #大模型# #互聯(lián)網(wǎng)大廠招聘# #大模型面經(jīng)#

一、工作內容(可到崗學習，不要求有大模型推理優(yōu)化相關經(jīng)驗)聚焦大模型推理性能優(yōu)化，包括但不限于：1.?推理框架應用與優(yōu)化：基于TensorRT-LLM、vLLM等框架實現(xiàn)高性能模型部署，探索其在多場景下的性能極限；2.?模型壓縮與加速技術：研究大模型量化（INT8/FP8等）、模型剪枝等輕量化方法；3.?GPU計算優(yōu)化：通過算子融合、顯存管理、并行策略（數(shù)據(jù)/模型/流水線并行）提升端到端推理效率；4.?注意力機制優(yōu)化：基于FlashAttention等算法優(yōu)化Transformer結構的長序列處理能力；5.?端到端推理流水線設計：結合業(yè)務需求設計低延遲、高吞吐的推理服務方案。二、招聘要求1.在校研究生或特別優(yōu)秀的大四學生。2.掌握 Python、PyTorch，能夠熟練運用其進行代碼編寫與測試。3.熟悉 Ubuntu 系統(tǒng)的基本操作，可獨立完成訓練環(huán)境部署。4.具備機器學習的基本知識，擁有一定的代碼開發(fā)和調試經(jīng)驗。5.具備自驅力，工作態(tài)度積極主動，擁有良好的溝通能力，并有使用先進 AI 工具輔助工作的意識。三、時間要求每周（工作日）最少實習4天，連續(xù)實習3個月以上。工作時間：早 9 點至下午 5 點。到崗時間：盡快。四、實習待遇實習薪資 280 元 / 天。五、工作地點工作地點：北京市海淀區(qū)東升科技園（不提供住宿）。如果你認為自己符合以上條件，且渴望在央企研究院開啟一段充實且有意義的實習經(jīng)歷，請將你的簡歷私聊給我，郵件主題請注明 “實習生應聘 - 姓名 - 學校 - 專業(yè)- 年級 - 實習x個月”。期待你的加入，一起在技術研究的道路上發(fā)光發(fā)熱！#大模型算法工程師# #實習招聘# #大模型面經(jīng)#

一、明確數(shù)據(jù)飛輪的核心要素1. 數(shù)據(jù)供給閉環(huán)：用戶使用產(chǎn)品→生成行為數(shù)據(jù)→優(yōu)化模型→提升用戶體驗→吸引更多用戶。2. 關鍵指標對齊：需定義數(shù)據(jù)質量（多樣性、代表性）、模型效果（準確率、響應速度）、業(yè)務指標（用戶留存、付費率）的關聯(lián)性。二、構建數(shù)據(jù)飛輪的4個階段階段1：冷啟動設計- 策略：- 使用開源數(shù)據(jù)+合成數(shù)據(jù)+少量人工標注，快速搭建最小可用模型（MVP）。- 產(chǎn)品化設計：在用戶界面嵌入反饋入口（如“點贊/踩”、錯誤報告），主動引導用戶標注低置信度結果。- 案例參考：ChatGPT初期基于人類反饋強化學習（RLHF），通過用戶對回答的排序選擇優(yōu)化模型。階段2：數(shù)據(jù)采集與治理- 數(shù)據(jù)來源：- 顯式反饋：用戶評分、標注錯誤、偏好選擇。- 隱式反饋：停留時長、點擊熱圖、會話中斷率。- 治理關鍵：- 去噪與標注：自動化清洗（如去重、過濾惡意數(shù)據(jù)）+ 眾包/專家復核關鍵樣本。- 數(shù)據(jù)分布監(jiān)控：避免長尾問題，通過主動學習（Active Learning）補充稀缺場景數(shù)據(jù)。階段3：模型迭代與效果驗證- 快速迭代機制：- 建立自動化訓練管道（如Airflow調度），支持小步快跑式微調（如每周更新）。- A/B測試：新舊模型分桶對比，驗證指標提升是否顯著（如任務完成率提升5%）。- 成本控制：- 動態(tài)采樣策略：僅對高價值數(shù)據(jù)（如用戶高頻提問領域）全量訓練，其余部分采樣。階段4：閉環(huán)反饋強化- 用戶感知優(yōu)化：- 實時展示模型進步（如“根據(jù)您的反饋，該功能準確率提升20%”），增強用戶參與感。- 設計激勵體系（如積分、特權）鼓勵用戶反饋。- 長期價值挖掘：- 分析數(shù)據(jù)飛輪帶來的邊際成本下降（如單位訓練數(shù)據(jù)帶來的收益遞增）。 #產(chǎn)品經(jīng)理#  #數(shù)據(jù)人的面試交流地#  #?？图钣媱?  #找工作#  #大模型#  #大模型面經(jīng)# #?？虯I配圖神器#

翻遍各種大模型的實現(xiàn)，雖然結構上可能保留了 dropout 的實現(xiàn)，但是采樣概率都設置為 0 了。唯一一個比較新的，還用 Dropout 的模型是 Meta 訓練的 Galactica 模型。那為什么現(xiàn)在不用了呢？核心還是要弄清楚 Dropout 的使用場景。Dropout 之前在深度學習當中是一個特別好用的方法，可以防止過擬合，提高泛化。所以說，當模型較大，數(shù)據(jù)較少的時候，使用 Dropout 是比較合適的?，F(xiàn)在大模型處在什么狀態(tài)呢？?預訓練在預訓練階段，目前可能還是處于欠擬合的狀態(tài)。之所以說可能，是基于目前公開的一些論文的出的結論。但是現(xiàn)在閉源的公司在采用大量數(shù)據(jù)合成的情況下，已經(jīng)訓練足夠充分或者接近充分也說不定。以 llama 一系列論文為例，訓練 llama 1 的時候，龍貓 Scaling law 里面提到 GPT3 是一個訓練很不充分的模型。然后給出的數(shù)據(jù)配比的建議是，10B 的模型要采用 200B 的 token 來訓練。但是 llama 1 采用了 7B 的模型，訓練量 1T 的 token 發(fā)現(xiàn)性能依然有提升。而且預訓練所有的語料一般只過一個 epoch，某些特定的領域可能過 2個 epoch，可以認為樣本的重復率很低。所以，在數(shù)據(jù)足夠多，多樣性足夠而且沒有太多重復的情況下，大模型在預訓練階段仍然沒有過擬合的風險。也就完全不需要采用 dropout。?Dropout 就完全不需要了么？如果上面的條件不能滿足，Dropout 還是有用武之地的。比如前面提到的 Galactica 模型。這個模型和其他大模型不太一樣的地方是訓練了 4.25 個 epoch，因為他們認為高質量的數(shù)據(jù)更重要一些，但是又沒有那么多，所以就 repeat 數(shù)據(jù)了。在論文《To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis》 中，詳細列舉了數(shù)據(jù) Repeat 對訓練 LLM 的影響，并且證明了 Dropout 可以緩解數(shù)據(jù)重復帶來的性能損失。在文章《Can LLMs learn from a single example?》中，也提到了在 SFT 的時候，少量的重復數(shù)據(jù)就會降低模型的性能。這也符合常理，SFT 的數(shù)據(jù)分布和預訓練的通常是不太一樣的，重復的數(shù)據(jù)會讓模型擬合新的分布，從而忘掉舊的分布。文中同樣也提到 Dropout 可以緩解數(shù)據(jù)重復帶來的影響。所以 Dropout 在數(shù)據(jù)量較少，多樣性不高，需要 repeat 的場景下，依然是一個減少過擬合的很方便的手段。比如現(xiàn)在已經(jīng)有一些在 LoRA 微調的時候采用 Dropout 的研究了。#算法# #簡歷中的項目經(jīng)歷要怎么寫# #算法崗面試# #互聯(lián)網(wǎng)大廠招聘# #大模型# #大模型面經(jīng)#

??對于想求職算法崗的同學，如果想?yún)⒓痈哔|量項目輔導，提升面試能力，歡迎后臺聯(lián)系。#互聯(lián)網(wǎng)大廠招聘# #大模型面經(jīng)# #算法崗面試#