來源：機器學習社區(qū)

百度

部門與崗位：百度TPG - 文心一言團隊- 大模型算法崗

一面

1. 自我介紹和項目介紹

2. 介紹一下了解的大模型有哪些，這些模型在結構上有什么差異

3. 說一下大模型常用的位置編碼有哪些，各有什么優(yōu)缺點

4. 介紹一下大模型的預訓練后訓練以及推理是怎么做的，并且詳細問了 RLHF 的做法，包括 PPO 算法的原理，以及 DPO 和 PPO 的區(qū)別

5. 大模型的超長上下文是怎么做的，比如說 KIMI

6. 大模型智能體是怎么工作的，有哪些組件

7. 場景題：如何訓練一個大模型，可以做到精確的提取摘要

8. 代碼：股票的四個題

1. 買賣股票的最佳時機

1. 買賣股票的最佳時機 II

1. 買賣股票的最佳時機 III

1. 買賣股票的最佳時機 IV

整體來說一面偏基礎，問的問題也主要是一些大模型的八股問題，沒有太多發(fā)散性的問題，難度不大。但是考察的還是挺全面的，整個面試一個半小時多

二面

1. 自我介紹

2. 因為之前是做 CV 的，所以面試官問了 CV 和 NLP 的區(qū)別和聯(lián)系，在 Transformer 的大背景下，CV、NLP，包括語音等，能否實現(xiàn)大一統(tǒng)

3. 訓練大模型的時候數(shù)據(jù)怎么清洗，怎么處理，怎么配比，怎樣操作能更容易使模型達到更好的性能

4. 什么是大模型的幻覺，如何減輕幻覺問題

5. 大模型的復讀問題是怎么產生的，業(yè)內一般有什么解決辦法

6. 大模型的工具調用怎么實現(xiàn)

7. Agent 有哪幾部分構成，了解哪些具體的實現(xiàn)方法

8. 開放題：之前訓練大模型的時候遇到過什么困難，你是怎么解決的

9. 代碼：實現(xiàn)一個 Tokenizer，只能用 PyTorch 基礎語法

二面相比于一面更加看重綜合素質，喜歡考察分析問題解決問題的能力，對于一些細節(jié)知識點的考察并不多。二面也面試了一個多小時，面試官還是挺專業(yè)的。

三面

1. 首先過項目，但是問的特別細致，尤其是一個 Agent 的項目，從背景，到動機，再到做法，最后的結果，都問的非常細，大概有半個小時的時間

2. 開放題：你覺得當前大模型還存在怎樣的問題，有什么解決辦法嗎

3. 開放題：讓你自己設計一個 Agent，會怎么做，為什么這樣做

4. 找工作比較在意的點是什么，除了薪資還有什么

5. 對文心一言這個產品了解嗎，有哪些優(yōu)點和值得改進的點

6. 如果給你發(fā) Offer，你到這個團隊能做出什么貢獻

三面整體來說更加綜合，不止有一些技術問題，還有職業(yè)規(guī)劃這些問題，更加考察整體的能力。面試官應該是這個團隊的大老板，看問題更加系統(tǒng)和全面，整體面下來還是比較有壓力的。

總結

整體下來感覺面試官都是非常專業(yè)的，面試深度和廣度都很可以，三場面試層層遞進。面試官人也不錯，如果比較滿意的話也愿意多花時間來聊，而不是嚴格的卡一個小時這種完任務式的面試。

騰訊

背景:本弱雞 211 本碩，nlp，無論文有實習（老板沒資源且放養(yǎng)），本科有 acm 經歷（1 銅），面試 pcg 日常實習。

一面

Q1：了解什么機器學習算法，講一下原理？

當時只記得實體識別用到了隱馬爾可夫模型，講了講怎么怎么定義觀測狀態(tài)和隱藏狀態(tài)、前向傳播、解碼和應用場景。

Q2：講一下 Bert 的結構和怎么訓練的，怎么用 bert 做下游任務？

八股，雙向 transformer encoder 結構，預訓練任務包括 MLM 和 NSP，詳細講了講。下游任務做過文本分類、關系提取等，用 cls 做預測；也可以做摘要生成等任務。

Q3：有沒有了解過 LLM，有自己調過嗎，了解 RLHF 過程嗎？

自己訓練過 llama3 和 glm（8、9B），跑過 sft 和 dpo，有看過一些技術報告。當時用 deepspeed 跑的，然后講了講 RLHF 三個過程，最后 PPO 四個模型的作用。

Q4：有了解強化學習嗎？能不能詳細說說 PPO 是什么？

只通過 RLHF 了解過一點，好像跟面試官想要的答案不一致，跳過。

Q5：怎么擴展大模型的最大輸入長度？

改變 transformer 結構（GQA，MQA，flash attention等），旋轉位置編碼 RoPE 等（只看過論文，自己用的很少，就想到啥說啥）

Q6：有了解過模型訓練方法嗎？

沒用過（感覺要涼）

Q7：有了解過文生圖嗎？

有了解過一些項目，diffusion 和 clip 原理，之前有自己跑過 unet+diffusion+vae 做文生圖任務，講了下為什么這么做。

Q8：手撕快排

當天晚上收到了參加二面的郵件，小激動。

二面

二面沒有手撕代碼，問了問項目：

• 講一下微調大模型是怎么做的，數(shù)據(jù)集怎么構建，數(shù)據(jù)怎么處理

• 看項目中用了 RAG，講一下設計流程

• 其中文本 chunk 怎么做的，為什么這么做

• 中間有沒有遇到什么困難，怎么提高召回，如果文本輸入大模型后效果不好怎么辦

• 怎么提高大模型的外推性

• 有了解過文生圖任務嗎（怎么又問這個）

然后草草結束，一天后流程結束（掛了，繼續(xù)努力）

阿里

部門與崗位：淘天集團 - 搜推智能產品事業(yè)部 - 多模態(tài)大模型

一面

1. 首先是自我介紹和過項目，面試官還一起探討項目用到的方法，可行性之類的

2. 介紹一下 CLIP

3. 了解 LoRA 嗎，LoRA 微調的原理是什么

4. 了解哪些多模態(tài)大模型，簡要介紹幾個

5. BLIP 的三個損失函數(shù)分別是什么，數(shù)據(jù)是怎樣清洗的

6. BLIP2 相對于 BLIP 有哪些改進，BLIP3 又有哪些改進

7. Qwen-VL 的三個訓練流程分別是什么，有什么作用

8. 視覺編碼器和 LLM 連接時，使用 BLIP2 中 Q-Former 那種復雜的 Adaptor 好還是 LLaVA 中簡單的 MLP 好，說說各自的優(yōu)缺點

9. 代碼：實現(xiàn)多頭自注意力

一面比較常規(guī)，幾乎都是八股問題，我覺得只要了解常見的多模態(tài)大模型都問題不大，主要還是要理解各個模型設計的動機是什么，這也是面試最喜歡考察的

二面

1. 自我介紹和過項目，簡要問了項目中使用某些方法的動機，以及是否會導致其他的問題

2. 了解 Transformer 嗎，編碼器和解碼器的注意力有什么區(qū)別，在計算注意力中時除以 \sqrt{d_k} 的原因是什么

3. 后來有哪些比較經典的基于 Transformer 的語言模型，Qwen 相比于原始 Transformer 有哪些結構上的改動，Qwen2 又有哪些改進

4. 了解 RLHF 嗎，DPO 和 PPO 有什么區(qū)別，Loss 是什么樣的，各自的優(yōu)缺點是什么

5. 介紹一下 CLIP，還了解什么其他的對比學習方法

6. 開放題：了解哪些多模態(tài)大模型，目前多模態(tài)大模型最大的問題是什么

7. 代碼：1143. 最長公共子序列

二面其實也偏常規(guī)，幾乎也都是八股問題，但是也考察了一些對模型的理解以及知識面的廣度，整體來說比一面的難度大一些

三面

1. 自我介紹，然后詳細過了一下項目

2. 了解哪些大模型和多模態(tài)大模型，然后就聊了大模型這一路是怎么發(fā)展過來的，Transformer、BERT、GPT、LLaMA、Qwen 這些，以及當時的 o1 推理模型

3. 平常有嘗試過訓練過大模型嗎，規(guī)模小一點的也沒關系

4. 聊天，包括職業(yè)規(guī)劃等等

三面比較輕松，面試官說知識點前面兩面都考察過了，三面就輕松一些，大概40來分鐘吧

總結

整體來說面試體驗比較好，問的問題都不難，面試官也都不錯，遇到一些卡殼的地方也會進行引導討論，面試氛圍很輕松。三面應該是加面的大老板面，從交流可以看出來對整個大模型這塊的理解還是很深刻的，收獲不小。

百度

部門與崗位：百度TPG - 文心一言團隊- 大模型算法崗

一面

1. 自我介紹和項目介紹

2. 介紹一下了解的大模型有哪些，這些模型在結構上有什么差異

3. 說一下大模型常用的位置編碼有哪些，各有什么優(yōu)缺點

4. 介紹一下大模型的預訓練后訓練以及推理是怎么做的，并且詳細問了 RLHF 的做法，包括 PPO 算法的原理，以及 DPO 和 PPO 的區(qū)別

5. 大模型的超長上下文是怎么做的，比如說 KIMI

6. 大模型智能體是怎么工作的，有哪些組件

7. 場景題：如何訓練一個大模型，可以做到精確的提取摘要

8. 代碼：股票的四個題

1. 買賣股票的最佳時機

1. 買賣股票的最佳時機 II

1. 買賣股票的最佳時機 III

1. 買賣股票的最佳時機 IV

整體來說一面偏基礎，問的問題也主要是一些大模型的八股問題，沒有太多發(fā)散性的問題，難度不大。但是考察的還是挺全面的，整個面試一個半小時多

二面

1. 自我介紹

2. 因為之前是做 CV 的，所以面試官問了 CV 和 NLP 的區(qū)別和聯(lián)系，在 Transformer 的大背景下，CV、NLP，包括語音等，能否實現(xiàn)大一統(tǒng)

3. 訓練大模型的時候數(shù)據(jù)怎么清洗，怎么處理，怎么配比，怎樣操作能更容易使模型達到更好的性能

4. 什么是大模型的幻覺，如何減輕幻覺問題

5. 大模型的復讀問題是怎么產生的，業(yè)內一般有什么解決辦法

6. 大模型的工具調用怎么實現(xiàn)

7. Agent 有哪幾部分構成，了解哪些具體的實現(xiàn)方法

8. 開放題：之前訓練大模型的時候遇到過什么困難，你是怎么解決的

9. 代碼：實現(xiàn)一個 Tokenizer，只能用 PyTorch 基礎語法

二面相比于一面更加看重綜合素質，喜歡考察分析問題解決問題的能力，對于一些細節(jié)知識點的考察并不多。二面也面試了一個多小時，面試官還是挺專業(yè)的。

三面

1. 首先過項目，但是問的特別細致，尤其是一個 Agent 的項目，從背景，到動機，再到做法，最后的結果，都問的非常細，大概有半個小時的時間

2. 開放題：你覺得當前大模型還存在怎樣的問題，有什么解決辦法嗎

3. 開放題：讓你自己設計一個 Agent，會怎么做，為什么這樣做

4. 找工作比較在意的點是什么，除了薪資還有什么

5. 對文心一言這個產品了解嗎，有哪些優(yōu)點和值得改進的點

6. 如果給你發(fā) Offer，你到這個團隊能做出什么貢獻

三面整體來說更加綜合，不止有一些技術問題，還有職業(yè)規(guī)劃這些問題，更加考察整體的能力。面試官應該是這個團隊的大老板，看問題更加系統(tǒng)和全面，整體面下來還是比較有壓力的。

總結

整體下來感覺面試官都是非常專業(yè)的，面試深度和廣度都很可以，三場面試層層遞進。面試官人也不錯，如果比較滿意的話也愿意多花時間來聊，而不是嚴格的卡一個小時這種完任務式的面試。

最后推薦一個我正在學習的AI Agent智能體實戰(zhàn)課