Meta大模型核心團隊一半出走！內部三大矛盾首次被曝

智東西

【資料圖】

編譯 | 陳佳慧

編輯 | 徐珊

智東西9月6日消息，據The Information報道，雖然Meta發布的大語言模型Llama和Llama 2得到了廣泛好評，但有知情人士透露，2月份發表Llama原始研究論文的14名作者中，有一半以上已經離開了Meta。

ChatGPT發布后，Meta的AI研究部門FAIR開發壓力增加。而開發運用于生成式AI的大語言模型需要專門的芯片來進行計算，知情人士稱，在Meta的Llama團隊進行研發的同時，還有另一個團隊也在研發一個新的用來與谷歌PaLM模型競爭的模型，兩個團隊需要爭奪Meta內部的計算資源。Meta出現大量人才流失的情況，或許是因為Meta在AI研究與布局上存在計算資源分配問題、團隊士氣問題、以及公司人員與AI研究方向安排問題，本文將對這三大問題進行分析。

2013年，Meta聘請了法國科學家Yann LeCun擔任AI研究總監，同時設立了FAIR。此后，Meta的AI研究工作都以FAIR為中心。

FAIR除了在加州的門洛帕克和LeCun所在的紐約設立了主要實驗室，還在蒙特利爾、巴黎、倫敦和西雅圖設立了其它實驗室。其中，蒙特利爾是Meta的AI研究實驗室Fundamental AI Research的負責人Joelle Pineau的所在地。

FAIR開展的研究項目涉及到使用AI進行語言翻譯和改進核磁共振（MRI）掃描等場景。在ChatGPT發布之前，Meta一直致力于開發自己獨立的大語言模型。但是當OpenAI在2022年初發布了基于GPT-3.5模型的用戶友好型聊天機器人ChatGPT后，Meta的領導層要求將AI研究融入更多產品，FAIR的研發壓力不斷增加。

Meta的首席執行官馬克·扎克伯格（Mark Zuckerberg）曾說過，Meta在生成式AI的研發上落后于OpenAI后，他計劃將生成式AI作為Meta的核心優先事項。此外，Meta還試圖通過定期發布關于其AI發展的新動態，引起人們對其AI工作的興趣，推動其AI工作宣傳。

2022年5月，FAIR中一個駐扎在美國的團隊公開發布了OPT-175B模型。Meta聲稱，雖然編碼訓練期間使用的內容數量相同，但OPT-175B模型的能耗比OpenAI的GPT-3要低。有兩位知情人士說，在幾個月后，因為要與谷歌的PaLM模型競爭，開發OPT-175B模型的團隊開始開發第二個更大的模型。

與此同時，FAIR駐扎在巴黎的團隊正在開發一種被稱為Llama的獨立大語言模型。相比OPT，這個模型更小。一位知情人士說，這個團隊認為較小的模型在生成對用戶問題的響應方面會更加高效。

因此，兩個研發團隊都需要使用Meta內部的計算資源，一些研究人員覺得這就像是一場競爭。兩位知情人士透露，FAIR的一些領導就曾質疑為什么會有兩個團隊同時開展類似的項目，對有限的計算資源的爭奪加劇了團隊之間的緊張關系，特別是相較于北美的OPT團隊，巴黎的Llama團隊獲得的計算資源較少，因此Llama團隊感覺被忽視了。

Pineau說，Meta的計算資源如何分配是由來自不同業務部門的一組領導者根據每月情況決定的。這些決定取決于組織的優先事項以及項目距離發布的時間。如果FAIR的成員對資源分配提出異議，那么分配情況的爭議就將升級匯報到Pineau那里。

Joelle Pineau（圖源：領英）

根據The Information報道，在采訪中，Pineau承認Llama和OPT團隊在計算資源分配的問題上存在“一些緊張關系”，雖然他們不能完全同意每個人想要的東西，但現在他們正試圖找到一種方法讓大家都覺得自己的聲音被聽到了。

據知情人士透露，2月份發表Llama原始研究論文的14名作者中，一半以上已經離開了Meta。其中Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux目前在法國AI初創公司Mistral AI工作，這家公司是Lacroix和Lample于6月共同創立的。還有Llama的作者之一、FAIR的研究主任Armand Joulin也于5月離開了Meta，加入了蘋果公司。

Pineau在接受The Information采訪時提到，留住和吸引優秀人才可能是她花費最多時間的地方，因為沒有優秀的研究人員就什么都做不了。

而這些研究人員的離開提醒人們，無論是大型還是小型科技公司，在開發生成式AI時都面臨著計算能力短缺的緊張局勢，大型科技公司擁有比大多數公司更多的計算資源，但即便是這些公司，它們能提供的資源也是有限的。同時，隨著AI行業的發展，眾多企業都想要把AI融入其產品和服務中，對AI人才的需求在激增，Meta的大量研究人員離職也凸顯出，大型科技公司在留住珍貴的AI研究人員方面也面臨著挑戰。

除了計算資源分配問題讓人頭疼，不斷有人員離開也給FAIR的各個研究團隊的士氣造成了影響。

2月，FAIR發布了開源模型Llama，并授權用于研究。有知道內情的人士說，在Llam發布時間的前一周，FAIR巴黎分部負責人Antoine Bordes離開了Meta，他離開的理由是他在巴黎工作就像在加利福尼亞州工作一樣，工作時間顛倒混亂，這讓他感到疲憊不堪。

Antoine Bordes（圖源：彭博社）

Bordes的離職進一步孤立了遠在巴黎的Llama團隊，使其與北美總部的領導層隔閡更深。Pineau在The Information的采訪中承認，Bordes的離職確實讓他帶領的Llama團隊人心惶惶、士氣低落。

不過Llama團隊并不是唯一出現士氣問題的團隊。幾個月來，OPT團隊也不斷有人員離職，團隊的人才一直在流失。FAIR根據OPT團隊成員在職場社交平臺領英（LinkedIn）的個人資料發現，在2022年5月發表的一篇關于OPT的論文中列出了19位作者，這19位作者已經有差不多一半不在Meta工作了。

從去年11月開始，扎克伯格在全公司范圍內進行裁員，FAIR也未能幸免。

兩位知情人士透露，今年2月，FAIR領導決定將互相競爭資源的大模型研發團隊的一些成員聚集起來，集中精力開發后來的Llama 2模型。并且，OPT團隊正在開發的更大模型被放棄了。Pineau說，OPT團隊的人員流失是做出這個決定的原因之一，所有團隊都希望在某個時候擴展規模，這時候就必須要選擇一個團隊或者讓幾個團隊的成員一起工作。

同樣是2月，Meta成立了一個新團隊，專注于為Meta的應用程序開發生成式AI。這個新團隊由蘋果公司前高管艾哈邁德·阿爾·達赫勒（Ahmad Al-Dahle）作為負責任，從FAIR吸納了大量人員，據Pineau說，其中包括開發Llama 2的團隊成員，這進一步削弱了FAIR的團隊力量。

Llama 2（圖源:AI BUSINESS）

自從2月Llama被推出，該模型持續贏得收獲好評。據The Information之前的報道，在Llama發布后的幾個月，有AI研究人員使用Llama開發出了其它開源的大語言模型，如Vina，其功能幾乎與其它公司自主開發的模型不相上下。發布開源AI模型將使Meta受益匪淺，如扎克伯格所說，隨著開發者不斷改進模型，Meta公司可以將這些改進融入其廣告和消費產品中。

Meta在7月發布了Llama 2，8月發布了Llama的代碼生成版本。最近，在公司的門洛帕克園區舉辦的生成式AI社交活動中，Meta向與會者贈送了駱駝毛絨玩具。

盡管Llama系列取得了成功，但由于Meta對其AI研究發展方向的想法正在發生變化，研究人員之間的緊張關系仍然存在。FAIR一直以來都有由研究人員領導的自下而上的文化，他們以推動AI領域的突破為核心使命。但隨著扎克伯格越來越傾向于將AI融入Meta的應用程序，FAIR的關注點也隨之縮小。他們取消了一些不以產品為導向的研究，比如蛋白質折疊。

同時，項目在專注以產品為導向開發生成式AI的團隊與FAIR之間來回轉移。Pineau說，因為生成式AI發展得太快，大家正在共同探索，FAIR應該負責哪個項目？生成式AI團隊應該負責哪個項目？最終，人們應該會看到兩個團隊都發布工作成果。

根據The Information報道，因為計算資源分配問題、團隊士氣問題、以及公司人員與AI研究方向安排問題，Llama的原始研發團隊中一半以上的研究人員已經離開了Meta。

失去了大量熟練的研究人員可能會對Meta造成影響，在生成式AI這個競爭激烈的領域中，Meta需要積極采取措施來留住人才，以此保證其生成式AI的發展戰略能夠順利實施。

未來，Meta會采取哪些措施減少人才流失，我們將持續關注。

來源：The Information

關鍵詞：