ChatGPT里的清華元素
; q: C6 E+ Z- `6 c, [
OpenAI旗下大語(yǔ)言模型ChatGPT的成功讓人眼前一亮,更讓外界意想不到的是,這個(gè)產(chǎn)品不是出自擁有數(shù)千名人工智能團(tuán)隊(duì)的谷歌或者Facebook,而是僅成立8年只有三百多人的OpenAI。
; b0 F ^- j+ d" Y& X
來(lái)自全球各地的頂尖人才為OpenAI和ChatGPT的成功奠定了基礎(chǔ)。今年1月,OpenAI創(chuàng)始人及CEO奧特曼透露公司員工人數(shù)為375人 ,與谷歌和臉書(shū)等科技巨頭從事人工智能工作的數(shù)千名員工相比,這是一個(gè)很小的數(shù)字。“我知道我不應(yīng)該吹噓OpenAI,我們要感謝我們所有的外包公司為訓(xùn)練模型提供了必不可少的數(shù)據(jù)!
+ j. X8 p6 ~' T8 @. {
而真正在ChatGPT項(xiàng)目中做出貢獻(xiàn)的人員,據(jù)OpenAI官網(wǎng)顯示,共有87人。ChatGPT只是OpenAI其中的一個(gè)項(xiàng)目,比如OpenAI之前發(fā)布的文本生成圖像的大模型DALL-E,兩個(gè)半月注冊(cè)人數(shù)突破100萬(wàn),也在人工智能領(lǐng)域備受關(guān)注。
( r# _+ Z& o: Z/ \
在最近一份由智譜研究聯(lián)合AMiner發(fā)布的《ChatGPT團(tuán)隊(duì)背景研究報(bào)告》中,這群人的顯著特征被歸納為了“年紀(jì)很輕”、“背景豪華”、“聚焦技術(shù)”、“積累深厚”、“崇尚創(chuàng)業(yè)”和“華人搶眼”幾個(gè)方面。 : l" m8 T' `+ k+ a
智譜研究發(fā)布的報(bào)告顯示,該團(tuán)隊(duì)平均年齡為32歲,“90后”是主力軍。作為全球人工智能頂尖研發(fā)團(tuán)隊(duì),其成員絕大多數(shù)擁有名校學(xué)歷,但也并非“清一色”研究生學(xué)歷,而是本、碩、博人數(shù)相對(duì)均衡。同時(shí),其成員大多具有全球知名企業(yè)工作經(jīng)歷,其中,從谷歌跳槽而來(lái)的有10人,是為其貢獻(xiàn)最多人才的外部企業(yè)(ChatGPT基于的也是谷歌提出的Transformer模型)。作為應(yīng)屆生直接加入ChatGPT 團(tuán)隊(duì)的也有11人,但不論是來(lái)自其他企業(yè),還是作為應(yīng)屆生加入的人員,背景都相當(dāng)“豪華”。 3 C, j/ A3 [. |+ i2 [2 I) P
而在技術(shù)上,該團(tuán)隊(duì)共有包括OpenAI 聯(lián)合創(chuàng)始人Wojciech Zaremba在內(nèi)的5人入選了今年“AI 2000 全球人工智能學(xué)者”名單。該名單由AMiner 每年推出,評(píng)選出全球人工智能 20個(gè)細(xì)分領(lǐng)域前 100 名最具影響力學(xué)者。這意味著,在 ChatGPT 不足百人的團(tuán)隊(duì)中,就有 5 人屬于全球人工智能各領(lǐng)域頂尖學(xué)者,技術(shù)積累深厚。 . x5 o( v, J$ o) Y$ A
此外,最值得一提的是,華人成為了該團(tuán)隊(duì)中一支重要的科技創(chuàng)新力量,共9人,占團(tuán)隊(duì)總?cè)藬?shù)的比例超10%。華人學(xué)者歐陽(yáng)龍更是參與了與 ChatGPT 相關(guān)的 7 大技術(shù)項(xiàng)目中的 4 大項(xiàng)目的研發(fā),是InstructGPT 論文的第一作者,也是RLHF 論文的第二作者!翱梢(jiàn)他是這兩個(gè)關(guān)鍵技術(shù)項(xiàng)目的核心人員!敝亲V研究分析稱。 5 I, s9 J0 q! [9 W
在華人團(tuán)隊(duì)中,有5人本科就讀于中國(guó)內(nèi)地高校,其中3人(翁家翌、趙盛佳、袁啟明)均來(lái)自于清華大學(xué),并各有1人本科畢業(yè)于華中科技大學(xué)、北京大學(xué)/香港大學(xué)。不過(guò),這5人后續(xù)均在海外高校繼續(xù)深造。 6 b% P, ^ N8 \# y: a
其中,翁家翌是ChatGPT團(tuán)隊(duì)里最年輕的研發(fā)工程師之一。他于2020年從清華大學(xué)計(jì)算機(jī)系本科畢業(yè),進(jìn)入卡內(nèi)基梅隆大學(xué)攻讀碩士學(xué)位。在清華期間,翁家翌曾加入清華大學(xué)人工智能研究院基礎(chǔ)理論研究中心主任朱軍領(lǐng)導(dǎo)的TSAIL實(shí)驗(yàn)室,并在大三暑假加入加拿大圖靈獎(jiǎng)獲得者 Yoshua Bengio 的實(shí)驗(yàn)室,深入開(kāi)展RL和NLP的研究。其更是一度以本科生身份,成為基于 PyTorch 的強(qiáng)化學(xué)習(xí)算法庫(kù) Tianshou(天授)的第一作者。 , N. j4 ?' [& W2 i! Y. a# i! s' j
清華大學(xué)也以3名成員的數(shù)量,與卡內(nèi)基梅隆大學(xué)一起,并列ChatGPT團(tuán)隊(duì)畢業(yè)院校的第7名。排在他們之前的分別是斯坦福大學(xué)(14 人)、加州大學(xué)伯克利分校(10 人)、麻省理工學(xué)院(7 人)、劍橋大學(xué)(5 人)、哈佛大學(xué)(4 人)和佐治亞理工學(xué)院(4 人)。 5 P' c9 r- h: m) e! Q1 Z+ A
' T6 l8 M9 a6 w7 r( @7 }% G1 ^$ e
# N9 y3 Y: u1 o
清華走出的人工智能大牛 6 }1 f8 y5 ^5 }' P3 E
ChatGPT團(tuán)隊(duì)中出現(xiàn)不少的華人力量和清華元素令人意外。但實(shí)際上,華人尤其是清華系,早已成為全球人工智能領(lǐng)域中的一個(gè)中堅(jiān)力量。 ' t R& x0 n* ~/ M" |4 C" C
2021年,AMiner曾根據(jù)AI2000人工智能全球最具影響力學(xué)者榜單,結(jié)合學(xué)者H-指數(shù)、論文數(shù)和影響因子,并經(jīng)過(guò)去重處理后發(fā)現(xiàn),過(guò)去十年,全球?yàn)锳I發(fā)展貢獻(xiàn)了力量的高層次學(xué)者共有1833位。這些人工智能領(lǐng)域的技術(shù)大牛共覆蓋了37個(gè)國(guó)家,其中,美國(guó)1244人,占比62.2%,中國(guó)以196名位列第二,遠(yuǎn)超以113名排在第三的德國(guó)。
( U" [, X$ I9 H+ a" L' N$ Z0 U
而在這196名華人學(xué)者中,無(wú)論是本碩博畢業(yè)院校,清華大學(xué)都排在最前列。如本科畢業(yè)于清華的有41位,排在其后的分別是中國(guó)科技大學(xué)(21位)、北京大學(xué)(19位);碩士階段畢業(yè)院校中,國(guó)外的麻省理工和伊利諾伊大學(xué)進(jìn)入前十;到博士階段,排名前十的院校中,國(guó)外高校整體數(shù)量則進(jìn)一步增加到一半占比。
$ `0 o H1 c" R7 H3 z2 l: }3 q8 V
類似的情形依然還在上演。在最新的“AI2000全球人工智能學(xué)者”名單人工智能細(xì)分板塊下,以“在某個(gè)領(lǐng)域的頂級(jí)期刊和會(huì)議上發(fā)表的論文的總引文數(shù)”作為排序標(biāo)準(zhǔn)的榜單前100學(xué)者中,共有19名華人,占比約為兩成,前10榜單中,華人學(xué)者占比更是達(dá)到了四成。
# h6 O8 e" c- X( d2 d
其中,位列第一的何凱明,本科就讀于清華大學(xué),博士畢業(yè)于香港中文大學(xué)多媒體實(shí)驗(yàn)室,并在2011年加入微軟亞洲研究院(MSRA),主要從事計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)研究,后來(lái)又在2016年,加入Facebook AI Research(FAIR)擔(dān)任研究科學(xué)家。
0 N# t# A- I% j r6 {: u& ^) _
* d) `1 K" E) S8 q
國(guó)內(nèi)人工智能的創(chuàng)業(yè)公司里也有不少清華的身影。 ! `) l5 R$ M$ P3 c' X9 z2 T: h/ o6 B9 A
被稱為“AI四小龍”的曠視科技,其CEO印奇、CTO唐文斌和高級(jí)副總裁楊沐均畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)實(shí)驗(yàn)班,也即傳言中“狀元擠破頭都進(jìn)不去”的“姚班”,師從2000年圖靈獎(jiǎng)獲得者,同時(shí)也是唯一一個(gè)獲得該獎(jiǎng)項(xiàng)的中國(guó)人——姚期智。而當(dāng)他們?cè)?011年創(chuàng)業(yè)時(shí),印奇才不過(guò)23歲,唐文斌24歲,楊沐22歲。
. b3 t1 t9 k; _# G, F$ Y
同屬于“AI四小龍”的商湯科技,雖然創(chuàng)始人湯曉鷗并非出自“清華系”,而是在中科大完成本科學(xué)業(yè)后外出留學(xué),但聯(lián)合創(chuàng)始人之一的楊帆卻先后在清華大學(xué)獲得了電子工程學(xué)學(xué)士學(xué)位及碩士學(xué)位,001號(hào)員工徐持衡則是在高二通過(guò)奧賽保送至了清華,并在2013年大學(xué)畢業(yè)后加入湯曉鷗的實(shí)驗(yàn)室,后來(lái)成為商湯科技的聯(lián)合創(chuàng)始人、001 號(hào)員工。而在去年從商湯執(zhí)行研究總監(jiān)崗位上離職回到母校任職的代季峰,同樣來(lái)自于清華,并在清華一路攻讀到博士以后,一度進(jìn)入微軟亞洲研究院工作5年之久。
7 p; k9 L' H) ^: q2 \. Y8 b
不過(guò),無(wú)論是商湯還是曠視主攻的方向是機(jī)器視覺(jué),而不是自然語(yǔ)言處理。而這兩家企業(yè)也遇到了人工智能技術(shù)不好落地和商業(yè)變現(xiàn)難的窘境,一直以來(lái)虧損比較嚴(yán)重。
, s# X: Y; g: H! F+ `* v
在此之外,據(jù)不完全統(tǒng)計(jì),包括同是“姚班”學(xué)生的小馬智行聯(lián)合創(chuàng)始人兼CTO樓天城、英語(yǔ)流利說(shuō)創(chuàng)始人兼CEO王翌、地平線聯(lián)合創(chuàng)始人兼CTO黃暢、兆易創(chuàng)新創(chuàng)始人兼CEO朱一明、被賽靈思收購(gòu)的深鑒科技創(chuàng)始團(tuán)隊(duì)姚頌、汪玉、韓松、單羿等諸多人工智能領(lǐng)域創(chuàng)業(yè)公司的創(chuàng)始人和聯(lián)合創(chuàng)始人均畢業(yè)于清華。而在更早之前的搜狗創(chuàng)始人王小川也是畢業(yè)于清華大學(xué)計(jì)算機(jī)系。 / n, w, p$ O0 }0 e3 r4 u7 Y
各大廠的AI業(yè)務(wù)線同樣有不少來(lái)自清華的大牛。如華為云人工智能領(lǐng)域首席科學(xué)家田奇,阿里巴巴平頭哥首席科學(xué)家、達(dá)摩院高級(jí)研究員謝源,京東集團(tuán)副總裁兼京東人工智能研究院常務(wù)副院長(zhǎng)、深度學(xué)習(xí)及語(yǔ)音和語(yǔ)言實(shí)驗(yàn)室負(fù)責(zé)人何曉冬等。 |