王晉東 投稿

量子位 | 公眾號 QbitAI

(資料圖片僅供參考)

最近，電子工業(yè)出版社送了我一本《一本書讀懂AIGC：ChatGPT、AI繪畫、智能文明與生產(chǎn)力變革》，不禁感嘆：現(xiàn)在連寫書都這么卷了！

要知道，ChatGPT 于去年11月30日剛剛發(fā)布、距今僅4月有余。

借用《百年孤獨》的開頭，我想寫這樣的句子：

許多年后，面對AI對人類的全面奴役，曾經(jīng)的AI科研工作者將會想起他們第一次登錄ChatGPT的那個遙遠的下午。

也曾無數(shù)次想借用電影《終結(jié)者》的故事：

回到過去，回到2022年11月29日，將保存有ChatGPT模型參數(shù)的服務器引爆，于是得以繼續(xù)之前的科研和生活。

恰逢世界讀書日前后，故寫些讀后感。

何為AIGC？

AIGC是AI-generated content的縮寫，翻譯成中文可以叫做 人工智能內(nèi)容生成 ，或者叫 AI內(nèi)容生成 。

通俗地講，即是計算機自動生成一些人想要的內(nèi)容，如圖片、視頻、音頻、文本、網(wǎng)頁、代碼等。

不難看出，AIGC可以輔助用戶做很多之前做不到的事情、提高工作效率 （對應著更多人下崗） ：

AI繪畫 ，可以以極快的速度生成插畫 （取代部分插畫師和設計師） ；

AI代碼生成 ，可以提高程序員的工作效率 （取代部分低端程序員：自己寫代碼訓練AI最后把自己給取代了） ；

AI聊天+文字生成 ，可以取代部分線上客服、低端文秘、新聞報道、文案寫作策劃、活動布置等很多需要與文字打交道的崗位……

而ChatGPT則是其中“最靚的仔”，發(fā)布后2個月之內(nèi)就在全球范圍內(nèi)收獲了1億用戶，是歷史上用戶增長最快的產(chǎn)品，我們在此無需對其火爆程度進行過多介紹。

今年3月12日，其升級版、GPT-4也正式發(fā)布了。

放眼2023年，所有人、特別是AI科研人，都經(jīng)歷了從未有過的連續(xù)震撼，幾乎每天醒來都有一個大新聞：

△內(nèi)容出處：https://mp.weixin.qq.com/s/Wn7HzqfkDbRuFb-HCegitg

《莊子·養(yǎng)生主》里寫道：“吾生也有涯、而知也無涯。以有涯隨無涯，殆而已矣！”

AIGC對AI科研人的影響和顛覆

上述的震撼顯然只是個前菜，震撼過后便是更大、更直接的影響。

原因其實說來也簡單——療效好唄。

（注：本文僅分析科研崗位。）

高校和研究所

此時的你，如果是個AI方向的高校教師或研究員，那么你可能發(fā)現(xiàn)，一夜之間大部分的教師群、項目群、學術(shù)群都在討論所謂的大模型。

更悲慘的是：

你發(fā)現(xiàn)學生在質(zhì)疑自己的研究方向：老師，這個方向還有什么意義？ChatGPT做得這么好了，我們打不過它的。

你打不過、想加入，但是發(fā)現(xiàn)你沒錢買顯卡：是的，一塊計算顯卡A100的售價在10萬人民幣左右，而自然語言處理大模型動輒需要幾塊、幾十塊的卡來開發(fā)和試錯。試問有多少高校教師可以負擔得起？

你想申請國家項目來買顯卡：申請過項目的都懂，哪里會允許你用幾百萬來買顯卡？噢，不好意思，青年基金只有30萬、面上基金也就幾十萬……

你跟學生說，沒有卡我們就做后處理、做fine-tune、做prompt tuning。但是你發(fā)現(xiàn)：其實這些操作也是要卡的，普通教師還是買不起。

你想躺平了、讓學生還是沿著之前的方向水文章：學生說，老師，審稿人問我們說我們這個方法能不能用在大模型上、如果用不上去的話有啥意義？我之后怎么找工作？

你想站出來反對大模型、要找它的漏洞，卻發(fā)現(xiàn)：好的東西都是不開源的；你僅能從人家的輸出結(jié)果上進行分析、并且人家的模型在快速迭代、可能今天有的問題、明天就莫名其妙被修復了……

工業(yè)界

此時的你，如果是個工業(yè)界的研究員、像筆者一樣的大頭兵，你同樣發(fā)現(xiàn)，一夜之間，昨天剛和老板說要做的事情突然變得不再重要：

你：我要做更簡單更基礎的學習理論，對現(xiàn)有的學習范式進行顛覆。 老板：能用在大模型上嗎？ 你：我覺得self-attention的魯棒性需要研究一下，它對對抗攻擊也沒那么魯棒，只是比CNN好點。 老板：能用在大模型上嗎？ 你：我最近搞了個厲害的解耦算法，簡單有效。 老板：大模型時代還需要做解耦嗎？ 你：我想再探索一下圖神經(jīng)網(wǎng)絡做蛋白質(zhì)分子結(jié)構(gòu)預測。 老板：大模型能做嗎？ 你：Causality還是挺重要的，你看Bengio都一直在研究。 老板：大模型還需要causality嗎？ 你：那我看看大模型？ 老板：這是個不錯的方向。 你：那我需要64張A100來fine-tune一下LLaMA。 老板：這個真沒有。 你：。。。。。。

是挑戰(zhàn)、更是普通人的機遇

筆者也是無數(shù)普通人中的一員、同樣經(jīng)歷了上述關于大模型的”靈魂拷問“。

所謂痛定思痛、知恥而后勇，經(jīng)歷過無數(shù)失眠的夜、寫壞了幾支劣質(zhì)的筆、也摸完了十條無聊的魚，筆者現(xiàn)在則認為：

大模型時代雖然是挑戰(zhàn)，但更是普通人的機遇。

為何這么說？

因為ChatGPT等大模型，第一次把普通人和MIT、Stanford、CMU、國內(nèi)清北等一眾牛校大佬拉到了一個水平線上。你發(fā)現(xiàn)：原來大家都沒搞出來ChatGPT呀；之前那些東西搞得再好，也沒用了。甚至于，普通人的損失還少點。

那么，大模型時代，普通人如何做科研？

以下僅為個人觀點，如不同意，就是你對。

新的分析和評測

大模型時代顯然需要新的分析和評測方法。不同于以往以公開測試集為準的機器學習，大模型現(xiàn)在可以將所有的公開數(shù)據(jù)集全部吃下 （即overfit） 。因此，不宜采用傳統(tǒng)方式進行評測。

可以思考：

更有難度、更符合人類標準的評測集是什么樣的？ 大模型的邊界在哪里、什么樣的數(shù)據(jù)可以測出來？ 小模型和大模型到底有什么區(qū)別、僅僅是benchmark得分不同嗎？ 如何公平地評測不同大模型的能力？ 到底何為”AGI“?如今的評測是否是AGI評測？

新的理論和方法

大模型對于做理論和基礎研究的科研人員是個毀滅性的打擊。

原因很簡單，深度學習理論在目前也無法很好地分析多層神經(jīng)網(wǎng)絡、更不必說更大、更不開源的黑盒大模型了。

因此，理論研究人員可能會出現(xiàn)”巧婦難為無米之炊“的情形、不知道自己還能做什么。

但筆者認為，基礎理論、數(shù)學、統(tǒng)計、概率等基礎學科的重要性仍然無需多言，但需要結(jié)合大模型進行一些探索和突破。

例如：

為什么CLIP僅采用image-text pair進行對比學習、泛化能力就很好？ 如果是訓練數(shù)據(jù)重要，那為何400M數(shù)據(jù)的CLIP和2B數(shù)據(jù)的Laion-CLIP在長尾數(shù)據(jù)上并沒差太多？ 數(shù)據(jù)、模型、算法、優(yōu)化，哪個更重要？ 如何加速大模型的訓練，如從數(shù)據(jù)篩選、優(yōu)化器更新的角度？

更好的人與AI協(xié)同

既然打不過，那索性就加入。我們可以將大模型看作一次大的技術(shù)革命、一種新的人機交互方式。

那么，此刻的你我就處于這種新的人機交互、人與AI協(xié)同的革命前夜，應該多去思考如何利用大模型的能力來做出更多變革：

如何提高寫Prompt的能力、最好是自動寫好的Prompt？ CV、NLP、Audio都有大模型，如何利用這些模型進行更好的多模態(tài)信息融合？ 如何設計下一代人-AI協(xié)同交互的用戶界面？ 如何將大模型快速輕量地部署于端側(cè)設備？ 如何更輕量地微調(diào)大模型以服務于下游小數(shù)據(jù)領域？

找大模型的短板

不得不說目前的大模型并不完美、其問題多多。

筆者也在年初”卷“了一周、搞出了第一個ChatGPT的魯棒性評測。我們發(fā)現(xiàn)大部分大模型其實對于對抗攻擊并不魯棒、其抗干擾能全力亟待提升。

因此，一個自然的研究方向便是”找茬“：

大模型的OOD能力是不是夠了？有大模型不需要OOD了？ 大模型的長尾是不是做得很好了？這個筆者探索過了，顯然不太行。 如何使大模型免受prompt injection、prompt leakage等攻擊？ 大模型生成內(nèi)容如何判別是hallucination還是真的？

更負責任、社會化的AI技術(shù)

新的技術(shù)革命需要新的社會變革，而變革的過程可能是充滿荊棘的。

好的研究視野應該放眼全社會、做出更負責任和更社會化的AI研究 （Responsible AI, or societal AI） ，方可確保技術(shù)不被濫用、更好地服務人類：

如何進行有效的value alignment使AI準確地滿足人的價值觀？ 如何對AI生成的內(nèi)容進行有效監(jiān)管使其實不被濫用？ 如何分析生成式AI對教育、生產(chǎn)力、社會、心理學等諸多層面的影響？ 新技術(shù)應該是”有溫度“的：如何引導”前人“更加無痛地完成新技術(shù)的更迭？

此類問題的每一個都值得深入探討。

值得一提的是，筆者所在的研究組——微軟亞洲研究院 （MSRA） 社會計算組的大部分研究人員均在做相關研究，也期待未來有更多的合作者加入進來一起合作。

社會化問題任重而道遠，需要跨學科、全社會的長期密切交流合作。

好了，讀到這里，你還覺得自己的研究一片灰暗嗎？面對所有的挑戰(zhàn)、 只要你快速轉(zhuǎn)變以調(diào)整方向 ，你也可以成為未來的“大佬”。

讓我們乘著大模型的東風、繼續(xù)乘風破浪吧！

視頻版：

https://www.bilibili.com/video/BV1hM41157ZF/

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態(tài)

關鍵詞：