Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架( 二 )


除了文本、數學公式、代碼任務之外 , 它還可以執行化學式、蛋白質序列等多模態任務 。

Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



Galactica 1200億參數版本在許多科學類任務上性能超越OpenAI的GPT-3、DeepMin的Chinchilla與Gopher、以及開源的BLOOM 。
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



然鵝,測試基準畢竟是死的,一旦進入生產環境開放給用戶,還是會出現開發時預料不到的情況 。
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



問題出在哪?
在Hacker News上有人認為,語言模型終究是在“對語言建?!倍皇菍热?。
就像AI繪畫模型一樣,你讓它畫“騎馬的宇航員”它就能畫出來 , 雖然這不太可能發生,但是很有趣 。
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



類似的討論也發生在Twitter上 。如果你讓AI生成一篇關于“生活在太空的熊”的維基頁面 , AI也會試著生成 。
有人認為,不,AI需要判斷出這個要求不合理 。
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



關鍵就在于,人們對圖片和文字的要求是不一樣的 。
圖片中的內容不合理,人們只會覺得有趣而接受 。而文字的內容錯了,那就不可接受 。
LeCun則認為這種工具的用法應該是輔助駕駛,它不會幫你寫好論文 , 只是幫你在過程中減輕認知負擔 。
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖



以谷歌為代表的AI大廠,近年來對大模型特別是生成式模型的發布非常謹慎,像是對話模型LaMDA和AI繪畫Imagen等都不開源、不給Demo或只給限定場景下的Demo 。
另一方面 , 以Stable Diffusion為代表開源項目推動了整個領域的技術進步與應用普及,但也在版權和生成有害內容方面引發一些問題 。
你更支持哪種做法?或者還有第三條路么?
Galactica:
https://galactica.org/
參考鏈接:
[1]https://news.ycombinator.com/item?id=33611265
[2]https://twitter.com/Michael_J_Black/status/1593133746282106887
[3]https://twitter.com/paperswithcode/status/1592546933679476736
Meta大模型成了“科學造假發動機”,發布3天就在爭議中下架

文章插圖


相關經驗推薦