光明網(wǎng)訊今年以來，以ChatGPT、文心一言等為代表的大語言模型火爆出圈，人工智能（AI）能否超越人類的問題引發(fā)各界熱議。5月29日，由中國智能計(jì)算產(chǎn)業(yè)聯(lián)盟組織召開的“2023中國算力發(fā)展研討會”在中科院計(jì)算所召開。此次研討會以ChatGPT下算力的機(jī)遇與挑戰(zhàn)為主題，匯集了業(yè)內(nèi)多位權(quán)威專家學(xué)者，從技術(shù)、生態(tài)等多維度展開深度交流研討，厘清算力產(chǎn)業(yè)的發(fā)展風(fēng)向，并就當(dāng)下人工智能基礎(chǔ)設(shè)施及算力服務(wù)建設(shè)等課題給出應(yīng)對之策。

研討會上，中國科學(xué)院院士陳潤生表示，人工智能的發(fā)展不是人所能阻擋的，這是科學(xué)發(fā)展的本質(zhì)。他同時指出，大語言模型中出現(xiàn)的“涌現(xiàn)（Breakthroughness）”和“頓悟（Grokking）”現(xiàn)象，值得大家思考。

【資料圖】

何為“涌現(xiàn)”？一個復(fù)雜系統(tǒng)由很多微小個體構(gòu)成，這些微小個體湊到一起，相互作用，當(dāng)數(shù)量足夠多時，在宏觀層面上展現(xiàn)出微觀個體無法解釋的特殊現(xiàn)象，即為“涌現(xiàn)”。陳潤生形象地解釋說，“我給它（大模型）很多學(xué)習(xí)數(shù)據(jù)，結(jié)果它的答案里面會出現(xiàn)學(xué)習(xí)數(shù)據(jù)里沒有的事，這種現(xiàn)象叫涌現(xiàn)?！贝竽Ｐ偷倪\(yùn)算表明，當(dāng)訓(xùn)練數(shù)據(jù)很大時（比如超過了1000億），就會出現(xiàn)涌現(xiàn)現(xiàn)象，規(guī)模小的時候不會出現(xiàn)這個現(xiàn)象。

需要明確的是，目前科學(xué)界對涌現(xiàn)現(xiàn)象是有爭論的。比如，斯坦福大學(xué)某教授認(rèn)為這是度規(guī)問題，牽扯到度量、基本物理坐標(biāo)系等。

“自然語言處理過程中，由于整個計(jì)算量的迅速增加而出現(xiàn)的涌現(xiàn)現(xiàn)象，這個是新問題，值得思考”，陳潤生說。

何為“頓悟”？陳潤生解釋，“你訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)的過程中，一遍它不懂，兩遍也不懂，第四遍還不懂，第五遍一下學(xué)會了，就像小孩學(xué)東西一樣，教一兩遍不懂，教到N+1遍突然就學(xué)會了。”

他認(rèn)為，這是人腦學(xué)習(xí)的一種模式，“學(xué)到某一個時間開竅了”，“計(jì)算機(jī)不可能出現(xiàn)頓悟，但是大模型會出現(xiàn)頓悟的情況”。

不久前，ChatGPT的主要競爭對手之一Claude將語境窗口token數(shù)擴(kuò)展到10萬，相當(dāng)于7.5萬個單詞，大大超越GPT-4語境窗口的8192 tokens。這意味著用戶可以將高達(dá)500頁的文檔上傳到Claude，它可以在不到1分鐘之內(nèi)就理解、消化這些信息，并基于上傳的信息回答用戶的問題。

Claude是Anthropic公司推出的，這家公司由前OpenAI員工創(chuàng)立，自2022年底以來，谷歌已向該公司投資了近4億美元。

對此，陳潤生認(rèn)為，目前大模型的學(xué)習(xí)速度比我們想象中快得多，“這兩家公司（OpenAI與Anthropic）你追我趕，說不定再過一段時間，GPT-5出來之后又比Claude強(qiáng)了，它發(fā)展那么快，將來人們趕不上?！?/p>

“更麻煩的是，這些大模型公司都在考慮去操縱第三方設(shè)備”，陳潤生說，“能夠去操縱第三方設(shè)備是令人擔(dān)憂的一件事情，如果操縱和安全、國防相關(guān)的東西，那就不得了了?！?/p>

陳潤生坦言，人類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)遠(yuǎn)比目前的大模型復(fù)雜得多，人工智能的發(fā)展還有很長的路要走，“現(xiàn)在的（人工智能）神經(jīng)網(wǎng)絡(luò)在空間結(jié)構(gòu)模型上應(yīng)該有革命性的變化，也許那個時候，（AI）真的能夠超越人的智力。”（記者 戰(zhàn)釗）

關(guān)鍵詞：