規(guī)模是做好生成式人工智能的撒手锏，大數據、大模型和大算力對于生成式人工智能缺一不可。”在近日舉行的第七屆數字中國峰會之中國移動人工智能生態(tài)大會上，中國工程院院士、鵬城實驗室主任、北京大學博雅講習教授高文表示。高文院士回顧了人工智能發(fā)展的三次浪潮，并對影響當下生成式人工智能發(fā)展的關鍵因素進行了分析。
歷經三次浪潮
1956年夏天，美國達特茅斯學院舉行了一場研討會，在會上麥卡錫首提“人工智能”，標志著人工智能元年的到來。追憶歷史，高文表示，從1956年開始人工智能經歷了三次浪潮：以推理研究為主的第一次浪潮，持續(xù)20年左右時間；以專家系統(tǒng)為主的第二次浪潮，持續(xù)30年左右時間；以及從2006年開始的第三次浪潮。其中第三次浪潮又包括兩大技術進展：從2009年開始的判別式人工智能，從2018年開始的生成式人工智能。
2009年，華裔科學家李飛飛和李凱教授提出imageNet（圖像網絡），一石激起千層浪，業(yè)界八仙過海各顯神通，紛紛基于imageNet提出各自的判別式人工智能算法，直到2012年深度神經元網絡出現，以絕對優(yōu)勢令其他算法黯然失色，將百花齊放的格局進行收斂。2015年微軟研究院何凱明、孫劍等聯(lián)合提出ResNet（殘差網絡），又將判別式人工智能帶到了新高度。此后，從深度神經網絡DNN到卷積神經網絡CNN再到循環(huán)神經網絡RNN，深度網絡快速迭代，不斷走向新的技術高度。
“判別式人工智能以模式識別見長，如圖像分類、人臉識別、智能監(jiān)測等，如今廣泛應用的人臉識別正是判別式人工智能的應用。判別式人工智能與人的對象認知學習接近，可以根據學習速度、記憶規(guī)模、判別準確度判斷其結果好壞。”高文分析。
大語言模型破解長語言序列難題
不過，判別式人工智能通過在神經網絡中輸入大量數據進行快速判別，擅長圖像和矩陣識別，對于長語言序列則力不從心。在這樣的形勢下，大語言模型應運而生，致力于解決長語言序列問題，而生成式人工智能則是大語言模型的最主要突破。
高文表示，自2018年開始生成式人工智能快速迭代，從大語言模型LLM到ChatGPT再到Sora多模態(tài)，萬變不離其宗的是底層關鍵技術GPT（生成式預訓練模型）。GPT引入注意力機制，使得一個長串中無論相隔多遠的兩個相關數據都能連接在一起，并訓練出關聯(lián)度。“GPT的核心算法是用大量序列做大模型預訓練，關鍵是注意力機制。由于GPT算法對業(yè)界并無差別，因此具體應用效果取決于學習速度、記憶規(guī)模、表達準確度等。”高文認為。
雖然如今ChatGPT如火如荼，但是GPT起初并沒有激起太多漣漪。這是因為GPT使用起來問題較多：給出的答案要么過于簡單，要么過于復雜，要么不合規(guī)，存在意識形態(tài)、文化習慣、行業(yè)差別等方面的問題。
ChatGPT的出現改變了這一現象，使得業(yè)界對于人工智能的印象和投入力度大為改觀。不過從底層技術看，從GPT到ChatGPT并沒有改變，其不同在于：一是ChatGPT增加了InstructionGPT指令，通過微調、對齊和抑制，使得回答更加“人模人樣”；二是引入基于人類反饋的增強學習RLHF，解決合規(guī)問題和垂應用適配等。
大數據、大模型和大算力缺一不可
在中國移動人工智能生態(tài)大會上，中國移動發(fā)布了“萬千百”智能基座，其中，“萬”指“萬”卡互聯(lián)并行加速算力供給，中國移動年內將投產3個近兩萬卡超大規(guī)模單體智算中心和12個區(qū)域智算中心，廣泛升級1500個邊緣節(jié)點，為全社會提供澎湃算力。
中國移動在智算中心方面的規(guī)模投入并非個例，隨著生成式人工智能的發(fā)展，全國各地多個智算中心如雨后春筍不斷出現，而這背后的原因是人工智能的發(fā)展需要算力支撐。
“生成式人工智能做得好不好，規(guī)模是決性定因素。”高文一語道出其中關鍵。
高文表示，GPT和Sora等人工智能生成技術并沒有提出理論革新，與20年前的人工智能神經網絡理論本質上并無差異。生成式人工智能的突破得益于大數據、大模型和大算力，這三個“大”缺一不可。特別是算力，如今千卡是入門級規(guī)模，要想做大模型必須有萬卡級。
對于規(guī)模，OpenAI等公司也有深刻見解：如果能用規(guī)模解決問題，就無需動用新的算法。不僅如此，OpenAI還提出了“假設性三公理”，已被AI領域奉為圭臬。
第一條公理，苦澀的教訓。多年來人工智能的研究者們一直試著將人類已知的知識構建到他們的智能體中，但是屢戰(zhàn)屢敗。成功的極少數案例都是使用規(guī)模計算，通過搜索和機器學習完成的。大規(guī)模、大算力和大數據是通用人工智能的必要條件。
第二條公理，規(guī)模即所需。一旦選擇了良好且通用的數據標注、算法，就能夠找到一套通用的規(guī)律，數據越多，模型越大，效果就越好，而且這個規(guī)律在訓練之前就可以預知效果。大規(guī)模是通用人工智能AGI的充分條件，大就是好。
第三條公理，涌現需規(guī)模。隨著規(guī)模的擴大、數據的增加，大模型一定會涌現出前所未有的能力，這個能力可以被所有人看到。
最后，高文總結表示，判別式人工智能方興未艾，生成式人工智能如火如荼，關于下一波浪潮業(yè)界也有很多預測，如無人駕駛、具身智能、人形機器等，但總體而言仍不得而知。未來充滿想象，值得我們期待，也需要業(yè)界有所作為。高文特別提到，中國的人工智能需要自己的大模型底座，只有這樣才能實現以中文語料和中國歷史為基礎的文明傳承。