Gemini貫穿一切。
這是「甲子光年」在看完2024年Google I/O開發(fā)者大會的最大感受。
5月14日，谷歌2024年I/O開發(fā)者大會如期在加州山景城拉開帷幕。今年的主題完全圍繞人工智能展開，特別是生成式人工智能和其在各類應(yīng)用中的實際應(yīng)用，如 Workspace和Gmail的整合與優(yōu)化。
首席執(zhí)行官桑達(dá)爾·皮查伊（Sundar Pichai）在演講中一共說了121次“AI”，并喊出了一句嘹亮的口號——“整合全球信息，惠及所有民眾”。
現(xiàn)場，谷歌發(fā)布了Gemini系列的最新AI模型：Gemini 1.5 Flash。
同時，谷歌也宣布了Gemini 1.5 Pro升級，全面支持Workspace，同時向全球開發(fā)者開放。Google Workspace辦公套件也宣布將進(jìn)一步整合Gemini，推出基于Gemini 1.5 Pro的多種技能，如可總結(jié)郵件內(nèi)容。Gmail也將深度整合Gemini，匯總郵件內(nèi)容并生成更好的回復(fù)。
1.AI模型：Gemimi宇宙
皮查伊在大會上公布了一系列AI模型的動態(tài)。
首先是對Gemini 1.5 Pro模型進(jìn)行了升級。
Gemini 1.5 Pro模型已全球向開發(fā)者開放。原本它的上下文窗口是100萬tokens，現(xiàn)在增加到了200萬tokens，能處理更多的數(shù)據(jù)。
谷歌I/O大會現(xiàn)場，來源：谷歌
用戶即使提供數(shù)千頁的文本或者幾個小時的視頻，Gemini 1.5 Pro也能夠理解內(nèi)容并回答相關(guān)的問題。這項升級將讓模型能同時處理2小時的視頻、22小時的音頻、超過60000行代碼，或超過140萬個單詞。
下個月Gemini 1.5 Pro還將在API層面推出新功能，包括視頻輸入、并行函數(shù)調(diào)用和文本緩存，以提高處理多個請求和問答文件時的效率。
隨后他介紹了Gemini系列新模型——Gemini 1.5 Flash。
這是一個比Gemini 1.5 Pro模型運行更快，體積更小，更易于部署，支持處理多種類型的數(shù)據(jù)，它專為開發(fā)者設(shè)計。
Gemini 1.5 Flash位于Gemini 1.5 Pro和Gemini 1.5 Nano之間，通過一種稱為“蒸餾”的過程，將Pro版本中的關(guān)鍵知識和技能轉(zhuǎn)移到一個更小的模型中，使其具備與Pro相同的多模態(tài)功能和100萬個token的長上下文窗口。
Gemini 1.5 Flash現(xiàn)在就可以使用了。
DeepMind的聯(lián)合創(chuàng)始人兼CEO戴密斯·哈薩比斯（Demis Hassabis）提到，他們根據(jù)開發(fā)者的反饋，優(yōu)化了模型的響應(yīng)速度和成本效率。Gemini 1.5 Flash在處理大量數(shù)據(jù)方面表現(xiàn)出色，特別適用于聊天應(yīng)用、視頻處理和圖像字幕。
Gemini 1.5 Pro將在Alphabet的內(nèi)部測試實驗室Workspace Labs進(jìn)行測試。Gemini 1.5 Flash也將在機(jī)器學(xué)習(xí)平臺Vertex AI上進(jìn)行試驗和使用，該平臺使開發(fā)者能夠訓(xùn)練和部署AI應(yīng)用。
Gemini 1.5 Flash每百萬token的標(biāo)準(zhǔn)價格為0.7美元，輸出為1.05美元。對于較小的上下文（小于128k），有折扣價：輸入為0.35美元/百萬token，輸出為0.53美元/百萬token。這比GPT-3.5 Turbo的價格（輸入0.5美元/百萬token，輸出0.15美元/百萬token）要高一些。
谷歌I/O大會現(xiàn)場，來源：谷歌
Gemini 1.5 Pro是Google當(dāng)前最強(qiáng)大的模型，標(biāo)準(zhǔn)價格為每百萬token輸入7美元，輸出21美元。對于較小的上下文（同樣小于128k），折扣價格為輸入3.5美元/百萬token，輸出10.5美元/百萬token。相比于GPT-4o（輸入價格5美元/百萬token，輸出15美元/百萬token）略貴一些。
目前，谷歌正在籌備一款Project Astra的通用AI代理，這是一款通過智能手機(jī)攝像頭分析周圍世界并與用戶進(jìn)行交互的應(yīng)用。
Astra設(shè)計為能夠記住看到和聽到的內(nèi)容，從而理解上下文并采取行動。為了提高實用性，谷歌優(yōu)化了其處理信息的速度，通過持續(xù)編碼視頻幀和結(jié)合視頻與語音輸入到事件時間線上，并緩存信息以實現(xiàn)高效回憶。
此外，谷歌還通過增強(qiáng)語音模型，讓Astra具有更廣泛的語調(diào)，使其可以更自然地與用戶交流，無滯后或延遲。
在實際演示中，一個人使用手機(jī)的攝像頭掃描辦公室，與Astra通過語言交互，比如詢問“當(dāng)你看到有東西發(fā)出聲音時，請告訴我。”Astra不僅能識別物體和代碼，還能實時進(jìn)行語音互動，展現(xiàn)了它的實用性和交互能力。
Project Astra展示了其出色的視覺理解能力和快速的響應(yīng)時間。一個人在辦公室中用攝像頭掃描其中的物品及場景，并用語音詢問它相關(guān)問題。與GPT-4o的功能異曲同工。
