·第三代基座大模型ChatGLM3瞄向視覺(jué)模態(tài)GPT-4V，提高中文圖文理解能力，接入搜索增強(qiáng)，根據(jù)問(wèn)題自動(dòng)在互聯(lián)網(wǎng)上查找相關(guān)資料并在回答時(shí)提供參考文獻(xiàn)或文章鏈接。端測(cè)模型ChatGLM3-1.5B和ChatGLM3-3B支持vivo、小米、三星手機(jī)及車載平臺(tái)。

10月27日，在2023中國(guó)計(jì)算機(jī)大會(huì)上，中文認(rèn)知大模型企業(yè)北京智譜華章科技有限公司（下稱“智譜AI”）推出第三代基座大模型ChatGLM3，采用多階段增強(qiáng)預(yù)訓(xùn)練方法讓訓(xùn)練更充分，并推出可部署在手機(jī)的ChatGLM3-1.5B和ChatGLM3-3B，支持vivo、小米、三星在內(nèi)多款手機(jī)以及車載平臺(tái)。

瞄向視覺(jué)模態(tài)GPT-4V，ChatGLM3實(shí)現(xiàn)了若干全新功能的迭代升級(jí)，包括多模態(tài)理解能力的CogVLM看圖識(shí)語(yǔ)義在10余個(gè)國(guó)際標(biāo)準(zhǔn)圖文評(píng)測(cè)數(shù)據(jù)集上取得SOTA（最佳性能，State-of-the-art）。CogVLM模型提高了中文圖文理解能力，可完成復(fù)雜的目標(biāo)檢測(cè)，并打上標(biāo)簽完成自動(dòng)數(shù)據(jù)標(biāo)注。可根據(jù)食材照片給出食譜，根據(jù)對(duì)話者的口味調(diào)整食譜。

根據(jù)食材照片給出食譜。

智譜AI首席執(zhí)行官?gòu)堸i對(duì)澎湃科技（www.6773257.com）表示，多模態(tài)大模型已經(jīng)在語(yǔ)音、視覺(jué)、自然語(yǔ)言的交互感知方面有很多具體進(jìn)展，未來(lái)多模態(tài)大模型會(huì)走向更重要的舞臺(tái)，可能會(huì)融合更多模態(tài)的數(shù)據(jù)，多模態(tài)預(yù)訓(xùn)練也會(huì)導(dǎo)致大模型智能能力或認(rèn)知能力進(jìn)一步提升。

可分析圖片內(nèi)容。

ChatGLM3的代碼增強(qiáng)模塊Code Interpreter根據(jù)用戶需求生成代碼并執(zhí)行，自動(dòng)完成數(shù)據(jù)分析、文件處理等復(fù)雜任務(wù)。“代碼”功能目前已支持圖像處理、數(shù)學(xué)計(jì)算、數(shù)據(jù)分析等使用場(chǎng)景。

根據(jù)用戶需求生成代碼并執(zhí)行。

網(wǎng)絡(luò)搜索增強(qiáng)WebGLM接入搜索增強(qiáng)，能自動(dòng)根據(jù)問(wèn)題在互聯(lián)網(wǎng)上查找相關(guān)資料并在回答時(shí)提供參考文獻(xiàn)或文章鏈接。

ChatGLM3集成了AgentTuning技術(shù)，激活了模型智能體能力，并開啟了國(guó)產(chǎn)大模型原生支持工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫(kù)操作、知識(shí)圖譜搜索與推理、操作系統(tǒng)等場(chǎng)景。

目前ChatGLM3推出了可手機(jī)部署的端測(cè)模型ChatGLM3-1.5B和ChatGLM3-3B，支持vivo、小米、三星在內(nèi)多款手機(jī)以及車載平臺(tái)，支持移動(dòng)平臺(tái)上CPU芯片的推理，速度為20 tokens/s。

端測(cè)模型ChatGLM3-1.5B和ChatGLM3-3B支持vivo、小米、三星手機(jī)及車載平臺(tái)。

張鵬表示，自2022年初，智譜AI推出的GLM系列模型已支持在昇騰、神威超算、海光DCU架構(gòu)上進(jìn)行大規(guī)模預(yù)訓(xùn)練和推理。目前智譜AI的產(chǎn)品已支持10余種國(guó)產(chǎn)硬件生態(tài)，與國(guó)產(chǎn)芯片企業(yè)的聯(lián)合創(chuàng)新有助于國(guó)產(chǎn)原生大模型與國(guó)產(chǎn)芯片的發(fā)展。