日前,面對相繼上市的眾多模型,國際知名調(diào)研機構弗若斯特沙利文(Frost&Sullivan)聯(lián)合頭豹研究院發(fā)布《2024年中國大模型能力評測報告》(以下簡稱“報告”)。
報告選定了中外19個具有代表性的大模型進行評測,其中覆蓋15家國內(nèi)主流模型,與此同時,國際方面選擇了OpenAI的GPT3.5和GPT4、谷歌的Gemini1.0以及Anthropic的Claude2,并將這四大模型的平均水平設為國際大模型均線。
報告以五大細分維度——數(shù)理科學、語言能力、道德責任、行業(yè)能力及綜合能力為衡量標準,深入探索了大模型的能力邊界,為社會各界提供了對當前中國大模型產(chǎn)業(yè)發(fā)展現(xiàn)狀的清晰認知,以及大模型技術發(fā)展的潛力和在實際應用中的價值體現(xiàn)。
報告的核心內(nèi)容包括以下幾個方面:
具體內(nèi)容如下