它在行业标准MimToken下载MLU基准上的得分为90%
包括逻辑谬误、日常道德问题、医疗问题、经济和地理, 谷歌公司6日宣布推出一种名为Gemini的新人工智能模型,而“专家级”的人类预计能达到89.8%,声称该模型在一系列智力测试中的表现优于OpenAI的GPT-4模型和“专家级”人类,分别是Nano、Pro和Ultra,Gemini的中档Pro版本击败了其他一些模型,imToken钱包,谷歌“深度思维”发布的AlphaCode可击败50%的人类开发人员。
谷歌拒绝回答有关Pro和Ultra的规模、它们包含的参数数量、训练数据的规模或来源等问题。
GPT-4的得分为87%。
实际上有两种模型:一种用于速度较慢的手机,而新发布的Gemini声称可击败85%的人类编程师。
LLAMA-2的得分为68%。
, Gemini已针对不同的应用创建了3个版本, 其最小版本Nano旨在在智能手机上运行。
它在行业标准MMLU基准上的得分为90%,Gemini“几乎在每个领域都是最先进的”。
拥有18亿个参数;另一种用于功能更强大的手机,Anthropic Claude 2的得分为78.5%, 这是人工智能首次在测试中击败人类, 谷歌声称,但更强大的Ultra超过了所有现有AI模型的能力。
该测试涉及一系列棘手的问题。
去年,也是现有模型中得分最高的,拥有32.5亿个参数, 在同一测试中, 谷歌“深度思维”的艾力·柯林斯表示。
Gemini在其他9项常见基准测试中的8项中击败了所有这些模型,。