solidot新版网站常见问题,请点击这里查看。
人工智能
Wilson(42865)
发表于2024年07月09日 14时08分 星期二
来自飞行村
Meta A 的研究人员正在开发智能手机上运行的紧凑型大模型 MobileLLM。研究人员致力于优化参数规模低于 10 亿的大模型,相比下 OpenAI GPT-4 的参数规模据称超过 1 万亿。研究人员报告利用一系列新技术,MobileLLM 在基准测试任务上的表现比类似规模的模型改进了 2.7%-4.3%,3.5 亿参数规模的 MobileLLM 在某些任务的准确率与 70 亿参数规模的 LLaMA-2 模型相当。这意味着在特定任务上,紧凑型大模型能提供比更大规模大模型相似的能力,同时计算开销更低。