大模型正变得越来越强大，但对计算和电力的需求也越来越大。大模型如果要变得廉价、快速而且环保，它们需要大幅缩小规模，以便于能在类似手机的设备上本地运行。研究人员正致力于寻找方法实现这一目标。类似所有神经网络，大模型是通过修改人工神经元之间的连接强度进行训练，连接强度以数学参数的形式储存。通过减少参数的精度研究人员能压缩网络，这一过程被称为量化，参数的位数能从 16 位减少到 8 或 4 位，研究人员正致力于将其推向极限——以 1 位精度储存参数。有两种压缩网络的通用方法，其一是训练后量化(PTQ)，其二是量化感知训练(QAT)，研究人员更青睐前者。哈工大的车万翔称，PTQ 相对于 QAT 的优点是不需要收集训练数据，不需要重新训练，训练过程更稳定。QAT 的优点则是模型可能更精确，因为量化从一开始就内置在模型中。去年微软亚洲研究院的研究团队创造了第一个 1 位 PTQ 大模型 BBitNet 1.58b，每个参数占大约 1.5 比特内存，有 30 亿参数的 BitNet 在各种语言任务中的表现和相同参数规模的全精度 LLaMA 模型一样出色，但速度是 2.71 倍，用的 GPU 内存少 72%，GPU 能耗低 94%。

路透研究院和牛津大学的研究人员调查了阿根廷、丹麦、法国、日本、英国和美国六国的 12,000 人，发现普通大众并不常用 ChatGPT 等热门 AI 产品，18-24 岁的年轻人是例外。研究旨在衡量普通大众对过去两年火热无比的生成式 AI 的看法，结果显示：多数人预测生成式 AI 未来五年会对社会产生重大影响，新闻、媒体和科学领域受影响最大；多数人认为生成式 AI 将改善自己的生活；关于生成式 AI 对社会的影响多数人普遍悲观。虽然多数人都听说过生成式 AI，但有 20%-30% 的人对此一无所知；ChatGPT 是使用率最高的生成式 AI 产品，比 Google Gemini 和 Microsoft Copilot 高出 2-3 倍；18-24 岁人群中有 56% 至少用过 ChatGPT 一次，55 岁及以上人群中这一比例为 16%；大部分人将生成式 AI 用于获取信息、创建媒体如文本、图像、音频和视频，有 5% 的人将其用于获取最新信息。