Google 研究院发布了压缩算法 TurboQuant，能在大幅减少大模型内存占用的同时提高速度和维持精度。TurboQuant 旨在减小键值缓存的大小，被称为是储存重要信息减少再计算的“数字查找表（digital cheat sheet）”。大模型并不理解任何东西，它通过映射词元文本语义的向量去模拟对事物的理解。大模型的向量通常使用 XYZ 坐标进行编码，而实现 TurboQuant 压缩的系统将向量转换为笛卡尔坐标系的极坐标，向量被简化为两类信息：半径（核心数据强度）和方向（数据含义）。如果使用 XYZ 坐标编码向量，那么特定位置可以编码为“向东走 3 个街区，向北走 4 个街区”，采用笛卡尔坐标编码向量，那么同样的信息编码为“沿 37 度方向走 5 个街区” ，简化了空间节省了计算。Google 的早期测试显示，TurboQuant 在部分测试中实现了 8 倍的性能提升，内存占用减少到原来的六分之一，同时质量没有损失。实现 TurboQuant 算法将有助于降低 AI 模型的运行成本和内存占用，但也可能推动更复杂模型的出现，因此对降低内存价格可能没有什么效果。