今天的大模型主要用英伟达的 GPU 训练，但让英伟达一家独大对整个生态系统并不是好事。MLC（Machine learning compilation） 项目正致力于在 AMD GPU 上编译和部署大模型，实现与英伟达 GPU 相当的性能。相对于英伟达深耕了近二十年的 CUDA 软件生态系统，AMD GPU 最大问题在于软件支持，它正通过投资 ROCm 缩小与英伟达的差距。MLC 是一项新兴技术，旨在编译和自动优化机器学习工作负载。它不会为每个后端如 ROCm 或 CUDA 构造特定的内核，而是自动为不同后端生成代码。开发者称，MLC-LLM 方案在 AMD RX 7900 XTX 上的性能达到了英伟达 GeForce RTX 4090 的八成，而 7900 XTX 的价格只有 RTX 4090 的六成。

FT 援引知情人士的消息报道，百度、字节跳动、腾讯和阿里巴巴今年从英伟达订购了价值 10 亿美元约 10 万张 A800 数据中心 GPU，额外加购的 40 亿美元英伟达 GPU 将在明年交付。A800 是弱化版的 A100 GPU，为了遵守美国去年颁布的出口限制，英伟达专为中国市场开发了降低数据传输率的 A800——A100 的传输率达到 800 GB/s，而 A800 降至了 600 GB/s。因为担心拜登政府颁布新的出口限制，中国互联网巨头疯狂囤积了英伟达的 A800 芯片。一位匿名百度员工说，没有英伟达的芯片，就没办法训练任何大语言模型。在 ChatGPT 大获成功之后，中国的互联网巨头都在开发自己的大模型。字节跳动开发的一个 AI 聊天机器人代号为 Grace，它为此已经囤积了约至少 1 万张英伟达 GPU，加购的约 7 万张 A800 将在明年交付，价值约 7 亿美元。