Meta 公司的 AI 研究人员在预印本平台 arXiv 上发表论文《MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers》，提出了一种革命性的可扩展模型架构 Megabyte。今天的高性能生成式 AI 模型如 OpenAI 的 GPT-4，都是基于 Google 研究人员在 2017 年提出的 Transformer 架构。Meta 的研究人员认为 Transformer 架构可能达到了其阈值，它有两大设计缺陷：第一，随着输入输出长度的增加，自我关注显著扩大。Transformer 语言模型需要注意所有单词，当需要处理的单词量数以千计，计算非常密集。第二，前馈神经网络存在扩展性难题。Megabyte 模型提出了一种不同的架构，它将输入输出序列分割为“补丁（patches）”而不是个别的令牌（tokens）。在每个补丁中，局域 AI 生成结果，全局模型管理协调所有补丁的最终输出，从而解决了扩展性问题。Megabyte 能并行进行计算，相比下传统 Transformers 是串行计算。测试显示，有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的 Transformers 模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌，相比下 GPT-4 是 3.2 万个令牌，Anthropic 的 Claude 是 10 万个令牌。

Meta 开源了它的计算机视觉基础模型 DINOv2，源代码托管在 GitHub 上，和 Meta 近期开源的其它 AI 模型一样，采用的是非商用的 CC-BY-NC 4.0 许可证。DINOv2 是基于 Vision Transformer (ViT)架构，使用一个包含 1.42 亿幅图像的精选数据集进行预训练，可用于图像分类、视频动作识别、语义分割和深度估计等任务。Meta 称 DINOv2 模型的速度是旧方法的两倍，使用的内存只有旧方法的三分之一。测试显示它相比其它同类模型有显著改进。

马斯克(Elon Musk)在 WSJ 举行的 CEO Council Summit 峰会上表示，他认为有必要开展 AI 业务，与谷歌和微软相抗衡，这可能涉及他的企业帝国的不同部分，其中包括 Twitter。Twitter 可能会是他创建 AI 业务努力的一部分。特斯拉直在使用 AI 来改善其先进的辅助驾驶功能。他说，Twitter 和特斯拉可以成为一家 AI 公司的合作伙伴，有点像微软和 OpenAI 之间的关系。长期以来，这位 Twitter 和特斯拉的老板一直试图引领AI的发展，但时而发现自己被人超越了。马斯克对 AI 方面的进展表达了关切，并呼吁政府进行监管。

微软宣布 Windows 11 将原生支持 Tar、7-zip、rar、gz 等格式的压缩文件。以前在 Windows 上打开此类压缩文件需要安装第三方解压缩软件如开源的 7-zip。微软负责 Windows 业务的首席产品官 Panos Panay 表示 Windows 11 即将释出的更新将原生支持使用开源项目 libarchive 的压缩格式，该功能将通过本周晚些时候释出的一个开发版本提供给用户。

微软在 Build 开发者大会上宣布将在未来几个月为 Windows 11 加入 AI 辅助功能 Windows Copilot。Windows Copilot 将以一个独立的窗口展示在屏幕右侧，能根据用户的要求完成多项任务。微软在演示中 Copilot 改变了 Windows 设置、用 Snap Layout 重新安排窗口、总结内容和重写文档，打开应用如 Spotify、Adobe Express 和 Teams。微软没有谈及 Copilot 的隐私和安全问题，如用户文档的内容是否保持私有，其 AI 处理是在本地进行还是通过微软的服务器，聊天记录和上下文信息是否会在会话之间保存，是否会在不同计算机之间同步，等等。更多信息要等到 Windows Copilot 发布之后才知道。