文章提交注意事项:
请在发布文章时用HTML代码加上至少一条新闻来源的链接;原创性消息,可加入相关信息(如涉及公司的网址)的链接。有任何问题,邮件至:he.fang#zhiding.cn
ken:feigaobox@gmail.com
注意:收到邮件乱码的用户请修改客户端的默认字体编码,从"简体中文(GB2312)"修改为"Unicode(UTF-8)"。
solidot新版网站常见问题,请点击这里查看。
Solidot 公告
投 票
热门文章
热门评论
- 使用开源并不是因为便宜 (1 points, 一般) by Craynic 在 2024年04月18日13时19分 星期四 评论到 李彦宏声称开源大模型更昂贵
- 火星的起源找着了 (1 points, 一般) by 18611782246 在 2024年04月15日21时15分 星期一 评论到 水星可能曾和地球一样大
- (1 points, 一般) by solidot1713165490 在 2024年04月15日15时19分 星期一 评论到 美国议员呼吁禁止进口中国制造的电动车
- AI 就像拼音输入法 (1 points, 一般) by jerry 在 2024年04月10日19时48分 星期三 评论到 Google 宣布辅助编程用的开放大模型 CodeGemma
- (1 points, 一般) by solidot1563266937 在 2024年03月02日08时20分 星期六 评论到 美国总统称中国联网汽车有国家安全风险
- You either die a hero (1 points, 一般) by lot 在 2024年02月29日13时34分 星期四 评论到 空气污染与严重痴呆症相关
- 只是从众 (1 points, 一般) by scottcgi 在 2024年02月27日00时40分 星期二 评论到 共情能传播,人能通过观察环境和其他人获得或失去同情心
- 有误 (1 points, 一般) by 陈少举 在 2024年02月23日10时04分 星期五 评论到 Google 暂停了 Gemini 的图像生成功能
- (1 points, 一般) by mirus 在 2024年02月22日14时34分 星期四 评论到 美国阿拉巴马州最高法院裁决冷冻胚胎是“儿童”
- 应该是137光年 (1 points, 一般) by solidot1707403802 在 2024年02月08日22时50分 星期四 评论到 NASA 在 137 亿光年外发现一颗位于宜居带的超级地球
雕刻在古代墓碑上的日期与你的手机或笔记本电脑中数据的共同点比你想象的要多。它们都涉及传统的、经典的信息,由相对不易出错的硬件承载。量子计算机内部的情况则大不相同:信息本身有自己独特的属性,与标准数字微电子相比,最先进的量子计算机硬件出现错误的可能性要高出上万亿倍。这种巨大的出错概率是阻碍量子计算实现其伟大前景的最大问题。幸运的是,一种名为量子纠错(QEC)的方法可以解决这个问题——至少原则上如此。过去 25 年里建立的成熟理论体系现在提供了坚实的理论基础,实验家展现了数十个 QEC 的原理证明示例。但是这些试验仍然没有达到降低系统整体错误率所需的质量和复杂程度。
机器学习模型正呈指数级增长。训练它们所需的能量也成倍增长——通过训练之后 AI 才能准确处理图像或文本或视频。随着人工智能社区努力应对其对环境的影响,一些会议现在要求论文提交者提供有关二氧化碳排放的信息。新研究提供了一种更准确的方法计算排放量。它还比较了影响它们的因素,并测试了两种减少排放的方法。
研究人员训练了 11 个规模不等的机器学习模型处理语言或图像。训练时间从单 GPU 上 1 小时到 256 个 GPU 上 8 天不等。他们记录每秒的能耗数据。还获得了 16 个地理区域 2020 年期间以五分钟为单位的每千瓦时能源碳排放量。然后他们可以比较在不同地区、不同时间运行不同模型的碳排放量。
为训练最小模型的 GPU 供电的碳排放量大致相当于为手机充电。最大的模型包含了 60 亿个参数,参数是衡量模型大小的标准。虽然它的训练只完成了 13%,但是 GPU 的碳排放量几乎相当于一个美国家庭一年耗电的碳排放量。而一些已部署的模型,例如 OpenAI 的 GPT-3,包含的参数超过了 1000 亿个。
减少碳排放的最大因素是地理区域:各地区每千瓦时的二氧化碳排放量从 200 克到 755 克不等。除了改变位置之外,研究人员还测试了两种减少二氧化碳排放的方法,他们能做到这一点得益于高时间粒度的数据。第一种方法是“灵活的开始”,这种方法可能会将训练延迟长达 24 个小时。对于需要几天时间训练的最大的模型,推迟一天通常只能将碳排放量减少不到 1%,但是对于小得多的模型,这样的延迟可以减少 10% 到 80% 的排放量。第二种方法是“暂停加恢复”,这种方法是在排放量高的时段暂停训练,只要总的训练时间增长不超过一倍即可。这种方法给小模型带来的好处只有几个百分点,但是在半数的地区,它让最大的模型受益达到 10% 到 30%。每千瓦时的排放量随着时间波动,部分是因为由于缺乏足够的能量存储,当风能和太阳能等间歇性清洁能源无法满足需求时,电网必须依赖“脏电”。