据证券时报，据《纽约客》杂志报道，OpenAI的热门聊天机器人ChatGPT每天可能要消耗超过50万千瓦时的电力，以响应用户的约2亿个请求。相比之下，美国家庭平均每天使用约29千瓦时电力，也就是说，ChatGPT每天用电量是家庭用电量的1.7万多倍。
如果生成式AI被进一步采用，耗电量可能会更多。荷兰国家银行数据科学家亚历克斯.德弗里斯在一篇论文中估计，到2027年，整个人工智能行业每年将消耗85至134太瓦时(1太瓦时=10亿千瓦时)的电力。
随着人工智能技术发展，市场对芯片的需求激增，带动电力需求的激增。相关数据显示，十年前全球数据中心市场的耗电量为100亿瓦，而如今1000亿瓦的水平已十分常见。据美国Uptime Institute的预测，到2025年，人工智能业务在全球数据中心用电量中的占比将从2%猛增到10%。
生成式AI带来的种种创新，都是以处理性能和功耗方面的高昂成本为代价。马斯克曾预计，未来两年内将由“缺硅”变为“缺电”，而这可能阻碍人工智能的发展。在他看来，电力短缺可能会造成严重后果，就像最近缺芯阻碍科技和汽车行业一样。
以人工智能为代表的生成式大模型的繁荣将为智算中心的建设带来更快发展。而高算力往往也伴随着高能耗，据统计，2022年全国数据中心总耗电量约2700亿千瓦时，占全社会用电量的3.1%，超过两座三峡水电站年发电量。
据媒体2023年9月8日报道，浪潮信息服务器产品线总经理赵帅对记者表示，如今数据中心节能降碳面临“多重挑战”：从能耗构成看，数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗，其中，制冷系统用电量已与IT设备相当，占总用电量高达43%。因此，优化制冷系统成为数据中心提高能源效率的重要环节。
其次，算力供给的核心是IT设备，但就其容量而言，IT设备的利用率通常十分低。例如，服务器的利用率往往只有5%到15%，处理器为10%到20%，存储设备为20%到40%，网络设备的利用率为60%到80%。然而，当设备闲置时，其仍会消耗在最大利用率下消耗的大部分功率，一台标准服务器即使不工作也要消耗30%到40%的最大功率。如何最大程度减少IT设备空闲，让闲置的算力跑起来至关重要。
除了耗电外，大模型还很耗水。
AI模型旺盛的算力需求要求与之匹配的散热能力，这带来了庞大的耗水量。面对水资源的加码消耗，微软表示计划于2030年实现正水排放。
据媒体报道，微软支持的OpenAI技术需要耗费大量水用于冷却超级计算机，帮助其AI学习如何模仿人类书写。除了建造冷却塔，服务器运行需要大量电力，而火电、天然气和核能发电也会消耗大量水。
微软在其环境报告中透露，2022年，公司用水量同比去年激增了34%，较前几年大幅上涨，相当于超过2500个奥林匹克规格的游泳池水量，外部研究人员认为这与微软的人工智能研究有关。谷歌发布的2023年环境报告同样显示，其2022年消耗的水量高达212亿升，其中有约196亿升的水用于数据中心。
微软去年曾在声明中表示，它正在投资关于测量人工智能的能源和碳足迹的相关研究，并“研究如何使大型系统在训练和应用中更加高效”。此外，该声明还表示：“我们将继续监控我们的排放量，加快进度，同时多使用清洁能源为数据中心供电，购买可再生能源，并做出其他努力，以实现我们的可持续发展目标，即到2030年实现负碳排放、正水排放和零浪费。”