互联网档案馆和维基百科因AI热潮陷入困境
由于AI的蓬勃发展引发了存储危机,互联网数据归档变得越来越困难。由于产能萎缩,原本大容量的硬盘价格上涨了近三倍,而这些产能又被超大规模数据中心完全预订一空,使得整个行业难以按以往的速度保存数据。互联网档案馆拥有约210PB的档案,并且每天还有100TB的数据被添加。用于这项工作的理想28-30TB硬盘要么缺货,要么价格虚高。目前互联网档案馆正在寻求多方提供援助,例如互联网档案馆社区成员免费为该网站捐赠硬盘,他们也希望或许能与硬盘制造商达成价格合理的采购协议。维基媒体基金会也表达了类似的观点,并解释说,维护超过6500万篇文章本就需要谨慎的预算分配,“主要影响体现在内存和硬盘的采购上,但也影响到服务器交付的周期以及我们未来下单的能力。”除此之外,这些机构还要同时承受因AI热潮导致的反爬虫机制强化以及巨量数据抓取请求导致的连带惩罚。
—— Tom's Hardware
由于AI的蓬勃发展引发了存储危机,互联网数据归档变得越来越困难。由于产能萎缩,原本大容量的硬盘价格上涨了近三倍,而这些产能又被超大规模数据中心完全预订一空,使得整个行业难以按以往的速度保存数据。互联网档案馆拥有约210PB的档案,并且每天还有100TB的数据被添加。用于这项工作的理想28-30TB硬盘要么缺货,要么价格虚高。目前互联网档案馆正在寻求多方提供援助,例如互联网档案馆社区成员免费为该网站捐赠硬盘,他们也希望或许能与硬盘制造商达成价格合理的采购协议。维基媒体基金会也表达了类似的观点,并解释说,维护超过6500万篇文章本就需要谨慎的预算分配,“主要影响体现在内存和硬盘的采购上,但也影响到服务器交付的周期以及我们未来下单的能力。”除此之外,这些机构还要同时承受因AI热潮导致的反爬虫机制强化以及巨量数据抓取请求导致的连带惩罚。
—— Tom's Hardware