Connect with us

思想领袖

人工智能革命是一场数据革命:为什么存储比以往任何时候都更加重要

mm

数据的轻松访问和有意义地利用数据的能力一直很重要,但是在人工智能、机器学习和数据分析的时代,它已经变得绝对必要。目前全球人工智能市场价值超过390亿美元,预计到2030年将超过826亿美元。然而,这种增长取决于人工智能技术继续演进和增加其应用价值。实现这一目标需要大量的数据。2024年,全球组织大约存储了7.2 zettabytes(ZB)的数据,预计到2027年这一数字将增长到15.1 ZB。这种巨大的增长凸显了需要可靠、可访问的存储解决方案来处理日益增长的数据需求。

人工智能驱动的应用在各个行业的爆发式增长——从金融和医疗保健到制造和零售——进一步加速了对大量和精心准备的数据集的需求。人工智能系统依赖于数据,使用数据来改进算法、增强预测模型和优化自动化。根据领先公司如IDC的说法,一个组织拥有的高质量数据越多,它就可以改进人工智能结果的有效性,以实现更好的决策和推动运营效率。然而,挑战不仅在于收集和生成大量的数据,还在于确保其长期保留和可访问性。没有适当的存储解决方案,企业风险失去有价值的信息,这些信息可能会塑造下一波人工智能进步。

数据对于人工智能的重要性

为了使人工智能继续以当前的速度发展,它必须不断改进其效率和准确性。实现这一目标的唯一方法是为人工智能模型提供持续和高质量的数据进行训练。用于训练大型语言模型(LLM)的数据集已经以惊人的速度增长,每年增长三倍自2010年以来。例如,GPT-2是在一个包含大约30亿字的数据集上进行训练的,而GPT-4仅仅四年后就被训练在一个包含大约9.75万亿字的数据集上。

人工智能训练数据集的快速扩张提出了一个重大挑战:如何以成本有效的方式存储大量高质量的数据。随着人工智能系统消耗大量现有的基于文本的数据——包括书籍、文章和研究论文——组织风险耗尽高质量的人类生成材料。这可能会迫使人工智能开发人员依赖于人工智能生成的内容进行未来的训练,从而导致潜在的问题,例如准确性降低、创造力降低和重复性增加。为了应对这一风险,组织必须优先保留他们生成的大部分数据,因为这些数据可能会成为未来训练人工智能模型的宝贵资源。这一必要性推动了对强大的、可扩展的和长期存储解决方案的需求。

数据分析作为竞争优势:没有IA就没有AI

人工智能驱动的分析已经成为现代商业战略的基石,提供组织发现模式、预测趋势和做出更快、更明智的决策的能力。但是,虽然人工智能占据了聚光灯,很容易忽略其背后的默默基础:数据。更具体地说,是使几十年来的数据在需要时可用——我们现在称之为信息档案(IA)的基础设施。

信息档案作为组织知识的深层储备,通常存储在成本有效、可扩展的存储设备上,如磁带。它是保存大量结构化和非结构化数据的地方——不仅仅是为了合规,还为了推动可能带来竞争优势的创新。当需要训练人工智能模型时,会从档案中暂时提取大量数据到高性能系统中。一旦训练完成,数据就会返回到信息档案中进行长期保留。这种访问和保留的循环使得持续的人工智能开发成为可能。

一个组织做出高影响力、数据驱动的决策的能力不仅仅依赖于最新的人工智能工具。它取决于是否可以访问和保留正确的信息——随着时间的推移、按规模和不牺牲成本效率。做得好,数据分析可以个性化客户体验、简化运营和快速响应不断变化的市场。然而,这一切都取决于一个将收集信息视为战略资产而不是存储问题的长期数据战略。未来属于那些将历史数据视为不断增长的有价值资源的组织——每一个由人工智能驱动的洞察都使其变得更加有价值。

成熟技术的新机遇

数据驱动的人工智能应用的激增引入了新的存储解决方案需求。组织需要一个可以长期存储大量数据集同时确保可访问性、可持续性和安全性的系统。另外,随着网络攻击的增加——预计全球网络犯罪成本将达到2025年每年10.5万亿美元——数据安全已经成为任何存储解决方案的关键考虑因素。许多企业可能会本能地寻找尖端的新开发的存储技术来满足这些要求。然而,由于需要可靠的存储现在,组织应该考虑一种已经证明其可靠性的现有技术:磁带存储。

几十年来,许多成熟的组织一直依赖于磁带存储,即使新的云原生公司忽略了它。然而,人工智能、机器学习和高级数据分析的复兴为这项成熟的技术提供了新的用例。磁带存储提供了可扩展性、灵活性、成本效率和安全性的强大组合,使其成为管理大量人工智能和机器学习工作负载的理想解决方案。与许多其他存储解决方案不同,磁带存储非常可持续,因为它在存储数据时不消耗能量,从而大大降低了其碳足迹。另外,其离线能力提供了额外的保护层,以防御网络安全威胁,例如勒索软件攻击,因为存储在磁带上的数据天然免疫于远程泄露。

现代磁带存储解决方案已经演进以满足人工智能和数据分析的需求。凭借最新的高容量磁带技术,企业可以以传统云解决方案的一小部分成本存储数百个petabytes的数据。另外,磁带的寿命——通常超过30年——确保组织可以在不冒数据降级风险的情况下保留有价值的数据集。这使其成为企业在保持成本效率的同时未来证明其数据基础设施的有吸引力的选择。

人工智能和数据革命

正在进行的人工智能革命本质上是一场数据革命。忽视数据存储和可访问性的组织风险落后于日益数据驱动的世界。更多的数据等同于更多的创新和竞争差异化的机会。通过采用可扩展和安全的存储解决方案,包括磁带的重新潜力,组织可以确保他们在人工智能进步和数据驱动的决策方面保持领先地位。随着企业继续应对人工智能驱动的增长的复杂性,认识到数据保留和智能存储解决方案重要性的企业将在数据为中心的未来中蓬勃发展。

卡洛斯·桑多瓦尔(Carlos Sandoval)是位于墨西哥IBM瓜达拉哈拉校区的全球LTO磁带产品的产品经理。卡洛斯是墨西哥瓜达拉哈拉大学电子和通信工程的毕业生,并拥有工业工程的MBA学位。卡洛斯于1995年首次加入IBM,并在2008年之前从事HDD子装配的IT和工艺工程工作。2010年,他重返IBM,担任新磁带产品的项目经理,近年来,他转到物理磁带产品的产品经理,现负责全球IBM LTO产品。