資料庫演進:從傳統關聯式資料庫管理系統到 AI 原生與量子就緒系統

還記得選擇資料庫曾經很簡單的時候嗎?你為交易數據選擇 MySQL 或 PostgreSQL,如果需要靈活性可能會加上 MongoDB,然後就完成了。我記得與同事討論過分片(sharding),這是 MongoDB 中水平擴展的一種方法。那些日子已經過去了。

資料庫領域正在經歷自 2010 年代 NoSQL 運動以來最大的轉變。但這次不僅僅是關於規模或靈活性。兩股力量正在重塑一切:人工智慧和量子運算。AI 工作負載需要全新的資料庫設計,這些設計圍繞向量嵌入、相似性搜尋和即時推理建構。與此同時,量子運算在地平線上若隱若現,威脅要破解我們的加密,並承諾將徹底改變查詢優化。

在我最近關於資料架構和 AI 基礎設施的文章中,我們探討了這些技術如何改變資料管理。但資料庫層才是真正見真章的地方。做錯了,你的 AI 功能就會爬行。做對了,你就能解鎖幾年前還不可能實現的能力。

這個時刻的獨特之處在於:我們不僅僅是在生態系統中添加新的資料庫類型。我們正在從根本上重新思考資料庫需要做什麼。向量相似性搜尋正變得與 SQL 連接一樣重要。抗量子加密正從理論問題轉變為實際需求。特徵存儲正在成為 ML 操作的關鍵基礎設施。舊的操作手冊已經不再適用。

在本文中,您將了解現代資料庫的演變、它們如何適應 AI 工作負載、量子運算對資料存儲和檢索的意義,以及最重要的是,如何建構準備好迎接這兩個挑戰的資料庫架構。無論您今天正在運行生產 ML 系統還是為明天做規劃,理解這一轉變都至關重要。

為什麼傳統資料庫正在掙扎

傳統關聯式資料庫運作良好了數十年。PostgreSQL、MySQL 和 Oracle 憑藉 ACID 保證和 SQL 的簡單優雅為企業應用程式提供動力。但 AI 和機器學習的爆炸性增長暴露了舊資料庫設計的嚴重局限性。

想想這個:單個大型語言模型訓練運行可以處理 PB 級數據,需要數千個 GPU 小時。正如我在關於 CPU、GPU 和 TPU 的文章中討論的那樣,了解 AI 工作負載需要什麼至關重要。來自這些模型的向量嵌入需要特殊的存儲和檢索系統。即時推理需要亞毫秒級的查詢速度。傳統的基於行的存儲和 B-tree 索引根本不是為此而建構的。

\

AI 原生資料庫:為機器學習而建

AI 的興起創造了一個新類別:AI 原生資料庫。這些系統從頭開始建構,以處理機器學習所需的內容。

向量資料庫:現代 AI 的基礎

向量資料庫可能代表了自 NoSQL 出現以來資料庫技術中最大的創新。它們將數據存儲為高維向量(通常為 768 到 4096 維),並讓您使用近似最近鄰(ANN)技術按相似性進行搜尋。

領先的向量資料庫解決方案

| 資料庫 | 類型 | 主要特性 | 主要用例 | |----|----|----|----| | Pinecone | 雲原生 | 託管服務、即時更新 | 生產 RAG 系統 | | Weaviate | 混合式 | GraphQL API、模組化架構 | 多模態搜尋 | | Milvus | 開源 | 分散式、GPU 加速 | 大規模嵌入 | | Qdrant | 開源 | 基於 Rust、有效負載過濾 | 過濾向量搜尋 | | pgvector | PostgreSQL 擴充 | SQL 相容性、ACID 保證 | 混合工作負載 |

向量資料庫的工作方式與傳統系統非常不同:

\

特徵存儲:連接訓練和推理

特徵存儲解決了 ML 操作中的一個大問題:訓練-服務偏差。它們為您提供了一個進行特徵工程的單一位置,並確保離線模型訓練和線上推理保持一致。

像 Tecton、Feast 和 AWS SageMaker Feature Store 這樣的公司開創了這個領域。特徵存儲通常包括:

• 特徵存儲庫:版本控制的特徵定義
• 離線存儲:用於訓練的歷史特徵(S3、BigQuery)
• 線上存儲:用於推理的低延遲特徵(Redis、DynamoDB)
• 特徵伺服器:用於提供特徵的 API 層

基礎設施即程式碼的使用對於管理這些複雜的特徵存儲部署已變得至關重要。

圖形資料庫和時間序列資料庫

像 Neo4j 和 Amazon Neptune 這樣的圖形資料庫擅長處理關係密集的數據。像 TimescaleDB 和 InfluxDB 這樣的時間序列資料庫針對時間數據模式進行優化。這些專業系統處理傳統 RDBMS 難以應對的工作負載。

量子運算的轉變

雖然 AI 原生資料庫正在改變我們今天處理數據的方式,但量子運算承諾會帶來更大的顛覆。大規模量子電腦仍然需要數年時間,但聰明的組織已經在準備他們的數據基礎設施。

抗量子密碼學:當務之急

量子運算對資料庫最緊迫的影響是安全性。量子電腦最終將通過 Shor 演算法破解當前的加密,如 RSA 和 ECC。這對加密資料庫和備份存檔構成真正的威脅。正如我在關於後量子密碼學的文章中探討的那樣,我們現在需要為抗量子安全做準備。

後量子密碼學演算法

| 演算法 | 標準 | 類型 | 金鑰大小 | 狀態 | |----|----|----|----|----| | ML-KEM (CRYSTALS-Kyber) | FIPS 203 | 金鑰封裝 | ~1KB | 2024 年 8 月發布 | | ML-DSA (CRYSTALS-Dilithium) | FIPS 204 | 數位簽章 | ~2KB | 2024 年 8 月發布 | | SLH-DSA (SPHINCS+) | FIPS 205 | 數位簽章 | ~1KB | 2024 年 8 月發布 | | FN-DSA (FALCON) | FIPS 206 | 數位簽章 | ~1KB | 2024 年草案 |

領先的資料庫供應商正在開始添加抗量子加密:

• PostgreSQL 17+:對後量子 TLS 的實驗性支援
• MongoDB Atlas:測試用於客戶端加密的 CRYSTALS-Kyber
• Oracle Database 23c:混合量子-經典加密方案

量子加速查詢優化

比安全挑戰更令人興奮的是量子運算轉變資料庫查詢優化的潛力。Grover 演算法為非結構化搜尋提供二次加速,而量子退火對於複雜的優化問題看起來很有前景。

\ IBM 的量子研究表明,對於某些圖形資料庫查詢,量子演算法可以獲得指數級加速。這些優勢僅適用於特定問題類型,但它們暗示了一個量子協處理器加速資料庫操作的未來。

混合架構:實用路徑

我們看到的不是替換所有內容,而是結合傳統、AI 原生和量子就緒系統的混合資料庫架構。正如我在關於 AI 代理架構的文章中討論的那樣,現代應用程式需要複雜的數據層整合來支援代理工作流程。

\

使用多個資料庫

現代應用程式越來越多地使用多語言持久性,為每項工作選擇正確的資料庫:

• 操作數據:帶有 pgvector 的 PostgreSQL 用於混合工作負載
• 會話數據:帶有向量相似性外掛的 Redis
• 分析:用於 OLAP 的 ClickHouse 或 DuckDB
• 嵌入:用於語義搜尋的專用向量資料庫
• 圖形關係:Neo4j 或 Amazon Neptune
• 時間序列:TimescaleDB 或 InfluxDB

建構面向未來的資料庫系統

當您為 AI 和量子就緒設計資料庫系統時,以下是要遵循的實用指南:

1. 今天就開始使用量子安全加密

不要等待量子電腦到來。現在就使用結合經典和抗量子演算法的混合方案添加後量子密碼學。「現在收穫,稍後解密」的威脅是真實的。了解 SSL 憑證安全中的信任鏈為您添加抗量子密碼層奠定了基礎。

2. 逐步添加向量搜尋

您不需要替換現有的資料庫。首先通過像 pgvector 這樣的擴充添加向量搜尋,或者引入專用的向量資料庫進行語義搜尋。對於在 Kubernetes 中運行 GPU 工作負載的組織,高效的資源分配很重要。查看我關於 NVIDIA MIG 與 GPU 優化的指南以更好地使用 GPU。

3. 投資特徵工程基礎設施

對於認真的 ML 部署來說,特徵存儲不再是可選的。它們解決了圍繞特徵一致性、發現和重用的實際問題。在轉向企業平台之前,從像 Feast 這樣的開源解決方案開始簡單入手。

4. 為多種工作負載類型設計

您的架構應該處理交易和分析查詢、結構化和非結構化數據、批次和即時處理。像 DuckDB 這樣的工具正在模糊 OLTP 和 OLAP 之間的界限。

5. 使用 AI 特定指標進行監控

像 QPS 和 P99 延遲這樣的傳統資料庫指標仍然很重要,但 AI 工作負載需要更多:嵌入生成時間、向量索引新鮮度、相似性搜尋召回率和特徵服務延遲。現代自動化平台正在演進以更好地支援 AI 基礎設施可觀測性。

當前狀態:今天什麼是生產就緒的

2026 年初的資料庫格局與短短幾年前有根本性的不同。以下是目前實際部署並在生產系統中運作的內容。

向量資料庫已成為主流

向量資料庫已經超越了概念驗證。截至 2025 年底,通過主要 CDN 提供商的網路流量中超過一半使用後量子金鑰交換。像 Cursor、Notion 和 Linear 這樣的公司正在大規模運行向量資料庫以支援其 AI 功能。主要參與者已經相當成熟:

Pinecone 以個位數毫秒延遲處理企業應用程式的生產工作負載。Qdrant 基於 Rust 的實作在複雜的有效負載過濾下提供低於 5ms 的查詢時間。Milvus 支援大規模嵌入的 GPU 加速。ChromaDB 的 2025 年 Rust 重寫相比原始 Python 版本帶來了 4 倍的性能提升。

傳統資料庫正在添加向量功能。PostgreSQL 的 pgvector 擴充讓團隊無需切換資料庫即可添加語義搜尋。MongoDB Atlas、SingleStore 和 Elasticsearch 都配備了原生向量支援。趨勢很明確:向量搜尋正在成為標準功能,而不是專業的資料庫類型。

後量子密碼學部署開始

到 2025 年 10 月,超過一半的人為發起的 Cloudflare 流量受到後量子加密的保護。NIST 於 2024 年 8 月最終確定了第一批後量子標準,包括 CRYSTALS-Kyber、CRYSTALS-Dilithium、FALCON 和 SPHINCS+。這些演算法的 FIPS 140-3 認證在 2025-2026 年時間表中提供。

主要資料庫供應商正在實施抗量子加密。PostgreSQL 17+ 具有實驗性的後量子 TLS 支援。MongoDB Atlas 正在測試用於客戶端加密的 CRYSTALS-Kyber。Oracle Database 23c 配備了混合量子-經典加密方案。政府最後期限正在迫使採取行動:美國聯邦機構必須在 2035 年之前完成遷移,澳洲目標是 2030 年,歐盟根據應用程式設定 2030-2035 年的最後期限。

「現在收穫,稍後解密」的威脅是真實的。存儲敏感數據的組織必須現在採取行動,而不是等待量子電腦到來。

特徵存儲成為標準基礎設施

特徵存儲已經從錦上添花升級為生產 ML 必不可少。公司正在了解訓練和推理之間的特徵工程一致性不是可選的。像 Tecton、Feast 和 AWS SageMaker Feature Store 這樣的平台正在被廣泛採用,因為團隊意識到跨離線訓練和線上服務管理特徵的操作複雜性。

正在進行的積極研究

除了生產部署之外,研究人員正在推動量子運算和資料庫的可能性邊界。

量子查詢優化展現前景

研究人員已經證明量子運算可以加速特定的資料庫優化問題。2016 年,Trummer 和 Koch 將多個查詢優化映射到量子退火器,並在特定問題類別上實現了大約 1000 倍的加速,儘管僅限於小問題規模。

2022-2025 年的更新研究探索了基於門的量子電腦用於連接順序優化和交易調度。Grover 演算法為非結構化搜尋提供二次加速。對於包含 N 個項目的資料庫,經典搜尋需要 N 次操作,而量子搜尋大約需要 √N 次操作。IBM 的量子研究表明,某些圖形資料庫查詢可以實現指數級加速,儘管僅適用於特定問題類型。

這裡的關鍵短語是「特定問題類別」。量子優勢出現在組合優化問題上,如連接排序、索引選擇和交易調度。通用資料庫操作不會僅僅通過轉移到量子硬體就看到自動加速。

量子啟發演算法今天就能運作

在我們等待實用的量子電腦時,量子啟發演算法在經典硬體上運行並提供真正的好處。這些技術使用量子原理,如疊加和退火,而不需要實際的量子位元。

2025 年底發表的研究表明,量子啟發優化可以通過同時檢查多個執行路徑來加速雲端資料庫查詢處理。這些方法使用張量網路架構和模擬退火來減少複雜分析操作的處理開銷。

實際時間表如下:量子啟發演算法現在已經生產就緒,在經典硬體上運行。用於特定優化任務的混合量子-經典系統可能在接下來的 5-7 年內出現,因為量子電腦達到 1000+ 個穩定的量子位元。通用量子資料庫加速仍需 10-15 年,如果它被證明是實用的話。

您的行動計畫

您今天做出的資料庫決策將在未來數年內啟用或限制您的能力。以下是基於當前技術(而非炒作)有意義的內容。

對於 AI 工作負載: 現在就添加向量搜尋功能。如果您使用 PostgreSQL,從 pgvector 開始。對於大多數用例,性能是可靠的,如果需要,您總是可以稍後遷移到專用向量資料庫。當您需要專用基礎設施時,像 Pinecone 和 Qdrant 這樣的工具已經生產就緒。

對於安全性: 在 2026 年實施後量子密碼學。NIST 標準已最終確定。像 OpenSSL、BoringSSL 和 Bouncy Castle 這樣的函式庫正在添加支援。在過渡期間使用結合經典和抗量子演算法的混合方法。不要等待合規最後期限。

對於 ML 操作: 如果您在生產中運行模型,請投資特徵存儲基礎設施。訓練和服務之間的一致性問題只會隨著規模擴大而惡化。開源 Feast 是一個很好的起點。當操作負擔變得太高時,升級到託管平台。

對於架構: 擁抱多語言持久性。「一個資料庫適用於所有內容」的時代已經結束。使用 PostgreSQL 進行交易,使用專用向量資料庫進行語義搜尋,使用 ClickHouse 進行分析,使用 Redis 進行快取。現代應用程式需要為每項工作使用正確的工具,通過精心設計的數據層連接。

結論

資料庫世界正在經歷自 NoSQL 運動以來最大的轉變。AI 創造了圍繞向量嵌入和相似性搜尋建構的全新資料庫類別。量子運算作為安全威脅和優化機會出現。以下是基於研究和生產部署實際發生的情況:

向量資料庫已經成熟。像 GaussDB-Vector 和 PostgreSQL-V 這樣的系統展示了生產就緒的性能。像 Cursor、Notion 和 Linear 這樣的公司大規模運行向量資料庫。

後量子密碼學已標準化。NIST 於 2024 年 8 月發布了最終標準。組織必須現在開始轉換以滿足合規最後期限並防範「現在收穫,稍後解密」攻擊。

特徵存儲是標準基礎設施。研究表明它們解決了 ML 操作中圍繞特徵一致性、發現和重用的關鍵問題。

量子查詢優化仍在研究中。儘管對特定問題類別有令人期待的結果,但實用的量子資料庫加速需要量子運算硬體的技術進步。

這個時刻的獨特之處在於融合。我們不僅僅是添加新的資料庫類型。我們正在重新思考資料庫需要做什麼。向量相似性搜尋正變得與 SQL 連接一樣基本。抗量子加密正從理論轉向必需。特徵存儲正在成為關鍵的 ML 基礎設施。

在 AI 領域成功的公司不僅僅是擁有更好模型的公司。他們是擁有支援快速迭代的數據基礎設施的公司。了解您的工作負載需求並選擇正確的工具比追逐趨勢更重要。

您在 AI 工作負載方面面臨什麼挑戰?您在為後量子密碼學做準備嗎?您如何看待向量搜尋?資料庫格局正在快速演變,實踐經驗很重要。在下面分享您的想法或查看我關於 AI 基礎設施、資料架構和量子運算的其他文章。

資料庫的未來是混合的、智慧的和量子感知的。技術已經存在。問題是您是否準備好使用它。

\