7.7 数据存储策略

📊 数据存储需求分析

历史数据存储

• 容量：需要存储多年历史数据
• 查询：按时间范围快速检索
• 压缩：节省存储空间
• 归档：冷数据分层存储

实时数据存储

• 写入：高吞吐量写入
• 延迟：最低读写延迟
• 内存：热数据内存缓存
• 持久化：确保数据不丢失

因子数据存储

• 结构：多维度因子矩阵
• 更新：批量更新策略
• 版本：因子版本管理
• 共享：多策略共享访问

💾 存储技术选型

文件系统

• 优点：简单直接、成本低
• 适用：批量数据、研究分析
• 格式：HDF5、Parquet、CSV

时序数据库

• 优点：专为时序数据优化
• 适用：Tick数据、传感器数据
• 代表：InfluxDB、TimescaleDB、KDB+

关系型数据库

• 优点：事务支持、SQL查询
• 适用：结构化数据、因子数据
• 代表：PostgreSQL、MySQL

NoSQL数据库

• 优点：灵活schema、高扩展性
• 适用：文档数据、日志数据
• 代表：MongoDB、Cassandra

⚙️ 存储架构设计

分层存储架构

分层存储策略:

热数据层 (Hot Data)
├── 内存数据库 (Redis)
├── 实时Tick数据
├── 当前交易日内数据
└── 延迟: < 1ms

温数据层 (Warm Data)
├── SSD存储
├── 近期历史数据 (1-3个月)
├── 热门因子数据
└── 延迟: < 10ms

冷数据层 (Cold Data)
├── HDD存储 / 云存储
├── 历史归档数据
├── 压缩存储
└── 延迟: < 1s

数据分区策略

• 时间分区：按日/月/年分区
• 品种分区：按股票/期货/期权分区
• 市场分区：按交易所分区
• 混合分区：时间+品种组合

🔧 存储优化实践

数据压缩

# Parquet格式存储示例
import pandas as pd

# 使用Parquet格式存储（列式存储，压缩率高）
df.to_parquet('data/stock_prices.parquet',
              compression='snappy',
              partition_cols=['symbol', 'date'])

# 读取特定分区
df = pd.read_parquet('data/stock_prices.parquet/symbol=000001')

HDF5格式示例

# HDF5格式存储示例
import h5py
import numpy as np

# 创建HDF5文件
with h5py.File('market_data.h5', 'w') as f:
    # 存储时序数据
    f.create_dataset('prices', data=price_array,
                     compression='gzip', chunks=True)
    f.create_dataset('volumes', data=volume_array,
                     compression='gzip', chunks=True)

# 读取数据
with h5py.File('market_data.h5', 'r') as f:
    prices = f['prices'][:]

其他优化策略

• 索引优化：建立时间戳和代码索引
• 列式存储：适合分析查询
• 内存缓存：热点数据缓存
• 预计算：预先计算常用指标

📝 本节小结