7.4 历史数据与实时数据

📊 历史数据特点与应用

主要特点

• 静态性：数据已固化，不会变化
• 完整性：要求完整覆盖历史时段
• 准确性：需要经过清洗和修正
• 可批量处理：适合批量计算和分析

主要应用

• 策略回测与验证
• 因子研究与挖掘
• 市场规律分析
• 机器学习模型训练
• 绩效归因分析

数据要求

• 时间跨度长（通常5-10年以上）
• 包含除权除息修正
• 包含停牌、退市等事件
• 准确的各种数据字段

⚡ 实时数据特点与应用

主要特点

• 动态性：数据持续流入和更新
• 时效性：要求最低延迟
• 流式处理：需要实时计算和响应
• 可靠性：不能丢数据，需要重传机制

主要应用

• 实盘交易信号生成
• 实时风险监控
• 市场动态跟踪
• 算法交易执行
• 实时可视化监控

性能要求

• 毫秒级或微秒级延迟
• 高吞吐量处理能力
• 99.9%以上可用性
• 故障自动恢复

⚙️ 技术架构对比

🔧 实时数据处理示例

WebSocket实时数据接收

import websocket
import json
import threading

class RealTimeDataHandler:
    def __init__(self, on_data_callback):
        self.ws = None
        self.on_data = on_data_callback
        self.reconnect_delay = 1

    def on_message(self, ws, message):
        try:
            data = json.loads(message)
            self.on_data(data)
        except Exception as e:
            print(f"解析错误: {e}")

    def on_error(self, ws, error):
        print(f"WebSocket错误: {error}")

    def on_close(self, ws, close_status_code, close_msg):
        print("连接关闭，尝试重连...")
        self.reconnect()

    def on_open(self, ws):
        print("WebSocket连接已建立")
        # 订阅数据
        ws.send(json.dumps({
            "action": "subscribe",
            "symbol": "000001.SZ"
        }))

    def connect(self, url):
        self.ws = websocket.WebSocketApp(
            url,
            on_message=self.on_message,
            on_error=self.on_error,
            on_close=self.on_close,
            on_open=self.on_open
        )
        self.ws.run_forever()

    def reconnect(self):
        threading.Timer(self.reconnect_delay, self.connect).start()

📝 本节小结