feat: 重构项目结构并增强安全性
- 将文档和脚本移动到更合适的目录结构 - 删除敏感信息并替换为Doppler环境变量引用 - 新增GitGuardian配置以加强代码安全扫描 - 实现MongoDB向量搜索索引创建脚本 - 添加文章embedding生成脚本 - 新增Alpha Vantage测试脚本 - 重构八仙辩论系统架构 - 实现swarm辩论触发机制 - 新增MongoDB与Swarm集成示例 - 完善RapidAPI负载均衡策略文档 所有修改均遵循安全最佳实践，敏感信息不再硬编码在代码中
This commit is contained in:
ben
@@ -4,7 +4,7 @@
|
||||
|
||||
基于Doppler配置和实际测试，记录当前RapidAPI订阅的API服务及其可用性。
|
||||
|
||||
**API密钥**: `6731900a13msh816fbe854209ac2p1bded2jsn1538144d52a4`
|
||||
**API密钥**: `[REDACTED - 从Doppler获取RAPIDAPI_KEY]`
|
||||
**总订阅数**: 17个API服务
|
||||
**最后更新**: 2025-08-02
|
||||
|
||||
@@ -193,4 +193,4 @@
|
||||
|
||||
**维护者**: Ben
|
||||
**联系方式**: 通过Doppler配置管理API密钥
|
||||
**更新频率**: 每次API测试后更新
|
||||
**更新频率**: 每次API测试后更新
|
||||
|
||||
341
docs/rapidapi/jixia_load_balancing_strategy.md
Normal file
341
docs/rapidapi/jixia_load_balancing_strategy.md
Normal file
@@ -0,0 +1,341 @@
|
||||
# 🏛️ 稷下学宫八仙论道负载分担策略
|
||||
|
||||
## 📋 概述
|
||||
|
||||
基于现有的RapidAPI订阅和雅虎财经数据接口，设计一套智能负载分担策略，让八仙论道系统中的不同角色调用不同的API端点获取相同类型的数据，实现API负载均衡和系统稳定性。
|
||||
|
||||
## 🎯 核心理念
|
||||
|
||||
**"同样的数据，不同的路径"** - 通过多API轮换获取相同类型的市场数据，避免单一API过载，确保系统稳定运行。
|
||||
|
||||
## 📊 可用API资源清单
|
||||
|
||||
### ✅ 已验证可用的API (4个)
|
||||
|
||||
```python
|
||||
AVAILABLE_APIS = {
|
||||
'alpha_vantage': {
|
||||
'host': 'alpha-vantage.p.rapidapi.com',
|
||||
'response_time': 1.26,
|
||||
'rate_limit': '500/min, 500k/month',
|
||||
'specialty': ['stock_quote', 'company_overview', 'earnings']
|
||||
},
|
||||
'yahoo_finance_15': {
|
||||
'host': 'yahoo-finance15.p.rapidapi.com',
|
||||
'response_time': 2.07,
|
||||
'rate_limit': '500/min, 500k/month',
|
||||
'specialty': ['stock_quote', 'market_movers', 'news']
|
||||
},
|
||||
'webull': {
|
||||
'host': 'webull.p.rapidapi.com',
|
||||
'response_time': 1.56,
|
||||
'rate_limit': '500/min, 500k/month',
|
||||
'specialty': ['stock_search', 'market_gainers']
|
||||
},
|
||||
'seeking_alpha': {
|
||||
'host': 'seeking-alpha.p.rapidapi.com',
|
||||
'response_time': 3.32,
|
||||
'rate_limit': '500/min, 500k/month',
|
||||
'specialty': ['company_profile', 'market_analysis']
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
## 🎭 八仙负载分担配置
|
||||
|
||||
### 数据类型映射策略
|
||||
|
||||
```python
|
||||
DATA_TYPE_API_MAPPING = {
|
||||
# 股票报价数据 - 3个API可提供
|
||||
'stock_quote': {
|
||||
'吕洞宾': 'alpha_vantage', # 主力剑仙用最快的API
|
||||
'何仙姑': 'yahoo_finance_15', # 风控专家用稳定的API
|
||||
'张果老': 'webull', # 技术分析师用搜索强的API
|
||||
'韩湘子': 'alpha_vantage', # 基本面研究用专业API
|
||||
'汉钟离': 'yahoo_finance_15', # 量化专家用市场数据API
|
||||
'蓝采和': 'webull', # 情绪分析师用活跃数据API
|
||||
'曹国舅': 'seeking_alpha', # 宏观分析师用分析API
|
||||
'铁拐李': 'alpha_vantage' # 逆向投资用基础数据API
|
||||
},
|
||||
|
||||
# 公司概览数据 - 2个API可提供
|
||||
'company_overview': {
|
||||
'吕洞宾': 'alpha_vantage', # 技术分析需要完整数据
|
||||
'何仙姑': 'seeking_alpha', # 风控需要分析师观点
|
||||
'张果老': 'alpha_vantage', # 技术分析偏好数据API
|
||||
'韩湘子': 'seeking_alpha', # 基本面研究需要深度分析
|
||||
'汉钟离': 'alpha_vantage', # 量化需要结构化数据
|
||||
'蓝采和': 'seeking_alpha', # 情绪分析需要市场观点
|
||||
'曹国舅': 'seeking_alpha', # 宏观分析需要专业观点
|
||||
'铁拐李': 'alpha_vantage' # 逆向投资需要基础数据
|
||||
},
|
||||
|
||||
# 市场动态数据 - 2个API可提供
|
||||
'market_movers': {
|
||||
'吕洞宾': 'yahoo_finance_15', # 剑仙关注市场热点
|
||||
'何仙姑': 'webull', # 风控关注活跃股票
|
||||
'张果老': 'yahoo_finance_15', # 技术分析关注涨跌榜
|
||||
'韩湘子': 'webull', # 基本面研究关注搜索热度
|
||||
'汉钟离': 'yahoo_finance_15', # 量化关注市场数据
|
||||
'蓝采和': 'webull', # 情绪分析关注活跃度
|
||||
'曹国舅': 'yahoo_finance_15', # 宏观关注整体趋势
|
||||
'铁拐李': 'webull' # 逆向投资关注异常股票
|
||||
},
|
||||
|
||||
# 新闻和分析数据 - 2个API可提供
|
||||
'market_news': {
|
||||
'吕洞宾': 'yahoo_finance_15', # 剑仙需要快速资讯
|
||||
'何仙姑': 'seeking_alpha', # 风控需要深度分析
|
||||
'张果老': 'yahoo_finance_15', # 技术分析关注市场新闻
|
||||
'韩湘子': 'seeking_alpha', # 基本面需要分析师观点
|
||||
'汉钟离': 'yahoo_finance_15', # 量化关注数据驱动新闻
|
||||
'蓝采和': 'seeking_alpha', # 情绪分析需要市场情绪
|
||||
'曹国舅': 'seeking_alpha', # 宏观需要政策分析
|
||||
'铁拐李': 'yahoo_finance_15' # 逆向投资关注反向指标
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
## 🔄 智能轮换策略
|
||||
|
||||
### 1. 时间窗口轮换
|
||||
|
||||
```python
|
||||
TIME_BASED_ROTATION = {
|
||||
# 交易时段 (9:30-16:00 EST) - 优先使用快速API
|
||||
'trading_hours': {
|
||||
'primary_apis': ['alpha_vantage', 'webull'],
|
||||
'backup_apis': ['yahoo_finance_15', 'seeking_alpha']
|
||||
},
|
||||
|
||||
# 非交易时段 - 可以使用较慢但更详细的API
|
||||
'after_hours': {
|
||||
'primary_apis': ['seeking_alpha', 'yahoo_finance_15'],
|
||||
'backup_apis': ['alpha_vantage', 'webull']
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
### 2. 负载感知轮换
|
||||
|
||||
```python
|
||||
LOAD_AWARE_ROTATION = {
|
||||
# 当某个API接近限制时，自动切换到其他API
|
||||
'rate_limit_thresholds': {
|
||||
'alpha_vantage': 450, # 90% of 500/min
|
||||
'yahoo_finance_15': 450,
|
||||
'webull': 450,
|
||||
'seeking_alpha': 450
|
||||
},
|
||||
|
||||
# 故障转移优先级
|
||||
'failover_priority': {
|
||||
'alpha_vantage': ['webull', 'yahoo_finance_15'],
|
||||
'yahoo_finance_15': ['webull', 'alpha_vantage'],
|
||||
'webull': ['alpha_vantage', 'yahoo_finance_15'],
|
||||
'seeking_alpha': ['yahoo_finance_15', 'alpha_vantage']
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
## 🏗️ 实现架构
|
||||
|
||||
### 核心组件
|
||||
|
||||
```python
|
||||
class JixiaLoadBalancer:
|
||||
"""稷下学宫负载均衡器"""
|
||||
|
||||
def __init__(self):
|
||||
self.api_pool = APIPool(AVAILABLE_APIS)
|
||||
self.immortal_mapping = DATA_TYPE_API_MAPPING
|
||||
self.rate_limiter = RateLimiter()
|
||||
self.health_checker = APIHealthChecker()
|
||||
|
||||
def get_data_for_immortal(self, immortal_name: str, data_type: str, symbol: str):
|
||||
"""为特定仙人获取数据"""
|
||||
# 1. 获取该仙人的首选API
|
||||
preferred_api = self.immortal_mapping[data_type][immortal_name]
|
||||
|
||||
# 2. 检查API健康状态和速率限制
|
||||
if self.is_api_available(preferred_api):
|
||||
return self.call_api(preferred_api, data_type, symbol)
|
||||
|
||||
# 3. 故障转移到备用API
|
||||
backup_apis = LOAD_AWARE_ROTATION['failover_priority'][preferred_api]
|
||||
for backup_api in backup_apis:
|
||||
if self.is_api_available(backup_api):
|
||||
return self.call_api(backup_api, data_type, symbol)
|
||||
|
||||
# 4. 如果所有API都不可用，返回缓存数据
|
||||
return self.get_cached_data(data_type, symbol)
|
||||
|
||||
def is_api_available(self, api_name: str) -> bool:
|
||||
"""检查API是否可用"""
|
||||
# 检查健康状态
|
||||
if not self.health_checker.is_healthy(api_name):
|
||||
return False
|
||||
|
||||
# 检查速率限制
|
||||
if self.rate_limiter.is_rate_limited(api_name):
|
||||
return False
|
||||
|
||||
return True
|
||||
```
|
||||
|
||||
### 数据统一化处理
|
||||
|
||||
```python
|
||||
class DataNormalizer:
|
||||
"""数据标准化处理器"""
|
||||
|
||||
def normalize_stock_quote(self, raw_data: dict, api_source: str) -> dict:
|
||||
"""将不同API的股票报价数据标准化"""
|
||||
if api_source == 'alpha_vantage':
|
||||
return self._normalize_alpha_vantage_quote(raw_data)
|
||||
elif api_source == 'yahoo_finance_15':
|
||||
return self._normalize_yahoo_quote(raw_data)
|
||||
elif api_source == 'webull':
|
||||
return self._normalize_webull_quote(raw_data)
|
||||
|
||||
def _normalize_alpha_vantage_quote(self, data: dict) -> dict:
|
||||
"""标准化Alpha Vantage数据格式"""
|
||||
global_quote = data.get('Global Quote', {})
|
||||
return {
|
||||
'symbol': global_quote.get('01. symbol'),
|
||||
'price': float(global_quote.get('05. price', 0)),
|
||||
'change': float(global_quote.get('09. change', 0)),
|
||||
'change_percent': global_quote.get('10. change percent', '0%'),
|
||||
'volume': int(global_quote.get('06. volume', 0)),
|
||||
'source': 'alpha_vantage'
|
||||
}
|
||||
|
||||
def _normalize_yahoo_quote(self, data: dict) -> dict:
|
||||
"""标准化Yahoo Finance数据格式"""
|
||||
body = data.get('body', {})
|
||||
return {
|
||||
'symbol': body.get('symbol'),
|
||||
'price': float(body.get('regularMarketPrice', 0)),
|
||||
'change': float(body.get('regularMarketChange', 0)),
|
||||
'change_percent': f"{body.get('regularMarketChangePercent', 0):.2f}%",
|
||||
'volume': int(body.get('regularMarketVolume', 0)),
|
||||
'source': 'yahoo_finance_15'
|
||||
}
|
||||
```
|
||||
|
||||
## 📊 监控和统计
|
||||
|
||||
### API使用统计
|
||||
|
||||
```python
|
||||
class APIUsageMonitor:
|
||||
"""API使用监控器"""
|
||||
|
||||
def __init__(self):
|
||||
self.usage_stats = {
|
||||
'alpha_vantage': {'calls': 0, 'errors': 0, 'avg_response_time': 0},
|
||||
'yahoo_finance_15': {'calls': 0, 'errors': 0, 'avg_response_time': 0},
|
||||
'webull': {'calls': 0, 'errors': 0, 'avg_response_time': 0},
|
||||
'seeking_alpha': {'calls': 0, 'errors': 0, 'avg_response_time': 0}
|
||||
}
|
||||
|
||||
def record_api_call(self, api_name: str, response_time: float, success: bool):
|
||||
"""记录API调用统计"""
|
||||
stats = self.usage_stats[api_name]
|
||||
stats['calls'] += 1
|
||||
if not success:
|
||||
stats['errors'] += 1
|
||||
|
||||
# 更新平均响应时间
|
||||
current_avg = stats['avg_response_time']
|
||||
total_calls = stats['calls']
|
||||
stats['avg_response_time'] = (current_avg * (total_calls - 1) + response_time) / total_calls
|
||||
|
||||
def get_load_distribution(self) -> dict:
|
||||
"""获取负载分布统计"""
|
||||
total_calls = sum(stats['calls'] for stats in self.usage_stats.values())
|
||||
if total_calls == 0:
|
||||
return {}
|
||||
|
||||
return {
|
||||
api: {
|
||||
'percentage': (stats['calls'] / total_calls) * 100,
|
||||
'success_rate': ((stats['calls'] - stats['errors']) / stats['calls']) * 100 if stats['calls'] > 0 else 0,
|
||||
'avg_response_time': stats['avg_response_time']
|
||||
}
|
||||
for api, stats in self.usage_stats.items()
|
||||
}
|
||||
```
|
||||
|
||||
## 🎯 实施计划
|
||||
|
||||
### 第一阶段：基础负载均衡
|
||||
1. **实现核心负载均衡器** - 基本的API轮换逻辑
|
||||
2. **数据标准化处理** - 统一不同API的数据格式
|
||||
3. **简单故障转移** - 基本的备用API切换
|
||||
|
||||
### 第二阶段：智能优化
|
||||
1. **速率限制监控** - 实时监控API使用情况
|
||||
2. **健康检查机制** - 定期检测API可用性
|
||||
3. **性能优化** - 基于响应时间优化API选择
|
||||
|
||||
### 第三阶段：高级功能
|
||||
1. **预测性负载均衡** - 基于历史数据预测API负载
|
||||
2. **成本优化** - 基于API成本优化调用策略
|
||||
3. **实时监控面板** - 可视化API使用情况
|
||||
|
||||
## 📈 预期效果
|
||||
|
||||
### 性能提升
|
||||
- **API负载分散**: 单个API负载降低60-70%
|
||||
- **系统稳定性**: 故障率降低80%以上
|
||||
- **响应速度**: 平均响应时间提升30%
|
||||
|
||||
### 成本控制
|
||||
- **API使用优化**: 避免单一API过度使用
|
||||
- **故障恢复**: 减少因API故障导致的数据缺失
|
||||
- **扩展性**: 支持更多API的无缝接入
|
||||
|
||||
## 🔧 配置示例
|
||||
|
||||
### 环境配置
|
||||
```bash
|
||||
# Doppler环境变量
|
||||
RAPIDAPI_KEY=your_rapidapi_key
|
||||
ALPHA_VANTAGE_API_KEY=your_alpha_vantage_key
|
||||
|
||||
# 负载均衡配置
|
||||
LOAD_BALANCER_ENABLED=true
|
||||
API_HEALTH_CHECK_INTERVAL=300 # 5分钟
|
||||
RATE_LIMIT_BUFFER=50 # 保留50个请求的缓冲
|
||||
```
|
||||
|
||||
### 使用示例
|
||||
```python
|
||||
# 在稷下学宫系统中使用
|
||||
from jixia_load_balancer import JixiaLoadBalancer
|
||||
|
||||
load_balancer = JixiaLoadBalancer()
|
||||
|
||||
# 八仙论道时，每个仙人获取数据
|
||||
for immortal in ['吕洞宾', '何仙姑', '张果老', '韩湘子', '汉钟离', '蓝采和', '曹国舅', '铁拐李']:
|
||||
quote_data = load_balancer.get_data_for_immortal(immortal, 'stock_quote', 'TSLA')
|
||||
overview_data = load_balancer.get_data_for_immortal(immortal, 'company_overview', 'TSLA')
|
||||
|
||||
print(f"{immortal}: 获取到{quote_data['source']}的数据")
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎉 总结
|
||||
|
||||
通过这套负载分担策略，稷下学宫八仙论道系统可以：
|
||||
|
||||
1. **智能分配API调用** - 不同仙人使用不同API获取相同数据
|
||||
2. **实现真正的负载均衡** - 避免单一API过载
|
||||
3. **提高系统稳定性** - 多重故障转移保障
|
||||
4. **优化成本效益** - 充分利用现有API资源
|
||||
5. **支持无缝扩展** - 新API可轻松接入系统
|
||||
|
||||
**"八仙过海，各显神通"** - 让每个仙人都有自己的数据获取路径，共同构建稳定可靠的智能投资决策系统！🚀
|
||||
Reference in New Issue
Block a user