3.2 KiB

Raw Permalink Blame History

RSS代码只能抓取一条数据的问题分析

问题现象

原代码期望抓取100条RSS数据，但实际只能抓取到1条数据。

可能的原因分析

1. RSS数据结构识别问题

最可能的原因：RSS数据的实际结构与代码中的4种预设情况都不匹配。

常见的RSS数据结构包括：

rss.channel.item[] (标准RSS 2.0)
feed.entry[] (Atom格式)
channel.item[] (简化RSS)
data[] (某些API返回格式)
直接的对象数组

2. 输入数据获取问题

const rssSource = inputs[0]?.json; // 可能inputs[0]为空或结构不对

3. 去重逻辑过于严格

如果MongoDB中已有大量数据，可能导致新数据被过度过滤。

4. 错误处理不足

原代码缺乏详细的调试信息，难以定位具体问题。

解决方案

1. 增强数据结构识别

// 扩展RSS结构处理
if (rssSource?.rss?.channel?.item && Array.isArray(rssSource.rss.channel.item)) {
    rssItems = rssSource.rss.channel.item;
}
else if (rssSource?.feed?.entry && Array.isArray(rssSource.feed.entry)) {
    rssItems = rssSource.feed.entry;
}
// ... 更多结构支持

2. 添加详细调试信息

console.log('输入数据结构:', JSON.stringify(inputs[0], null, 2).substring(0, 500));
console.log('RSS源数据的所有键:', Object.keys(rssSource || {}));

3. 改进去重逻辑

// 只有当MongoDB确实有数据时才进行去重
if (existingItems.length > 0 && existingItems[0] !== null) {
    // 执行去重逻辑
} else {
    console.log('MongoDB中无现有数据，跳过去重检查');
}

4. 增强错误处理

try {
    // 主要逻辑
} catch (error) {
    console.error("处理错误：", error.message);
    console.error("错误堆栈：", error.stack);
}

调试步骤

检查输入数据结构

console.log('inputs长度:', inputs.length);
console.log('第一个输入:', inputs[0]);

检查RSS源数据

console.log('RSS源数据类型:', typeof rssSource);
console.log('RSS源数据键:', Object.keys(rssSource || {}));

检查提取结果

console.log('提取到的RSS条目数:', rssItems.length);
console.log('第一个RSS条目:', rssItems[0]);

检查去重影响

console.log('MongoDB现有数据数量:', existingItems.length);
console.log('去重后输出数量:', outputItems.length);

建议的修复代码

使用 improved_rss_code.js 中的改进版本，它包含：

更全面的RSS结构支持
详细的调试信息输出
改进的去重逻辑
更好的错误处理
更灵活的字段映射

常见RSS结构示例

RSS 2.0格式

{
  "rss": {
    "channel": {
      "item": [
        {"title": "新闻1", "link": "url1"},
        {"title": "新闻2", "link": "url2"}
      ]
    }
  }
}

Atom格式

{
  "feed": {
    "entry": [
      {"title": "新闻1", "link": {"href": "url1"}},
      {"title": "新闻2", "link": {"href": "url2"}}
    ]
  }
}

简化格式

{
  "items": [
    {"title": "新闻1", "url": "url1"},
    {"title": "新闻2", "url": "url2"}
  ]
}

3.2 KiB Raw Permalink Blame History Unescape Escape