wiki_crawler

本仓库主要用于存放和更新dify中wiki_crawler的代码节点的代码

节点返回值格式约定

节点返回值统一采用json格式，包含以下字段：

• code：状态码，0失败，1成功，2警告
• msg：状态描述，用于提示调用方
• data：返回数据，json格式，根据不同节点有不同的字段，若失败则为null

节点输入输出设计

• start：启动节点
  • input：
    • input
    • type: ['url'，'task_id'] # 根据输入类型对input进行处理
  • output：无
• register：注册节点，涉及sql
  • input：
    • url：任务url
  • output：
    • task_id：任务id，用于后续查询任务状态
    • is_new_task：是否为新任务，1表示是，0表示否
• pending_urls：剩余待处理url，涉及sql
  • input：
    • task_id：任务id
    • limit：最多返回的url数量，默认值为10
  • output：
    • urls: 剩余待处理url列表
• save_results：保存处理结果，涉及sql
  • input：
    • task_id：任务id
    • results：任务结果列表，用于存入数据库
  • output：
    • completed：已入库url列表
    • failed：入库url列表
    • warnings：入库警告列表
• message：消息节点，前置一个变量聚合器，不涉及sql操作
  • input：
    • msgs：各个节点的msg经过前置节点整合后统一输出
  • output：
    • output：整合消息之后输出给end
• end：结束节点
  • input：
    • message节点整合的