50 lines
1.5 KiB
Markdown
50 lines
1.5 KiB
Markdown
# wiki_crawler
|
||
|
||
本仓库主要用于存放和更新dify中wiki_crawler的代码节点的代码
|
||
|
||
`git config --local user.email "qinggang.deng@dxc.com"`
|
||
|
||
## 节点返回值格式约定
|
||
|
||
节点返回值统一采用json格式，包含以下字段：
|
||
|
||
- code：状态码，0失败，1成功，2警告
|
||
- msg：状态描述，用于提示调用方
|
||
- data：返回数据，json格式，根据不同节点有不同的字段，若失败则为null
|
||
|
||
## 节点输入输出设计
|
||
|
||
- start：启动节点
|
||
- input：
|
||
- input
|
||
- type: ['url'，'task_id'] # 根据输入类型对input进行处理
|
||
- output：无
|
||
- register：注册节点，涉及sql
|
||
- input：
|
||
- url：任务url
|
||
- output：
|
||
- task_id：任务id，用于后续查询任务状态
|
||
- is_new_task：是否为新任务，1表示是，0表示否
|
||
- pending_urls：剩余待处理url，涉及sql
|
||
- input：
|
||
- task_id：任务id
|
||
- limit：最多返回的url数量，默认值为10
|
||
- output：
|
||
- urls: 剩余待处理url列表
|
||
- save_results：保存处理结果，涉及sql
|
||
- input：
|
||
- task_id：任务id
|
||
- results：任务结果列表，用于存入数据库
|
||
- output：
|
||
- completed：已入库url列表
|
||
- failed：入库url列表
|
||
- warnings：入库警告列表
|
||
- message：消息节点，前置一个变量聚合器，不涉及sql操作
|
||
- input：
|
||
- msgs：各个节点的msg经过前置节点整合后统一输出
|
||
- output：
|
||
- output：整合消息之后输出给end
|
||
- end：结束节点
|
||
- input：
|
||
- message节点整合的
|