22 lines
1.0 KiB
Markdown
22 lines
1.0 KiB
Markdown
# wiki_crawler
|
||
|
||
本仓库主要用于存放wiki_crawler的代码
|
||
|
||
核心依赖 `firecrawl` 和 阿里百炼 的api支持
|
||
|
||
完成wiki网页爬取和向量化与知识库查找
|
||
|
||
|
||
## 当前状况
|
||
|
||
1. 当前在我的电脑本地跑，没部署，看chenwei有没有空了教我往我们服务器上，我自己买的学生服务器还没来得及放上去，三月份到期
|
||
2. 这个demo后端只实现了功能没有auth相关的部分，后续可以直接迁移，chenwei那边gtco_ai开一个模块放进去
|
||
3. firecrawl的apikey，我自己的免费试用apikey快用完了，需要准备部署，调查付费
|
||
4. 可演示，但是还没有包装到可以向客户汇报的层次，后续考虑直接用dify做一个工具包装，集成到Done的bot里；或者用chatflow直接包装，里面用节点请求部署好的后端进行知识库查询
|
||
|
||
切割逻辑，准确率定义，归结资料，测试设计，mcp服务调用，搜索逻辑，问题分类，流程架构设计，场景假设
|
||
|
||
整理dify报错，
|
||
|
||
包装mcp server
|