wiki_crawler
本仓库主要用于存放wiki_crawler的代码
核心依赖 firecrawl 和 阿里百炼 的api支持
完成wiki网页爬取和向量化与知识库查找
当前状况
- 当前在我的电脑本地跑，没部署，看chenwei有没有空了教我往我们服务器上，我自己买的学生服务器还没来得及放上去，三月份到期
- 这个demo后端只实现了功能没有auth相关的部分，后续可以直接迁移，chenwei那边gtco_ai开一个模块放进去
- firecrawl的apikey，我自己的免费试用apikey快用完了，需要准备部署，调查付费
- 可演示，但是还没有包装到可以向客户汇报的层次，后续考虑直接用dify做一个工具包装，集成到Done的bot里；或者用chatflow直接包装，里面用节点请求部署好的后端进行知识库查询
切割逻辑，准确率定义，归结资料，测试设计，mcp服务调用，搜索逻辑，问题分类，流程架构设计，场景假设
整理dify报错，
包装mcp server