2025-12-18 14:37:39 +08:00
|
|
|
|
# wiki_crawler
|
|
|
|
|
|
|
2025-12-30 16:19:58 +08:00
|
|
|
|
本仓库主要用于存放wiki_crawler的代码
|
|
|
|
|
|
|
|
|
|
|
|
核心依赖 `firecrawl` 和 阿里百炼 的api支持
|
|
|
|
|
|
|
|
|
|
|
|
完成wiki网页爬取和向量化与知识库查找
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 当前状况
|
|
|
|
|
|
|
|
|
|
|
|
1. 当前在我的电脑本地跑，没部署，看chenwei有没有空了教我往我们服务器上，我自己买的学生服务器还没来得及放上去，三月份到期
|
|
|
|
|
|
2. 这个demo后端只实现了功能没有auth相关的部分，后续可以直接迁移，chenwei那边gtco_ai开一个模块放进去
|
|
|
|
|
|
3. firecrawl的apikey，我自己的免费试用apikey快用完了，需要准备部署，调查付费
|
|
|
|
|
|
4. 可演示，但是还没有包装到可以向客户汇报的层次，后续考虑直接用dify做一个工具包装，集成到Done的bot里；或者用chatflow直接包装，里面用节点请求部署好的后端进行知识库查询
|
|
|
|
|
|
|
|
|
|
|
|
切割逻辑，准确率定义，归结资料，测试设计，mcp服务调用，搜索逻辑，问题分类，流程架构设计，场景假设
|
|
|
|
|
|
|
|
|
|
|
|
整理dify报错，
|
|
|
|
|
|
|
|
|
|
|
|
包装mcp server
|
