74 lines
3.1 KiB
Python
74 lines
3.1 KiB
Python
|
import json
|
|||
|
|
import logging
|
|||
|
|
from backend.services.llm_service import llm_service
|
|||
|
|
|
|||
|
|
logger = logging.getLogger(__name__)
|
|||
|
|
|
|||
|
|
class RAGEvaluator:
|
|||
|
|
def __init__(self):
|
|||
|
|
self.llm = llm_service
|
|||
|
|
|
|||
|
|
def calculate_retrieval_metrics(self, retrieved_docs, dataset_item):
|
|||
|
|
"""
|
|||
|
|
计算检索阶段指标: Keyword Recall (关键词覆盖率)
|
|||
|
|
检查 dataset 中的 keywords 有多少出现在了 retrieved_docs 的 content 中
|
|||
|
|
"""
|
|||
|
|
required_keywords = dataset_item.get("keywords", [])
|
|||
|
|
if not required_keywords:
|
|||
|
|
return {"keyword_recall": 1.0, "hit": True} # 没有关键词要求，默认算对
|
|||
|
|
|
|||
|
|
# 将所有检索到的文本拼接并转小写
|
|||
|
|
full_context = " ".join([doc['content'] for doc in retrieved_docs]).lower()
|
|||
|
|
|
|||
|
|
found_count = 0
|
|||
|
|
for kw in required_keywords:
|
|||
|
|
if kw.lower() in full_context:
|
|||
|
|
found_count += 1
|
|||
|
|
|
|||
|
|
recall = found_count / len(required_keywords)
|
|||
|
|
|
|||
|
|
return {
|
|||
|
|
"keyword_recall": recall,
|
|||
|
|
# 只要召回率大于 0 就认为 Hit 了一部分；
|
|||
|
|
# 严格一点可以要求 recall > 0.5，这里我们设定只要沾边就算 Hit
|
|||
|
|
"hit": recall > 0
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
def evaluate_generation_quality(self, question, generated_answer, ground_truth_answer, q_type):
|
|||
|
|
"""
|
|||
|
|
使用 LLM 作为裁判，评估生成质量 (1-5分)
|
|||
|
|
"""
|
|||
|
|
prompt = f"""
|
|||
|
|
你是一名RAG系统的自动化测试裁判。请根据以下信息对“系统回答”进行评分（1-5分）。
|
|||
|
|
|
|||
|
|
【测试类型】: {q_type}
|
|||
|
|
【用户问题】: {question}
|
|||
|
|
【标准答案 (Ground Truth)】: {ground_truth_answer}
|
|||
|
|
【系统回答】: {generated_answer}
|
|||
|
|
|
|||
|
|
评分标准：
|
|||
|
|
- 5分: 含义与标准答案完全一致，逻辑正确，无幻觉。
|
|||
|
|
- 4分: 核心意思正确，但缺少部分细节或废话较多。
|
|||
|
|
- 3分: 回答了一部分正确信息，但有遗漏或轻微错误。
|
|||
|
|
- 2分: 包含大量错误信息或严重答非所问。
|
|||
|
|
- 1分: 完全错误，或产生了严重幻觉（例如在负向测试中编造了不存在的功能）。
|
|||
|
|
|
|||
|
|
注意：对于"negative_test"（负向测试），如果标准答案是“不支持/文档未提及”，而系统回答诚实地说“未找到相关信息”或“不支持”，应给满分。
|
|||
|
|
|
|||
|
|
请仅返回JSON格式: {{"score": 5, "reason": "理由..."}}
|
|||
|
|
"""
|
|||
|
|
|
|||
|
|
try:
|
|||
|
|
# 使用 system_prompt 强制约束格式
|
|||
|
|
result_str = self.llm.chat(prompt, system_prompt="你是一个只输出JSON的评测机器人。")
|
|||
|
|
|
|||
|
|
# 清洗 Markdown 格式 (```json ... ```)
|
|||
|
|
if "```" in result_str:
|
|||
|
|
result_str = result_str.split("```json")[-1].split("```")[0].strip()
|
|||
|
|
|
|||
|
|
eval_result = json.loads(result_str)
|
|||
|
|
return eval_result
|
|||
|
|
except Exception as e:
|
|||
|
|
logger.error(f"Eval LLM failed: {e}")
|
|||
|
|
# 降级处理
|
|||
|
|
return {"score": 0, "reason": "Evaluation Script Error"}
|