NaiveRAG

探索 NaiveRAG 基准实现 本节详细介绍如何复现 NaiveRAG 的结果。

NaiveRAG 索引

NaiveRAG 可以使用 NodeRAG 环境。如果您已经安装了 NodeRAG conda 环境,可以直接使用 NaiveRAG 进行索引。如果您还没有安装 NodeRAG 环境,请参考文档中的快速入门指南。

您需要一个类似于 NodeRAG 的文件夹结构。创建一个名为 main_folder 的主工作目录,并在其中放置一个 input 文件夹。将您想要索引的文件放在 input 文件夹中。

main_folder/
├── input/
│   ├── file1.md
│   ├── file2.txt
│   ├── file3.docx
│   └── ...

然后运行

python -m NaiveRAG.build -f path/to/main_folder

回答和评估

首先,根据基准测试格式准备您的测试问题。您需要创建一个包含问题及其对应答案的测试集 parquet 文件。准备好后,您可以使用以下命令运行评估:

python -m /eval/eval_naive -f path/to/main_folder -q path/to/question_parquet

Last modified April 5, 2025: update reproduce (f23a25c)