What is the difference between a corpus and a document in NLP?

在自然语言处理（NLP）中，“语料库”和“文档”这两个术语经常被使用，但它们指代的内容有所不同。

语料库（Corpus）： 语料库是指一集合的文本材料，这些文本材料通常是电子格式的，并且被用来进行语言研究和NLP任务。一个语料库可能包含单一语言的文本，也可能包含多种语言的文本，可以是一类特定类型的文本，如新闻报道、科学论文、社交媒体帖子等。语料库用于训练和评估NLP模型，帮助模型学习如何处理和理解语言。

例如，一个著名的英语语料库是Brown Corpus，它包含了不同类别的文本，如新闻、宗教、科学等，总共包含了约一百万个单词的文本。这使得研究人员能够在各种文本上测试和训练他们的模型。

文档（Document）： 文档则是语料库中的单个实体，它可以是一篇文章、一本书的一章、一封邮件、一个网页等。在NLP任务中，处理的基本单位往往是“文档”。每个文档都是独立的，包含了可以被读取和分析的完整信息。文档的大小和长度可以变化，从短信这样的短文到完整的书籍。

例如，在情感分析的任务中，每个产品评论可以被视为一个单独的文档。NLP模型将分析每个文档的文本内容，以确定评论的情感倾向是正面还是负面。

总结来说，语料库是文档的集合，用于NLP的数据训练和测试；而文档是构成语料库的单个文本单位，可用于具体的数据处理和分析。这两者相辅相成，共同支持NLP的各种应用和研究。