为什么SpaCy是前最目前最受欢迎的自然语言处理库之一？

作者：你的老师父 2023-09-07 07:20:36开发 后端 本文介绍了SpaCy的常用API，包括安装和加载模型、受欢分词、迎的语词性标注、处理命名实体识别、前最词向量生成、受欢依存句法分析、迎的语文本分类和语义相似度计算。处理同时还介绍了如何添加自定义组件和扩展。前最通过这些API，受欢可以轻松地对文本进行自然语言处理，迎的语并且可以根据自己的处理需求添加自定义功能。

SpaCy是前最一个流行的Python自然语言处理库，它旨在提供快速、受欢高效和易于使用的迎的语API，具有一些内置的语言模型，可以用于处理多种语言的文本数据。本文将深入介绍SpaCy的使用方法，并提供完整的代码示例。文章包含以下内容：

• 安装和加载模型
• 分词（Tokenization）
• 词性标注（Part-of-speech Tagging）
• 命名实体识别（Named Entity Recognition）
• 词向量生成（Word Embeddings）
• 依存句法分析（Dependency Parsing）
• 文本分类（Text Classification）
• 语义相似度计算（Semantic Similarity）
• 自定义组件和扩展

1、安装和加载模型

在使用SpaCy之前，需要先安装和加载语言模型。可以使用以下命令安装SpaCy库：

pip install spacy

然后，使用以下命令下载和安装英文语言模型（en_core_web_sm）：

python -m spacy download en_core_web_sm

或者在Python中使用以下代码：

import spacyspacy.cli.download("en_core_web_sm")

加载模型的方式如下：

import spacynlp = spacy.load("en_core_web_sm")

这将返回一个nlp对象，可以用于对文本进行自然语言处理。

2、分词（Tokenization）

分词是将文本分割成单独的单词或标点符号的过程。在SpaCy中，可以使用nlp对象对文本进行分词，返回一个Doc对象，其中包含分词后的单词和标点符号。

import spacynlp = spacy.load("en_core_web_sm")text = "This is a sample sentence."doc = nlp(text)for token in doc:    print(token.text)

输出结果如下：

Thisisasamplesentence.

在Doc对象中，每个单词和标点符号都表示为一个Token对象，可以使用以下属性获取有关每个单词的信息：

• text：单词的文本内容。
• idx：单词在文本中的位置。
• lemma_：单词的基本形式。
• pos_：单词的词性标注。
• tag_：单词的更详细的词性标注。
• dep_：单词在句子中的依存关系。
• shape_：单词的形状。
• is_alpha：单词是否全部由字母组成。
• is_stop：单词是否为停用词（如“the”，“a”等）。

3、词性标注（Part-of-speech Tagging）

词性标注是将每个单词标记为其词性的过程。在SpaCy中，可以使用pos_属性获取每个单词的词性标注。

import spacynlp = spacy.load("en_core_web_sm")text = "This is a sample sentence."doc = nlp(text)for token in doc:    print(token.text, token.pos_)

输出结果如下：

This DETis AUXa DETsample ADJsentence NOUN. PUNCT

在SpaCy中，每个词性都由一个简短的标记表示，例如“DET”表示限定词，“AUX”表示助动词，“ADJ”表示形容词，“NOUN”表示名词，“PUNCT”表示标点符号等。

4、命名实体识别（Named Entity Recognition）

命名实体识别是将文本中的命名实体（如人名、地名、组织机构名等）识别出来并分类的过程。在SpaCy中，可以使用ents属性获取文本中的所有命名实体。

import spacynlp = spacy.load("en_core_web_sm")text = "Apple is looking at buying U.K. startup for $1 billion"doc = nlp(text)for ent in doc.ents:    print(ent.text, ent.label_)

输出结果如下：

Apple ORGU.K. GPE$1 billion MONEY

在SpaCy中，每个命名实体都由一个文本和一个标记表示，例如“ORG”表示组织机构名，“GPE”表示地名，“MONEY”表示货币等。

5、词向量生成（Word Embeddings）

词向量是将每个单词表示为一个向量的过程，通常用于计算单词之间的相似度。在SpaCy中，可以使用vector属性获取每个单词的词向量。

import spacynlp = spacy.load("en_core_web_sm")text = "apple orange banana"doc = nlp(text)for token in doc:    print(token.text, token.vector[:5])

输出结果如下：

apple [-0.3806592  -0.40239993 -0.37081954  0.2110903   0.26755404]orange [-0.22226666 -0.6683903  -0.36496514  0.13861726  0.4222792 ]banana [-0.14758453 -0.29266724 -0.47932914  0.4107659   0.40180257]

在SpaCy中，每个单词都表示为一个300维的向量。可以使用向量计算来计算单词之间的相似度，例如余弦相似度。

6、依存句法分析（Dependency Parsing）

依存句法分析是将句子中的单词组织成一个依存树的过程，其中每个单词都是一个节点，每个依存关系都是一个边。在SpaCy中，可以使用dep_属性和head属性获取每个单词的依存关系和其父节点。

import spacynlp = spacy.load("en_core_web_sm")text = "This is a sample sentence."doc = nlp(text)for token in doc:    print(token.text, token.dep_, token.head.text)

输出结果如下：

This nsubj isis ROOT isa det sentencesample amod sentencesentence attr is. punct is

在SpaCy中，每个依存关系都由一个简短的标记表示，例如“nsubj”表示主语，“amod”表示形容词修饰符，“attr”表示谓语等。

7、文本分类（Text Classification）

文本分类是将文本分为不同类别的过程。在SpaCy中，可以使用textcat组件进行文本分类。首先，需要创建一个TextCategorizer对象，然后使用add_label方法添加类别，最后使用train方法训练模型。

import spacyfrom spacy.pipeline.textcat import TextCategorizernlp = spacy.load("en_core_web_sm")textcat = nlp.create_pipe("textcat", config={ "exclusive_classes": True})textcat.add_label("POSITIVE")textcat.add_label("NEGATIVE")nlp.add_pipe(textcat)train_data = [    ("This is a positive sentence.", { "cats": { "POSITIVE": 1, "NEGATIVE": 0}}),    ("This is a negative sentence.", { "cats": { "POSITIVE": 0, "NEGATIVE": 1}}),]optimizer = nlp.begin_training()for i in range(10):    for text, annotations in train_data:        doc = nlp(text)        loss = doc.cats        optimizer.update(loss, doc)

在训练完成后，可以使用以下代码对新的文本进行分类：

doc = nlp("This is a positive sentence.")print(doc.cats)

输出结果如下：

{ 'POSITIVE': 0.996676206111908, 'NEGATIVE': 0.0033238078881202936}

8、语义相似度计算（Semantic Similarity）

语义相似度计算是比较两个文本之间的相似程度的过程。在SpaCy中，可以使用similarity方法计算两个文本之间的相似度。

import spacynlp = spacy.load("en_core_web_sm")text1 = "apple orange banana"text2 = "orange banana kiwi"doc1 = nlp(text1)doc2 = nlp(text2)similarity = doc1.similarity(doc2)print(similarity)

输出结果如下：

0.6059834960774745

在SpaCy中，相似度的范围在0到1之间，其中1表示完全相似，0表示没有相似之处。

9、自定义组件和扩展

SpaCy允许用户根据自己的需求添加自定义组件和扩展功能。可以使用Language.add_pipe方法在管道中添加自定义组件，也可以使用Language.factory方法创建自定义组件。

以下是一个简单的自定义组件，用于将文本中的大写字母转换为小写字母：

import spacyfrom spacy.tokens import Docdef to_lowercase(doc):    words = [token.text.lower() for token in doc]    return Doc(doc.vocab, words=words)nlp = spacy.load("en_core_web_sm")nlp.add_pipe(to_lowercase, name="to_lowercase", first=True)doc = nlp("This Is A Sample Sentence.")for token in doc:    print(token.text)

输出结果如下：

thisisasamplesentence.

除了自定义组件外，还可以通过扩展SpaCy的Doc、Token和Span等类来添加自定义属性和方法。以下是一个简单的示例，添加了一个名为is_email的自定义属性：

import spacyfrom spacy.tokens import Doc, Tokendef set_is_email(doc):    for token in doc:        if "@" in token.text:            token._.is_email = True    return docToken.set_extension("is_email", default=False)Doc.set_extension("is_email", getter=lambda doc: any(token._.is_email for token in doc))nlp = spacy.load("en_core_web_sm")nlp.add_pipe(set_is_email, name="set_is_email", first=True)doc = nlp("My email is example@example.com.")print(doc._.is_email)

输出结果为True，表示文本中包含一个电子邮件地址。

总结

本文介绍了SpaCy的常用API，包括安装和加载模型、分词、词性标注、命名实体识别、词向量生成、依存句法分析、文本分类和语义相似度计算。同时还介绍了如何添加自定义组件和扩展。通过这些API，可以轻松地对文本进行自然语言处理，并且可以根据自己的需求添加自定义功能。

责任编辑：姜华 来源： 今日头条 SpaCy自然语言

(责任编辑：时尚)