spaCy基础入门

spaCy 概览说明

spaCy 是一个现代、快速、工业级 NLP 工具库，专门为实际工程应用设计，提供：
• 分词（Tokenization）
• 词性标注（POS Tagging）
• 命名实体识别（NER）
• 依存句法分析（Dependency Parsing）
• 句子分割（Sentence Segmentation）
• 词向量（Word Vectors）
• 文本相似度计算（Similarity）

并且内置多语言模型（英、德、法、中等），调用统一、速度极快，适合构建生产级 NLP 系统。

spaCy 典型方法功能总结

spaCy 功能 示例

0.安装与模型下载

pip install spacy
python -m spacy download en_core_web_sm

常用语言模型

📌 推荐：开发实战用 en_core_web_md 或 en_core_web_lg，学习测试用 en_core_web_sm

加载模型

import spacy
nlp = spacy.load("en_core_web_sm")

1.分词 Tokenization

doc = nlp("Apple is looking at buying a U.K. startup.")
for token in doc:
    print(token.text)

输出

Apple
is
looking
at
buying
a
U.K.
startup
.

2.词性标注 POS Tagging

for token in doc:
    print(f"{token.text} -> {token.pos_}")

输出

Apple -> PROPN
is -> AUX
looking -> VERB
at -> ADP
buying -> VERB
a -> DET
U.K. -> PROPN
startup -> NOUN
. -> PUNCT

3.命名实体识别 Named Entity Recognition (NER)

for ent in doc.ents:
    print(f"{ent.text} -> {ent.label_}")

输出

Apple -> ORG
U.K. -> GPE

4.依存句法分析 Dependency Parsing

for token in doc:
    print(f"{token.text} <--{token.dep_}-- {token.head.text}")

输出

Apple <--nsubj-- looking
is <--aux-- looking
looking <--ROOT-- looking
at <--prep-- looking
buying <--pcomp-- at
a <--det-- startup
U.K. <--compound-- startup
startup <--dobj-- buying
. <--punct-- looking

5.句子分割 Sentence Segmentation

doc = nlp("""
Apple is looking at buying a U.K. startup.
NOVIDA is considering setting up a factory in China.
The Taliban is planning to hold a presidential election.
""")
for sent in doc.sents:
    print(sent.text)

输出

Apple is looking at buying a U.K. startup.

NOVIDA is considering setting up a factory in China.

The Taliban is planning to hold a presidential election.

6.词向量 Word Vectors （中大型模型）

下载重大模型: python -m spacy download en_core_web_md

nlp = spacy.load("en_core_web_md")
doc = nlp("apple banana orange")
print(doc[0].vector)

7.相似度计算 Similarity

print(doc[0].similarity(doc[1])) # 1.0

总结

spaCy 与 NLTK 功能对比

📌 小结：

• 📌 spaCy 更快更适合工业化项目
• 📌 NLTK 灵活适合教学与学术研究