探索 Python：发现有趣的库——第 3 章：玩转自然语言处理

这篇具有很好参考价值的文章主要介绍了探索 Python：发现有趣的库——第 3 章：玩转自然语言处理。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

代码侠和算法仙正在一间充满科技感的实验室里探讨自然语言处理（NLP）的奥秘。

代码侠：嘿，算法仙，我最近在研究自然语言处理，但感觉有点复杂啊。

算法仙：呵呵，别担心，我来带你入门。首先，我们得安装两个强大的库，NLTK 和 spaCy。

# 安装NLTK和spaCy
pip install nltk spacy

代码侠：好的，我已经安装好了。接下来呢？

算法仙：第一步是学会分词，也就是将文本拆分成单独的词或标记。

import nltk
from nltk.tokenize import word_tokenize

nltk.download('punkt')
text = "Natural Language Processing is fascinating."
tokens = word_tokenize(text)
print(tokens)

代码侠：输出是一串单词列表！真酷！

算法仙：对。下一步，我们用 NLTK 做词性标注，这有助于识别每个词的语法角色。

import nltk
from nltk.tokenize import word_tokenize

text = "Natural Language Processing is fascinating."
nltk.download('averaged_perceptron_tagger')
tokens = word_tokenize(text)
tagged = nltk.pos_tag(tokens)
print(tagged)

代码侠：每个词后面都有一个奇怪的缩写。

算法仙：这些是词性标签。比如，‘NN’ 代表名词，‘VB’ 代表动词。现在，让我们用 spaCy 做命名实体识别。

import spacy

spacy.cli.download("en_core_web_sm")
nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup for $1 billion")
for ent in doc.ents:
    print(ent.text, ent.label_)

代码侠： ‘Apple’, ‘U.K.’, 和 ‘$1 billion’ 都被识别为实体！

算法仙：精确地说。下面我们来做情感分析，判断文本的情绪倾向。

import nltk
from nltk.sentiment import SentimentIntensityAnalyzer

nltk.download('vader_lexicon')

sia = SentimentIntensityAnalyzer()
sentiment = sia.polarity_scores("I love coding in Python!")
print(sentiment)

代码侠：这个输出显示“积极”情绪的分数。

算法仙：最后，让我们用这些技能来构建一个简单的聊天机器人。

from nltk.chat.util import Chat, reflections

pairs = [
    [r"hello|hi", ["Hey there!"]],
    [r"(.*) in (.*)", ["%1 in %2? That's interesting!"]],
    [r"bye", ["Goodbye!"]],
]

chatbot = Chat(pairs, reflections)
chatbot.converse()