Pythonライブラリ(形態素解析)：janome

[Terminal]
pip install janome

[IN]
from janome.tokenizer import Tokenizer
t = Tokenizer()

text = 'すもももももももものうち' #文章

for token in t.tokenize(text):
    print(token)
    
print(type(next(iter(t.tokenize(text))))) #型式の確認用

[OUT]
すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

<class 'janome.tokenizer.Token'>

[IN]
from janome.tokenizer import Tokenizer
t = Tokenizer()

text = 'すもももももももものうち' #文章
token = next(iter(t.tokenize(text))) #1個だけ取得

print(token)
print('token.surface:', token.surface)
print('token.part_of_speech:', token.part_of_speech)
print('token.infl_type:', token.infl_type)
print('token.infl_form:', token.infl_form)
print('token.base_form:', token.base_form)
print('token.reading:', token.reading)
print('token.phonetic:', token.phonetic)

[OUT]
すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
token.surface: すもも
token.part_of_speech: 名詞,一般,*,*
token.infl_type: *
token.infl_form: *
token.base_form: すもも
token.reading: スモモ
token.phonetic: スモモ

[IN]
from janome.tokenizer import Tokenizer
t = Tokenizer()

text = 'すもももももももものうち' #文章

for token in t.tokenize(text, wakati=True): #分かち書きモード
    print(token)
    
print(type(next(iter(t.tokenize(text, wakati=True))))) #型式の確認用

[OUT]
すもも
も
もも
も
もも
の
うち

<class 'str'>

[IN]
from janome.tokenizer import Tokenizer
t = Tokenizer(wakati=True) #分かち書きモード

text = 'すもももももももものうち' #文章
print(list(t.tokenize(text))) #分かち書きモードで出力

[OUT]
['すもも', 'も', 'もも', 'も', 'もも', 'の', 'うち']

[IN]
from janome.tokenizer import Tokenizer
import pandas as pd

texts = [] #文章を格納するリスト
texts.append('赤巻紙青巻紙黄巻紙')
texts.append('あかまきがみあおまきがみきまきがみ')
texts.append('カエルぴょこぴょこ三ぴょこぴょこあわせてぴょこぴょこ六ぴょこぴょこ')
texts.append('かえるぴょこぴょこみぴょこぴょこあわせてぴょこぴょこむぴょこぴょこ')
texts.append('骨粗鬆症訴訟勝訴')
texts.append('こつそしょうしょうそしょうしょうそ')
texts.append('新人歌手新春シャンソンショー')
texts.append('しんじんかしゅしんしゅんしゃんそんしょー')
texts.append('スモモも桃も桃のうち　桃もスモモももものうち')
texts.append('すもももももももものうち　もももすももももものうち')
texts.append('東京特許許可局長今日急遽休暇許可拒否')
texts.append('とうきょうとっきょきょかきょくちょうきょうきゅうきょきゅうかきょかきょひ')
texts.append('隣の客はよく柿食う客だ')
texts.append('となりのきゃくはよくかきくうきゃくだ')
texts.append('生麦生米生卵')
texts.append('なまむぎなまごめなまたまご')
texts.append('にわの庭には二羽の鶏は鰐を食べた')
texts.append('にわのにわにはにわのにわとりはわにをたべた')
texts.append('庭には鶏が二羽いました')
texts.append('にわにはにわとりがにわいました')
texts.append('坊主が屏風に上手に坊主の絵を描いた')
texts.append('ぼうずがびょうぶにじょうずにぼうずのえをかいた')

outputs = [] #出力するリスト
t = Tokenizer(wakati=True)
for text in texts:
    outputs.append(list(t.tokenize(text)))
        
pd.DataFrame(outputs).to_csv('janome_wakati.csv',index=False, header=False, encoding="shift-jis") #Excelに出力

[OUT]

[IN]
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *

text = 'すもももももももものうち'
token_filters = [POSKeepFilter(['名詞'])]

for token in Analyzer(token_filters=token_filters).analyze(text):
    print(token)

[OUT]
すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

[IN]
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *

text = 'すもももももももものうち'
token_filters = [POSKeepFilter(['名詞']), TokenCountFilter()]

a = Analyzer(token_filters=token_filters)
for k, v in a.analyze(text):
  print(k, v)

[OUT]
すもも 1
もも 2
うち 1

[IN]
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *

text = 'すもももももももものうち'
token_filters = [POSKeepFilter(['名詞']), TokenCountFilter()]
token_filters2 = [POSKeepFilter(['助詞']), TokenCountFilter()]
token_filters3 = [POSKeepFilter(['動詞']), TokenCountFilter()]

print('名詞', list(Analyzer(token_filters=token_filters).analyze(text)))
print('助詞', list(Analyzer(token_filters=token_filters2).analyze(text)))
print('動詞', list(Analyzer(token_filters=token_filters3).analyze(text)))

[OUT]
名詞 [('すもも', 1), ('もも', 2), ('うち', 1)]
助詞 [('も', 2), ('の', 1)]
動詞 []

[IN]
import requests
from bs4 import BeautifulSoup

url ='https://www.aozora.gr.jp/cards/000035/files/301_14912.html' #青空文庫_太宰治：人間失格
res = requests.get(url)
soup = BeautifulSoup(res.content, 'html5lib')
# print(soup.prettify()) #構造を確認

def clean_text(text):
    text = text.replace('\u3000', '') #全角スペースを消す
    text = text.replace('\n', '') #改行を消す
    return text

_main_text = soup.select_one('.main_text')
main_text = clean_text(_main_text.text)
main_text 

[OUT]
'はしがき私は、その男の写真を三葉、見たことがある。一葉は、その男の、幼年時代、とでも言うべきであろうか、十歳前後かと推定される頃の写真であって、その子供が大勢の女のひとに取りかこまれ、（それは、その子供の姉たち、妹たち、それから、従姉妹（いとこ）たちかと想像される）庭園の池のほとりに、荒い縞の袴（はかま）をはいて立ち、首を三十度ほど左に傾け、醜く笑っている写真である。醜く？けれども、鈍い人たち（つまり、美醜などに関心を持たぬ人たち）は、面白くも何とも無いような顔をして、「可愛い坊ちゃんですね」といい加減なお世辞を言っても、まんざら空（から）お世辞に聞えないくらいの、謂（い）わば通俗の「可愛らしさ」みたいな影もその子供の笑顔に無いわけではないのだが、しかし、いささかでも、美醜に就いての訓練を経て来たひとなら、ひとめ見てすぐ、「なんて、いやな子供だ」と頗（すこぶ）る不快そうに呟（つぶや）き、毛虫でも払いのける時のような手つきで、その写真をほうり投げるかも知れない。まったく、その子供の笑顔は、よく見れば見るほど、何とも知れず

[IN]
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *

text_output = ''　

token_filters = [POSKeepFilter(['名詞'])]
for token in Analyzer(token_filters=token_filters).analyze(main_text):
    text_output += ' ' + token.surface #単語間にスペースを入れる

print(text_output)

[OUT]
 はし 私 男 写真 三 葉 こと 一葉 男 幼年 時代 十 歳 前後 推定 頃 写真 子供 大勢 女 ひと それ 子供 姉たち 妹 たち 従姉妹 いとこ たち 想像 庭園 池 ほとり 縞 袴 はかま 首 三 十 度 左 写真 人 たち 美醜 関心 人 たち よう 顔 坊ちゃん 世辞 空 世辞 謂 い 通俗 さ みたい 影 子供 笑顔 わけ の 美醜 訓練 ひと ひと め いや 

[IN]
import matplotlib.pyplot as plt
import japanize_matplotlib

fig = plt.figure(figsize=(16, 12))
plt.rcParams["font.size"] = 20 #フォントサイズを修正
ax1 = fig.add_subplot(121) #subplot(行列後のindex)は0ではなく1から開始
ax2 = fig.add_subplot(122) 

#前処理なしの通常の文章
wc_origin = WordCloud(width=1200, height=720, 
                      background_color='white', 
                      font_path='meiryo.ttc').generate(main_text)

#名詞のみを抽出した文章
wc_noun = WordCloud(width=1200, height=720, 
                      background_color='white', 
                      font_path='meiryo.ttc').generate(text_output)

ax1.imshow(wc_origin)
ax1.axis('off') #軸の表示を消す
ax1.set_title('オリジナル')
ax2.imshow(wc_noun)
ax2.axis('off') #軸の表示を消す
ax2.set_title('名詞のみ抽出')
plt.show()

[OUT]