Pythonライブラリ(Webスクレイピング)：Beautiful Soup4

[ターミナル]
pip install BeautifulSoup4

[In] ※for文の処理をループごとに1秒待機
import time 
for i in range(5):
    print(i)
    time.sleep(1)

[In]
import requests
from bs4 import BeautifulSoup
import time

url_note = 'https://note.com/kiyo_ai_note/magazines'


res = requests.get(url_note) # 指定URLからレスポンスを取得
soup = BeautifulSoup(res.text, 'html5lib') #最近のWebブラウザと似たような解析
# soup = BeautifulSoup(res.text, 'html.parser') #html5libで見にくければこちら

print(soup)
print(soup.prettify())

[In]
print(soup.title) # <title>タグを取得

print(soup.p) #最初のpタグを取得
print(soup.find('p')) #最初のpタグを取得
print(soup.select_one('p')) #最初のpタグを取得

[Out]
#soup.title
<title>KIYOのマガジン一覧｜note</title>

#soup.pおよびsoup.find('p')
<p class="o-contentMagazine__description" data-v-1a3a27f4="" data-v-4116c80d="">
              Pythonの基礎を押さえながらPythonでできることを記載していきます。
Web系というより製造業（自分が使っている）で使えるネタをコードとともに記載していきます。
            </p>

[In]
tags_p = soup.find_all('p')
print(type(tags_p), len(tags_p)) #取得したpタグリストの型式と要素数
print(tags_p[:3]) #最初の3つのpタグを取得
soup.find_all('p') == soup.select('p') #出力の確認

[Out]
#type(tags_p), len(tags_p)
<class 'bs4.element.ResultSet'> 26

#tags_p[:3]
[<p class="o-contentMagazine__description" data-v-1a3a27f4="" data-v-4116c80d="">
              Pythonの基礎を押さえながらPythonでできることを記載していきます。
Web系というより製造業（自分が使っている）で使えるネタをコードとともに記載していきます。
            </p>, <p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
          KIYO
        </p>, <p class="m-noteBody__description m-noteBody__description--TextNote" data-v-232de199="">１．概要　Pythonを使用して物体検出をしてみます。物体検出モデルとしてYOLOを使用しました。
※２０２２年１月１５日現在：リアルタイム検出がエラーのため未実装ですが静止画はできているためとりあえず投稿

２．参考資料　You only look once (YOLO) とはリアルタイムで高精度に物体を検出してくれるAIモデルです。詳細・実演はYOLO開発者：Joseph Redmon氏のTED公演をご確認ください。

　YOLO実装は基本的にサイトをそのまま実行していき</p>]

#soup.find_all('p') == soup.select('p')
True

[In]
soup.find_all('p', attrs={'class': 'o-magazineItemWithNotes__avatarName'}) #指定したclass属性のpタグを取得
soup.select('p.o-magazineItemWithNotes__avatarName') #指定したclass属性のpタグを取得

[Out]　※出力は同じ
[<p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
           KIYO         </p>,
 <p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
           KIYO         </p>,
 <p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
           KIYO         </p>,
 <p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
           KIYO         </p>,
 <p class="o-magazineItemWithNotes__avatarName" data-v-3d268250="">
           KIYO         </p>]

[In]
soup.p.text #要素のテキスト情報
soup.p.string #要素のテキスト情報
next(iter(soup.p.strings)) #要素のテキスト情報の一つ目を取得

soup.p.attrs #要素の属性情報取得
soup.p['class'] #属性の値を取得

[Out]
#soup.p.text、soup.p.string、next(iter(soup.p.strings))と同じ出力
'\n              Pythonの基礎を押さえながらPythonでできることを記載していきます。\nWeb系というより製造業（自分が使っている）で使えるネタをコードとともに記載していきます。\n            '

#soup.p.attrs
{'class': ['o-contentMagazine__description'], 'data-v-1a3a27f4': '', 'data-v-4116c80d': ''}
#soup.p['class']
['o-contentMagazine__description']

[In]
print(soup.p.parent)
print(soup.p.children)
print(soup.p.previous_sibling)
print(soup.p.previous_siblings)
print(soup.p.next_sibling)
print(soup.p.next_siblings)

[Out]
#soup.p.parent
<div class="m-horizontalScrollingList__description" data-v-1a3a27f4=""><p class="o-contentMagazine__description" data-v-1a3a27f4="" data-v-4116c80d="">
              Pythonの基礎を押さえながらPythonでできることを記載していきます。
Web系というより製造業（自分が使っている）で使えるネタをコードとともに記載していきます。
            </p></div>

<list_iterator object at 0x00000212201FAA90> #soup.p.children
None #soup.p.previous_sibling
<generator object PageElement.previous_siblings at 0x000002122022E740> #soup.p.previous_siblings
None #soup.p.next_sibling
<generator object PageElement.next_siblings at 0x000002122022E6D0> #soup.p.next_siblings

[In]
import requests
from bs4 import BeautifulSoup
import time
import urllib

url_note = 'https://note.com/kiyo_ai_note/magazines'
res = requests.get(url_note)
soup = BeautifulSoup(res.text, 'html5lib')
    
for idx, tag_img in enumerate(soup.find_all('img')[:5]): #最初の5つのimgタグを取得
    url = tag_img['data-src'] #今回のページはsrcではなく、data-src属性の値を取得
    res = requests.get(url)
    with open(f'./imagefile{idx}.jpg', 'wb') as f:
        f.write(res.content)
    time.sleep(1) #1秒待つ※重要！！

[In]
import pandas as pd
import requests
from bs4 import BeautifulSoup

url_note = 'https://note.com/kiyo_ai_note/magazines'
res = requests.get(url_note)
soup = BeautifulSoup(res.text, 'html5lib')

#要素を取得
titles = soup.find_all('a', attrs={'class':'a-link m-largeNoteWrapper__link fn'}) #指定したclass属性のaタグを取得
descrs = soup.find_all('p', attrs={'class':'m-noteBody__description m-noteBody__description--TextNote'})
_likenum = soup.find_all('div', attrs={'class':'m-noteBody__status'})

#要素から属性を取得して体裁をきれいに調整
titles = [title['aria-label'] for title in titles] #aria-label属性を取得：タイトル取得
descrs = [descr.text.replace('\n','').replace('\u3000',' ') for descr in descrs] #改行と全角スペースを削除
_likenum = [num.text.split('\n') for num in _likenum] #スキの数を取得
linenum = [num[3].strip() if len(num) > 3 else 0 for num  in _likenum ] #lenで判定：好きの数が0の物は別処理で戻り値0とする。

#まとめ
df = pd.DataFrame([titles, descrs, linenum]).T
df.columns = ['タイトル', '概要', 'スキの数']
df