Pythonライブラリ(Webスクレイピング)：Selenium

[In] ※for文の処理をループごとに1秒待機
import time 
for i in range(5):
    print(i)
    time.sleep(1)

[ターミナル]
pip install selenium
pip install webdriver_manager

[In]
import time 
from selenium import webdriver

url = 'https://note.com/kiyo_ai_note/magazines'

driver = webdriver.Chrome('chromedriver.exe') #chrome webdriverを起動、パスを指定
driver.get(url) #URLにアクセス
driver.save_screenshot('kiyo_ai_note.png') #スクリーンショットを保存
time.sleep(1) #1秒待機
driver.quit() #driverを終了する

[In]
from webdriver_manager.chrome import ChromeDriverManager
from selenium import webdriver

url = 'https://note.com/kiyo_ai_note/magazines'

driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get(url) #URLにアクセス
driver.save_screenshot('kiyo_ai_note.png') #スクリーンショットを保存
time.sleep(1) #1秒待機
driver.quit() #driverを終了する

[In]
driver.current_url #現在のURLを取得
driver.title #現在のタイトルを取得

[Out]
'https://note.com/kiyo_ai_note/magazines'
'KIYOのマガジン一覧｜note'

[In]
driver.page_source

[Out]
'<html lang="ja" data-n-head="%7B%22lang%22:%7B%22ssr%22:%22ja%22%7D%7D" style="--ih:17.23px;"><head>\n    <title>KIYOのマガジン一覧｜note</title><meta data-n-head="ssr" charset="utf-8"><meta data-n-head="ssr" name="viewport" content="width=device-width, initial-scale=1.0"><meta data-n-head="ssr" http-equiv="X-UA-Compatible" content="IE=10"><meta data-n-head="ssr" data-hid="description" name="description" content="KIYOさんの編集するマガジンです。"><meta data-n-head="ssr" data-hid="og:site_name" property="og:site_name" content="note（ノート）"><meta data-n-head="ssr" data-hid="og:url" property="og:url" content="https://note.com/kiyo_ai_note/magazines"><meta data-n-head="ssr" data-hid="og:title" property="og:title" content="KIYOのマガジン一覧｜note"><meta data-n-head="ssr" data-hid="og:description" property="og:description" content="KIYOさんの編集するマガジンです。"><meta data-n-head="ssr" data-hid="og:image" property="og:image" content="https://assets.st-

[In]
loginbottun = driver.find_element_by_css_selector('#__layout > div > div:nth-child(1) > header > span > div > nav > div.o-navbarPrimaryGuest__navItem.login.svelte-13wwcyh > a')

loginbottun.click() #要素をクリックする
driver.back() #ひとつ前のページに戻る
driver.forward() #ひとつ先のページに進む
driver.refresh() #ページを更新する

[In]
#文字列を送付
driver.find_element_by_id('email').send_keys('seleniumで記載email')
driver.find_element_by_id('password').send_keys('seleniumで記載password')

#文字列を削除
driver.find_element_by_id('email').clear()
driver.find_element_by_id('password').clear()

[In]
driver.save_screenshot('保存用filepath.png')

[In]
tags_p = driver.find_elements_by_tag_name('p')

for tag_p in tags_p:
    print('タグ名：', tag_p.tag_name, '要素の属性の値', tag_p.get_attribute('class'))
    print(tag_p.text) #テキスト情報

[Out] ※出力の一部を抜粋
タグ名： p 要素の属性の値 o-contentMagazine__description
Pythonライブラリの使用方法のご紹介。教科書より参考書よりの内容です。
タグ名： p 要素の属性の値 o-magazineItemWithNotes__avatarName
KIYO
タグ名： p 要素の属性の値 m-noteBody__description m-noteBody__description--TextNote
１．概要　WebスクレイピングライブラリのBeautiful Soup4を紹介します。WebスクレイピングはWebページから情報を抽出する技術のことです。 　スクレイピングのライブラリは複数ありますが個人の意見としては下記の通りです。 ２．Beautiful Soup4について２－１．Beautiful Soup4の基礎知識 　Beautiful Soup4は公式に記載の通りHTMLを解析して簡単に情報を抽出できるライブラリです。 [ターミナル]pip install
タグ名： p 要素の属性の値 m-noteBody__description m-noteBody__description--TextNote
１．概要　StreamlitはWebアプリを簡単に作成できるライブラリです。Webアプリ用ライブラリは他にもありそれぞれ特徴がありますが個人的にはStreamlitが最強でした。 　参考用のアウトプットはstreamlit cloudに挙げています。 ２．Webアプリ使用の目的　Streamlitの使用目的に関して、私の場合は下記のとおりです。 ３．参考資料　Streamlitの参考資料は公式ドキュメントが絶対ベストです。初心者の時はチートシートを見ながらやれば何とかいき
タグ名： p 要素の属性の値 m-noteBody__description m-noteBody__description--TextNote
１．概要　RequestsはHTTPクライアント用ライブラリです。ざっくりしたイメージではWebブラウザにURLを入れてEnterを押した時のような処理をしてくれます（※ブラウザの働きで言うと図は違うのでイメージ専用図です）。 　このライブラリを使用することで下記が可能となります。 ２．前提知識：HTTPメソッド　HTTPクライアントを処理する時に使用するメソッドは計8つあります。ただし上記用途であれば|覚えるのは２つだけで十分です。 　下記は参考記事です(CRUDはデ
タグ名： p 要素の属性の値 m-noteBody__description m-noteBody__description--TextNote

[In]※取得要素は適当 
container = driver.find_element_by_class_name('o-contentMagazine__container')
container.get_attribute('innerHTML')

[Out]
'<section class="o-contentMagazine__section" data-v-4116c80d=""><div class="m-horizontalScrollingList__section" data-v-1a3a27f4="" data-v-4116c80d=""><div class="m-horizontalScrollingList__header" data-v-1a3a27f4=""><div class="m-horizontalScrollingList__title" data-v-1a3a27f4=""><h2 class="o-contentMagazine__title" data-v-1a3a27f4="" data-v-4116c80d="">\n              Pythonライブラリ\n              <!----></h2></div> <div class="m-horizontalScrollingList__description" data-v-1a3a27f4=""><p class="o-contentMagazine__description" data-v-1a3a27f4="" data-v-4116c80d="">\n              Pythonライブラリの使用方法のご紹介。教科書より参考書よりの内容です。\n            </p>

[In]※サンプルコード：Webアプリ上のボタンが出現しなくなるまで押す
from selenium.common.exceptions import NoSuchElementException

while True:
    try:
        button_more = driver.find_element_by_css_selector('#__layout > div > div:nth-child(1) > div.t-siteSettings > div > main > div > div.t-settings__center > div > div > div > div:nth-child(6) > button') #もっと見るボタン
        button_more.click()
    except (NoSuchElementException) as e:
        print('テスト')
        break

[In]
driver = webdriver.Chrome('chromedriver.exe')
driver.implicitly_wait(10)

[Sample code]
#オプション設定
options = webdriver.ChromeOptions() #オプションを作成
options.add_argument('オプション指定1') #オプション1を追加
options.add_argument('オプション指定2') #オプション2を追加
options.add_argument('オプション指定3') #オプション3を追加

driver = webdriver.Chrome('chromedriver.exe', options=options) #オプションを引数に追加

[In]※４－１節と同じ処理をヘッドレスモードで実行
import time 
from selenium import webdriver

url = 'https://note.com/kiyo_ai_note/magazines'

#オプション設定
options = webdriver.ChromeOptions() #オプションを作成
options.add_argument('--headless') #headlessモードを有効にする

driver = webdriver.Chrome('chromedriver.exe', options=options) #chrome webdriverを起動、パスを指定
driver.get(url) #URLにアクセス
driver.save_screenshot('kiyo_ai_note.png') #スクリーンショットを保存
time.sleep(1) #1秒待機
driver.quit() #driverを終了する
print('処理を完了しました。')

driver.execute_script('return document.body.scrollWidth') #ページ幅を取得　
driver.execute_script('return document.body.scrollHeight') #ページ高さを取得

[template]
import time 
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.common.exceptions import NoSuchElementException
import pandas as pd 

#オプション設定　※使用する場合はコメントアウトを外して,driverにoptionsを設定
# options = webdriver.ChromeOptions() #オプションを作成
# options.add_argument('--headless') #headlessモードを有効にする
# options.add_argument('--hide-scrollbars') #スクロールバーを非表示にする

#url設定
url = ''

#seleniumを起動
# driver = webdriver.Chrome(ChromeDriverManager().install()) #webdriver managerでchromedriverをインストールして起動
driver = webdriver.Chrome('chromedriver.exe') #chrome webdriverを起動、パスを指定
driver.implicitly_wait(10)



driver.quit() #driverを終了する