筆記 by 606-15-王昱智 https://padlet.com/leo0227/zdco33t1aau31ea0 en-us 2024-06-02 22:42:44 UTC 2024-06-03 07:53:20 UTC hello@padlet.com 下載套件 leo0227 https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3015623321
requert
建立適當的 HTTP 請求，透過 HTTP 請求從網頁伺服器下載指定的資料

io
負責開啟檔案、關閉檔案的套件

time
負責處理時間上的運算，可以計算爬蟲花了多久
]]> 2024-06-02 22:44:48 UTC https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3015623321 處理反爬機制 leo0227 https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016017921

許多網站有防止爬蟲的機制，可以通過模擬人類行為來避免被檢測到。

模擬User-Agent

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('https://example.com', headers=headers)

使用Cookies

session = requests.Session()
session.headers.update(headers)
session.get('https://example.com')  # 初始化會話，獲取初始Cookies

response = session.get('https://example.com/some-page')

使用代理

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get('https://example.com', headers=headers, proxies=proxies)]]> 2024-06-03 04:57:39 UTC https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016017921 處理動態加載內容 leo0227 https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016018773

一些網站使用JavaScript動態加載內容，這時候可以使用Selenium或Pyppeteer來模擬瀏覽器行為。

使用Selenium

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service as ChromeService

# 設置瀏覽器選項
chrome_options = Options()
chrome_options.add_argument("--headless")  # 啟動無頭模式

# 初始化WebDriver
service = ChromeService(executable_path='/path/to/chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)

# 訪問目標網站
driver.get('https://example.com')

# 等待頁面加載完成
driver.implicitly_wait(10)

# 提取動態加載的內容
elements = driver.find_elements(By.TAG_NAME, 'h1')
for element in elements:
    print(element.text)

# 關閉WebDriver
driver.quit()]]> 2024-06-03 04:58:25 UTC https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016018773 1 leo0227 https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016019712
1. 發送HTTP請求：
使用requests庫來發送一個HTTP請求並獲取網頁的HTML內容。

import requests

url = 'https://example.com'
response = requests.get(url)
html_content = response.text


2. 解析HTML：
使用BeautifulSoup來解析HTML內容，以便提取需要的信息。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')


3. 提取數據：
使用BeautifulSoup的各種方法來查找和提取數據，例如find_all、find、select等。

# 查找所有的標題
titles = soup.find_all('h1')
for title in titles:
    print(title.get_text())

# 使用CSS選擇器
links = soup.select('a')
for link in links:
    print(link['href'])


4. 保存數據：
可以使用pandas來保存數據到CSV文件中。

import pandas as pd

data = {'Title': [title.get_text() for title in titles]}
df = pd.DataFrame(data)
df.to_csv('titles.csv', index=False)]]> 2024-06-03 04:59:15 UTC https://padlet.com/leo0227/zdco33t1aau31ea0/wish/3016019712