Web Scraping Nedir?
Web Scraping, web sitelerindeki verileri otomatik olarak toplama ve yapılandırma sürecidir. E-ticaret fiyat analizi, haber takibi, iş ilanı toplama gibi onlarca kullanım alanı vardır.
Gerekli Kütüphaneler
pip install requests beautifulsoup4Temel Kullanım
import requests\nfrom bs4 import BeautifulSoup\n\nurl = "https://example.com"\nresponse = requests.get(url)\nsoup = BeautifulSoup(response.text, "html.parser")\n\n# Tüm başlıkları çek\nbasliklar = soup.find_all("h2")\nfor b in basliklar:\n print(b.text)CSS Seçicileri ile Veri Seçme
# ID ile seçim\nsoup.find(id="urun-fiyat")\n\n# Class ile seçim\nsoup.find_all(class_="fiyat-kutusu")\n\n# CSS selector\nsoup.select(".urun-listesi .fiyat")Etik Web Scraping Kuralları
- robots.txt dosyasını kontrol edin
- Sunucuyu aşırı yüklemekten kaçınmak için istekler arasında bekleme ekleyin
- Kişisel verileri scraping'den kaçının
- Sitenin kullanım şartlarını okuyun
Selenium ile Dinamik İçerik
JavaScript ile yüklenen içerikleri Requests+BeautifulSoup okuyamaz. Bunun için Selenium kullanmanız gerekir. Selenium gerçek bir tarayıcıyı kontrol ederek dinamik sayfaları işler.
