Web Scraping, çeşitli programların yardımıyla internetten yapılandırılmış ya da yapılandırılmamış verilerin çıkarılması ve çeşitli amaçlar için uygun formata dönüştürülme işlemine verilen isimdir. Web Scraping için birçok Python kütüphanesi vardır. Ama projeniz için hangisini seçeceğinize nasıl karar verirsiniz? Hangi Python kütüphanesi en fazla esnekliğe sahiptir? Bu yazıda 5 popüler Python web scraping kütüphanesi listeleyerek bu sorulara yanıt arayacağız.
İçindekiler
Request Kütüphanesi
İlk olarak en temel Python web scraping kütüphanesi olan Request ile başlayacağız. ‘Requests(İstekler)’ bir sayfadaki verileri almak için web sitesinin sunucusuna HTML istekleri yapmamızı sağlar. Bir web sayfasının HTML içeriğini almak, web scraping işleminin ilk ve en önemli adımıdır.
Request, GET, POST, vb. gibi çeşitli HTTP istekleri yapmak için kullanılan bir Python kütüphanesidir. Basitliği ve kullanım kolaylığı nedeniyle, “insanlar için HTTP” ilkesini benimser.
Request kütüphanesi internetten çekilen HTML verilerini ayrıştırmaz. Eğer bu işlemi yapmak istiyorsanız, birazdan bahsedeceğimiz lxml ve Beautiful Soup kütüphanelerini kullanmanız gerekecektir.
Request kütüphanesinin avantajlarına ve dezavantajlarına bir göz atalım.
Avantajları:
- Basit
- Uluslararası Alan Adları ve URL’ler
- Parçalanmış İstekler
- HTTP(S) Proxy Desteği
Dezavantajları:
- Bir sayfanın sadece statik içeriğini alır.
- HTML’i ayrıştırmak için kullanılmaz.
- JavaScript ile hazırlanan web sitelerini ele alamaz.
lxml Kütüphanesi
Request kütüphanesinin bir web sayfasından alınan HTML’yi ayrıştıramadığını biliyoruz. Tam bu nokta da lxml kütüphanesi yardımımıza koşuyor. Yüksek performanslı, hızlı, HTML ve XML ayrıştırmalarını yapılan bir Python kütüphanesidir.
Büyük veri kümelerini kazımayı hedeflediğinizde oldukça iyi çalışır. Web scraping işleminde request ve lxml kombinasyonu çok yaygındır. Ayrıca, XPath ve CSS seçicileri kullanarak HTML’den veri ayıklamanıza olanak sağlar.
lxml kütüphanesinin avantajlarına ve dezavantajlarına bir göz atalım.
Avantajları:
- Diğer ayrıştırıcıların çoğundan daha hızlı
- Pythonic API
- Element ağaçlarını kullanır
Dezavantajları:
- Kötü tasarlanmış HTML ile iyi çalışmıyor
- Resmi dokümantasyonu yeni başlayanlar için uygun değil
Beautiful Soup Kütüphanesi
BeautifulSoup belki de web scraping için kullanılan en yaygın kütüphanedir. HTML ve XML belgelerini ayrıştırmak için bir ayrıştırma ağacı oluşturur. BeatifulSoup, gelen belgeleri otomatik olarak Unicode’a ve giden belgeleri otomatik olarak UTF-8’e dönüştürür.
BeautifulSoup kütüphanesinin bu kadar popüler olmasının başlıca nedenlerinden biri, çalışmanın daha kolay ve yeni başlayanlar için çok uygun olmasıdır. Beautiful Soup’u lxml gibi diğer ayrıştırıcılarla da birleştirebiliriz. Ancak tüm bu kullanım kolaylığının bir maliyeti vardır, o da lxml’den daha yavaş olmasıdır. Ayrıştırıcı olarak lxml kullanılırken bile saf lxml’den daha yavaştır.
Beatiful Soup kütüphanesinin avantajlarına ve dezavantajlarına bir göz atalım.
Avantajları:
- Birkaç satır kod gerektirir
- Dokümantasyonu yeni başlayanlar için oldukça kullanışlı
- Güçlü
- Otomatik kodlama tespiti
Dezavantajları:
- Lxml’den daha yavaş
Selenium Kütüphanesi
Şimdiye kadar bahsettiğimiz tüm Python kütüphanelerinde bir sınırlama var, yani dinamik olarak kodlanmış web sitelerinden kolayca veri çekemiyoruz. Bunun nedeni bazen sayfada mevcut olan verilerin JavaScript aracılığıyla yüklenmesidir.
İşte bu noktada Selenium devreye giriyor.
Selenium kütüphanesi aslında web uygulamalarının otomatik testi için yapılmış bir Python kütüphanesidir. İlk başlarda web scraping yapılmasa da, son zamanlarda veri bilimcileri tarafından çok sık kullanılan bir kütüphanedir.
Diğer kütüphanelerin JavaScript çalıştıramadığı durumlarda Selenium bu işi yapmakta oldukça iyidir. Herhangi bir sayfada tıklamalar yapabilir, formları doldurabilir, sayfayı kaydırabilir ve çok daha fazlasını yapabilirsiniz.
Bir web sayfasında JavaScript çalıştırma yeteneği, Selenium’a dinamik olarak doldurulmuş web sayfalarını kazıma gücü verir. Ama burada bir takas söz konusudur. Her sayfa için JavaScript yükler ve çalıştırır, bu da doğal olarak sayfayı yavaşlatır. Bu sebepten ötürü Selenium, büyük çaplı projeler için çok tercih edilmez.
Selenium kütüphanesinin avantajlarına ve dezavantajlarına bir göz atalım:
Avantajları:
- Başlangıç için uygun
- Otomatik web kazıma
- Web tarayıcılarını otomatikleştirir.
Dezavantajları:
- Büyük projeler için ideal değil
- Kurulumu zor
- Yüksek CPU ve bellek kullanımı
- Yavaş
Scrapy Kütüphanesi
Scrapy sadece bir kütüphane değil, kurucuları Pablo Hoffman ve Shane Evans tarafından oluşturulan bir web scraping çerçevesidir.
Scrapy, birden fazla web sitesini tarayabilen ve verileri çıkarabilen örümcek botları sağlar. Scrapy ile örümcek botlarınızı oluşturabilir, Scrapy Hub’da veya API olarak barındırabilirsiniz. Birkaç dakika içinde tamamen işlevsel örümcekler oluşturmanıza izin verir.
Scrapy kütüphanesinin en güçlü özelliği asenkron olmasıdır. Yani, aynı anda birden fazla HTTP isteği yapabilirsiniz. Bu çok zaman kazandırmakla beraber verimliliği de arttıran bir unsurdur.
Scrapy kütüphanesinin avantajlarına ve dezavantajlarına bir göz atalım:
Avantajları:
- Asenkron
- Mükemmel dokümantasyon
- Çeşitli Eklentiler
- Düşük CPU ve bellek kullanımı
- İyi tasarlanmış mimari
- Mevcut çevrimiçi kaynakların bolluğu
Dezvantajları:
- Başlangıç dostu değil
