Crawlbase
Tarama API'si, dönüşümlü proxy, yönetilen kazıyıcılar ve MCP sunucusu olan web tarama ve kazıma altyapısı.
Crawlbase, geliştiriciler ve yapay zekâ ekipleri için bir web veri platformudur. Crawlbase API'si üzerinden bir URL alır ve HTML ya da yapılandırılmış JSON döndürür; proxy döndürme, JavaScript işleme ve bot önlemlerini kendi tarafında halleder. Ayrıca eşzamansız bir tarayıcı, bir proxy uç noktası, bulut depolama ve yapay zekâ ajanları için bir MCP sunucusu sunar.
En uygun kullanım Kendi proxy'lerini ve başsız tarayıcılarını işletmeden, web sayfalarının hacimli ve güvenilir biçimde çekilip ayrıştırılmasına ihtiyaç duyan geliştiriciler ve veri ekipleri.
- Listelendiği kategoriler
- Web kazıma ve veri çıkarmaVeri analizi ve analitikGeliştirici API'si
- Platformlar
- API, MCP
- Fiyat modeli
- Kredi
- Ücretsiz plan
- Evet
- API
- Evet
- Geliştiren
- Crawlbase
- Eklenme
Son doğrulama: . Bilgiler crawlbase.com sitesinden alınmıştır.
Crawlbase nedir?
Crawlbase; geliştiriciler, kurumlar ve dil modeli uygulamaları adına herkese açık web sayfalarını çeken ve ayrıştıran bir web veri altyapısıdır. Crawling API'si bir URL ve bir jeton alır; HTML, Markdown ya da yapılandırılmış JSON döndürür, JavaScript gerektiğinde sayfaları gerçek bir tarayıcıda işler. Enterprise Crawler çok büyük URL gruplarını eşzamansız işleyip sonuçları geri çağırma ile iletir. Smart AI Proxy ise 30 coğrafyadan dönüşümlü konut ve veri merkezi IP'lerini tek bir uç noktanın ardında sunar. Yönetilen kazıyıcılar Amazon, Google ve LinkedIn gibi siteler için tipli alanlar döndürür, Cloud Storage taranan sayfaları sonradan almak üzere saklar, Web MCP Server ise yapay zekâ ajanlarının Model Context Protocol üzerinden canlı sayfa istemesini sağlar. SDK'lar Python, Node, Go, Ruby, PHP, Java ve .NET'i kapsar. Tüm ürünler tek bir kredi bakiyesinden harcar ve yalnızca başarılı istekler faturalanır.
Öne çıkan özellikler
Crawling API
Gönderilen URL için temiz HTML ya da ayrıştırılmış veri döndürür; sayfa işleme ve bot önlemlerini kendisi halleder.
Enterprise Crawler
Milyonlarca URL'yi kuyruğa alır ve siz işçi çalıştırmadan sonuçları geri çağırma adresinize iletir.
Smart AI Proxy
İstekleri, otomatik döndürülen konut ve veri merkezi IP'leri üzerinden tek bir proxy uç noktasıyla yönlendirir.
Yönetilen kazıyıcılar
Talep gören belirli sitelerden yapılandırılmış alanlar çıkarır; bu siteler değiştiğinde Crawlbase güncellemeyi yapar.
Cloud Storage
Tarama sonuçlarını kaydeder; böylece bir sayfa kaynak yerine depolamadan yeniden alınabilir.
Web MCP Server
Yapay zekâ ajanlarına ve RAG hatlarına güncel web sayfalarına MCP ile erişim verir.
Kullanım alanları
- Fiyat ve ürün izleme
- E-ticaret sitelerinden ürün ayrıntılarını ve fiyatları belirli aralıklarla toplayın.
- Arama sonuçlarını takip
- Arama motoru sonuç sayfalarını yüksek sayıda toplayın.
- Pazar istihbaratı
- Pazar yerlerinden ve dizinlerden katalog ve yorum verisi derleyin.
- Yapay zekâ uygulamaları için veri
- Modellere ve bilgi getirme hatlarına taze web içeriği sağlayın.
- İş akışı otomasyonu
- Taramaları n8n, Zapier ya da Scrapy entegrasyonlarından tetikleyin.
Bilmeniz gerekenler
- Sayfa işleme ve zor siteler daha pahalı
- JavaScript işleme bir isteğin kredi maliyetini ikiye katlar; sıkı korunan sitelerde zorluk çarpanları 20 katına kadar çıkar.
- Depolama ve ekran görüntüleri kredi harcar
- Bir sayfayı depoda tutmak ayda 0,5 kredi, bir ekran görüntüsü 2 kredi tutar; ikisi de aynı bakiyeden düşer.
- Abonelik kredileri her ay sıfırlanır
- Aboneliğin kredi bloğu her dönem sıfırlanır; bunu aşan kullanım, kapatılmadığı sürece kullandıkça öde fiyatlarıyla sürer.
Sık sorulan sorular
Crawlbase nedir?
Crawlbase, web sitelerini tarayıp kazıyan ve temiz ya da yapılandırılmış veriyi tek bir platformdan döndüren bir web veri altyapısıdır.
Crawlbase API'si nasıl çalışır?
Jetonunuzla birlikte bir URL gönderirsiniz. Crawlbase bunu dönüşümlü bir proxy üzerinden yönlendirir, gerekirse JavaScript'i işler, CAPTCHA'ları ve bot kontrollerini aşar ve veriyi döndürür.
Crawlbase ücretsiz mi?
Crawlbase'in ücretsiz bir katmanı var: yeni hesaplara kartsız 1.000 ücretsiz kredi verilir, kurulum adımları tamamlanınca bu 5.000'e kadar çıkar.
Crawlbase ne kadar?
Crawlbase için ücretsiz plan mevcut. Ücretli plan fiyatları crawlbase.com adresinde yayımlanıyor. Güncel tutarlar için resmî fiyat sayfasına bakın.
Crawlbase'in API'si var mı?
Evet. Crawlbase bir HTTP API etrafında kurulu; ayrıca bir proxy arayüzü, bir MCP sunucusu ve yedi dil için resmî SDK'ları var.
Crawlbase'de başarısız istekler için ücret alınır mı?
Hayır. Crawlbase yalnızca başarılı istekleri faturalar; başarısız ya da engellenen istekler ücretsizdir.
Crawlbase yapay zekâ ajanlarıyla kullanılabilir mi?
Evet. Crawlbase Web MCP Server, yapay zekâ ajanlarına ve LLM'lere Model Context Protocol üzerinden canlı web verisi sağlar.
Kimler için
- Geliştiriciler
- Veri mühendisleri
- Yapay zekâ ekipleri
- E-ticaret analistleri
- Kurumlar
Yorumlar
Henüz yorum yok. Crawlbase aracını kullandıysan, deneyimini diğer okurlarla paylaş.
Crawlbase alternatifleri
| Araç | Ücretsiz plan | Başlangıç fiyatı | API |
|---|---|---|---|
 Context.devSayfaları Markdown, HTML, ekran görüntüsü ya da yapılandırılmış veri olarak döndüren; tarama ve izleme özellikli, yapay zekâ ajanları için web kazıma API'si. |
Evet | — | Evet |
 FirecrawlWeb sitelerinde arama yapan, veri çeken, tarayan ve etkileşime giren, yapay zekâ uygulamaları için temiz çıktı döndüren web verisi API'si. |
Evet | $16/ay | Evet |
ScrapingBeeProxy'leri, başsız tarayıcıları ve yapay zekâ tabanlı veri çıkarmayı sizin yerinize yöneten web kazıma API'si. |
— | — | Evet |
 Axiom.aiKodsuz Chrome eklentisi, geliştirici API'leri ve MCP sunucusu olan tarayıcı otomasyonu ve web veri çekme aracı. |
— | — | Evet |
 Elastic StackArama, gözlemlenebilirlik ve güvenlik için Elasticsearch etrafında kurulmuş bir ürün paketi; vektör arama ve yapay zekâ ajan araçları da sunar. |
— | — | Evet |
Crawlbase ile aynı kategorilerde listelenenler. Başlangıç fiyatı yalnızca yapımcının fiyat sayfasında kontrol ettiğimiz yerlerde görünür; tire, kontrol edilmediği veya yayımlanmadığı anlamına gelir. Tüm Web kazıma ve veri çıkarma araçları