Skip to content

Latest commit

 

History

History
231 lines (165 loc) · 12 KB

File metadata and controls

231 lines (165 loc) · 12 KB

🚀 Daha hızlı ve daha basit bir ölçekli kazıma yöntemi (sadece 5 satır kod) mi arıyorsunuz? ScrapeGraphAI.com'daki geliştirilmiş sürümümüze göz atın! 🚀


🕷️ ScrapeGraphAI: Yalnızca Bir Kez Kazıyın

English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português | Italiano

PyPI Downloads

License: MIT

ScrapeGraphAI%2FScrapegraph-ai | Trendshift

ScrapeGraphAI, LLM ve grafik mantığını kullanarak web siteleri ve yerel belgeler (XML, HTML, JSON, Markdown vb.) için kazıma süreçleri oluşturan bir web kazıma Python kütüphanesidir.

Sadece hangi bilgiyi çıkarmak istediğinizi söyleyin, kütüphane sizin için yapar!

🚀 Entegrasyonlar

ScrapeGraphAI, kazıma yeteneklerinizi geliştirmek için popüler çerçeveler ve araçlarla sorunsuz entegrasyon sunar. Python veya Node.js ile geliştirme yapıyor olsanız da, LLM çerçeveleri kullanıyor olsanız da, no-code platformlarda çalışıyor olsanız da, kapsamlı entegrasyon seçeneklerimizle yanınızdayız.

ScrapeGraphAI Hero

Daha fazla bilgiyi aşağıdaki [bağlantıda](https://scrapegraphai.com) bulabilirsiniz

Entegrasyonlar:

🚀 Hızlı Kurulum

Scrapegraph-ai için referans sayfası PyPI'nin resmi sayfasında mevcuttur: pypi.

pip install scrapegraphai

# ÖNEMLİ (web sitesi içeriğini almak için)
playwright install

Not: Diğer kütüphanelerle çakışmaları önlemek için kütüphaneyi sanal bir ortamda kurmanız önerilir 🐱

💻 Kullanım

Web sitesinden (veya yerel dosyadan) bilgi çıkarmak için kullanılabilecek birden fazla standart kazıma süreci vardır.

En yaygın olanı SmartScraperGraph'tır; bu, bir kullanıcı isteği ve kaynak URL'si verildiğinde tek bir sayfadan bilgi çıkarır.

from scrapegraphai.graphs import SmartScraperGraph

# Kazıma süreci için yapılandırmayı tanımlayın
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# SmartScraperGraph örneğini oluşturun
smart_scraper_graph = SmartScraperGraph(
    prompt="Web sayfasından yararlı bilgileri çıkarın, şirketin ne yaptığına dair bir açıklama, kurucular ve sosyal medya bağlantılarını dahil edin",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Süreci çalıştırın
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

Note

OpenAI ve diğer modeller için sadece llm yapılandırmasını değiştirmeniz yeterlidir!

graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

Çıktı aşağıdaki gibi bir sözlük olacaktır:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

Birden fazla sayfadan bilgi çıkarmak, Python scriptleri oluşturmak veya hatta ses dosyaları oluşturmak için kullanılabilecek diğer süreçler de vardır.

Süreç Adı Açıklama
SmartScraperGraph Sadece bir kullanıcı isteği ve bir kaynak girişi gerektiren tek sayfalık kazıyıcı.
SearchGraph Bir arama motorunun en iyi n arama sonucundan bilgi çıkaran çok sayfalı kazıyıcı.
SpeechGraph Bir web sitesinden bilgi çıkaran ve bir ses dosyası oluşturan tek sayfalık kazıyıcı.
ScriptCreatorGraph Bir web sitesinden bilgi çıkaran ve bir Python scripti oluşturan tek sayfalık kazıyıcı.
SmartScraperMultiGraph Tek bir bilgi istemi ve kaynak listesi verilen birden çok sayfadan bilgi ayıklayan çok sayfalı kazıyıcı.
ScriptCreatorMultiGraph Birden fazla sayfa veya kaynaktan bilgi çıkarmak için bir Python scripti oluşturan çok sayfalı kazıyıcı.

Bu süreçlerin her biri için çoklu versiyon vardır. Bu, LLM çağrılarını paralel olarak yapmanızı sağlar.

OpenAI, Groq, Azure ve Gemini gibi API'ler aracılığıyla farklı LLM'leri kullanmak veya Ollama kullanarak yerel modelleri kullanmak mümkündür.

Yerel modelleri kullanmak istiyorsanız, Ollama kurulu olduğundan ve ollama pull komutunu kullanarak modelleri indirdiğinizden emin olun.

📖 Dokümantasyon

Open In Colab

ScrapeGraphAI dokümantasyonuna buradan ulaşabilirsiniz.

🤝 Katkıda Bulunun

Projeye katkıda bulunmaktan çekinmeyin ve geliştirmeleri tartışmak ve bize önerilerde bulunmak için Discord sunucumuza katılın!

Lütfen katkıda bulunma yönergelerine bakın.

My Skills My Skills My Skills

🔗 ScrapeGraph API & SDKs

Sisteminize ScrapeGraph'u entegre etmek için hızlı bir çözüm arıyorsanız, güçlü API'mizi burada! kontrol edin

API Banner

Python ve Node.js için SDK'lar sunuyoruz, böylece projelerinize kolayca entegre edebilirsiniz. Aşağıda kontrol edin:

SDK Dil GitHub Bağlantısı
Python SDK Python scrapegraph-py
Node.js SDK Node.js scrapegraph-js

Resmi API Dokümantasyonu burada bulunabilir.

🔥 Kıyaslama

Firecrawl kıyaslamasına göre Firecrawl benchmark, ScrapeGraph piyasadaki en iyi getirici!

here

📈 Telemetri

Paketimizin kalitesini ve kullanıcı deneyimini geliştirmek amacıyla anonim kullanım metrikleri topluyoruz. Bu veriler, iyileştirmelere öncelik vermemize ve uyumluluğu sağlamamıza yardımcı olur. İsterseniz, SCRAPEGRAPHAI_TELEMETRY_ENABLED=false ortam değişkenini ayarlayarak devre dışı bırakabilirsiniz. Daha fazla bilgi için lütfen buraya bakın.

❤️ Katkıda Bulunanlar

Katkıda Bulunanlar

🎓 Atıflar

Kütüphanemizi araştırma amaçlı kullandıysanız, lütfen bizi aşağıdaki referansla alıntılayın:

  @misc{scrapegraph-ai,
    author = {Lorenzo Padoan, Marco Vinciguerra},
    title = {Scrapegraph-ai},
    year = {2024},
    url = {https://github.com/ScrapeGraphAI/Scrapegraph-ai},
    note = {Büyük dil modellerinden yararlanan kazıma için bir Python kütüphanesi}
  }

Yazarlar

İletişim Bilgileri
Marco Vinciguerra Linkedin Badge
Lorenzo Padoan Linkedin Badge

📜 Lisans

ScrapeGraphAI, MIT Lisansı altında lisanslanmıştır. Daha fazla bilgi için LİSANS dosyasına bakın.

Teşekkürler

  • Projeye katkıda bulunan tüm katılımcılara ve açık kaynak topluluğuna destekleri için teşekkür ederiz.
  • ScrapeGraphAI, yalnızca veri arama ve araştırma amacıyla kullanılmak üzere tasarlanmıştır. Kütüphanenin kötüye kullanılmasından sorumlu değiliz.

Made with ❤️ by ScrapeGraph AI

Scarf tracking