Hướng dẫn Cơ bản

from vnstock_news import Crawler

# Cách 1: Sử dụng cấu hình có sẵn của báo (ví dụ: vnexpress, tuoitre, cafef)
crawler = Crawler(site_name="vnexpress")

# Cách 2: Truyền cấu hình tùy chỉnh cho trang web mới
custom_site_config = {
    "name": "Báo Mới Custom",
    "domain": "baomoicustom.vn",
    "rss_urls": ["https://baomoicustom.vn/rss/feed.xml"],
    "sitemap_url": "https://baomoicustom.vn/sitemap.xml",
    "config": {
        "title_selector": {"tag": "h1", "class": "title-detail"},
        "content_selector": {"tag": "div", "class": "article-content"}
    }
}
crawler_custom = Crawler(custom_config=custom_site_config)

from vnstock_news import BatchCrawler

# Khởi tạo BatchCrawler với khoảng trễ 1.5 giây giữa các yêu cầu
crawler = BatchCrawler(
    site_name="cafef",
    request_delay=1.5,
    output_path="./output_data"
)

# Tải nội dung chi tiết của 100 bài viết từ Sitemap
df_articles = crawler.fetch_articles(limit=100)
print(f"Tổng số bài viết đã bóc tách: {len(df_articles)}")

import asyncio
from vnstock_news import AsyncBatchCrawler

async def run_async_pipeline():
    crawler = AsyncBatchCrawler(
        site_name="tuoitre",
        max_concurrency=5  # Giới hạn tối đa 5 yêu cầu gửi đi đồng thời
    )
    
    # Lấy 200 bài viết từ Sitemap của Báo Tuổi Trẻ
    df_result = await crawler.fetch_articles_async(
        sources=["https://tuoitre.vn/news-sitemap.xml"],
        top_n=200
    )
    return df_result

df_tuoitre = asyncio.run(run_async_pipeline())
print(f"Thu thập thành công {len(df_tuoitre)} bài viết.")

import asyncio
from vnstock_news import EnhancedNewsCrawler

async def run_enhanced_pipeline():
    crawler = EnhancedNewsCrawler(
        cache_enabled=True,
        cache_ttl=86400,    # Thời gian lưu bộ nhớ đệm 24 giờ
        max_concurrency=5
    )
    
    df_data = await crawler.fetch_articles_async(
        sources=["https://cafef.vn/latest-news-sitemap.xml"],
        site_name="cafef",
        top_n=100,
        clean_content=True  # Tự động loại bỏ các thẻ HTML rác và quảng cáo
    )
    return df_data

df_enhanced = asyncio.run(run_enhanced_pipeline())