Hướng dẫn Cơ bản

from vnstock_news import Crawler

# Cách 1: Sử dụng cấu hình có sẵn của nguồn tin (ví dụ: vnexpress, tuoitre, cafef)
client = Crawler(site_name="vnexpress")

# Cách 2: Truyền cấu hình tùy chỉnh cho trang web mới
custom_site_config = {
    "name": "Trang tin mẫu",
    "domain": "trangtin.example",
    "rss_urls": ["https://trangtin.example/rss/feed.xml"],
    "sitemap_url": "https://trangtin.example/sitemap.xml",
    "config": {
        "title_selector": {"tag": "h1", "class": "title-detail"}
    }
}
client_custom = Crawler(custom_config=custom_site_config)

from vnstock_news import BatchCrawler

# Khởi tạo BatchCrawler với khoảng trễ 1.5 giây giữa các yêu cầu
client = BatchCrawler(
    site_name="cafef",
    request_delay=1.5,
    output_path="./output_data"
)

# Tải nội dung chi tiết của 100 bài viết từ Sitemap
df_articles = client.fetch_articles(limit=100)
print(f"Tổng số bài viết đã bóc tách: {len(df_articles)}")

import asyncio
from vnstock_news import AsyncBatchCrawler

async def run_async_pipeline():
    client = AsyncBatchCrawler(
        site_name="tuoitre",
        max_concurrency=3  # Giới hạn tối đa 3 yêu cầu gửi đi đồng thời
    )
    
    # Lấy 50 bài viết từ Sitemap của một trang minh hoạ
    df_result = await client.fetch_articles_async(
        sources=["https://trangtin.example/news-sitemap.xml"],
        top_n=50
    )
    return df_result

df_tuoitre = asyncio.run(run_async_pipeline())
print(f"Truy xuất thành công {len(df_tuoitre)} bài viết.")

import asyncio
from vnstock_news import EnhancedNewsCrawler

async def run_enhanced_pipeline():
    client = EnhancedNewsCrawler(
        cache_enabled=True,
        cache_ttl=86400,    # Thời gian lưu bộ nhớ đệm 24 giờ
        max_concurrency=3
    )
    
    df_data = await client.fetch_articles_async(
        sources=["https://trangtin.example/latest-news-sitemap.xml"],
        site_name="example",
        max_articles=50,
        clean_content=True  # Tự động loại bỏ các thẻ HTML thừa và quảng cáo
    )
    return df_data

df_enhanced = asyncio.run(run_enhanced_pipeline())