Ví dụ Thực tế

from vnstock_news.core.crawler import Crawler
import pandas as pd

# Khởi tạo Crawler cho trang CafeF
crawler_cafef = Crawler(site_name='cafef')

print("🔍 Đang lấy tin tức từ CafeF...")

# Lấy 5 bài viết mới nhất (metadata) từ CafeF
# Crawler sẽ tự động sử dụng RSS hoặc Sitemap đã cấu hình cho CafeF
article_metadata = crawler_cafef.get_articles(limit=5)

if article_metadata:
    print("✅ 5 bài viết mới nhất từ CafeF:")
    for i, meta in enumerate(article_metadata, 1):
        print(f"{i}. {meta.get('title', 'N/A')} ({meta.get('url', 'N/A')})")

    # Lấy chi tiết bài viết đầu tiên
    first_article_url = article_metadata[0]['url']
    print(f"\n📄 Đang lấy chi tiết bài viết: {first_article_url}")
    detailed_article = crawler_cafef.get_article_details(first_article_url)

    if detailed_article:
        print(f"\n📋 Chi tiết bài viết:")
        print(f"📌 Tiêu đề: {detailed_article.get('title')}")
        print(f"⏰ Thời gian: {detailed_article.get('publish_time')}")
        print(f"👤 Tác giả: {detailed_article.get('author', 'N/A')}")
        print(f"📝 Mô tả: {detailed_article.get('short_description', 'N/A')}")
        print(f"📄 Nội dung (trích đoạn): {detailed_article.get('markdown_content', '')[:150]}...")
else:
    print("❌ Không tìm thấy bài viết nào từ CafeF.")

from vnstock_news.core.crawler import Crawler
from vnstock_news.core.rss import RSS
import pandas as pd

print("🌐 Ví dụ thu thập từ nguồn tùy ý")
print("=" * 50)

# --- Ví dụ 1: Lấy từ Sitemap bất kỳ (The Saigon Times) ---
print("\n📍 Ví dụ 1: Lấy từ Sitemap The Saigon Times")
ktsg_sitemap_url = "https://thesaigontimes.vn/post-sitemap.xml" 

try:
    # Chọn site_name có cấu hình parser phù hợp với cấu trúc bài viết trên sitemap này
    crawler_ktsg = Crawler(site_name='ktsg')
    article_metadata_list = crawler_ktsg.get_articles(sitemap_url=ktsg_sitemap_url, limit=3)

    if article_metadata_list:
        print(f"✅ Tìm thấy {len(article_metadata_list)} URL. Đang lấy chi tiết...")
        detailed_articles = []
        
        for meta in article_metadata_list:
            url = meta.get('url')
            if url:
                try:
                    details = crawler_ktsg.get_article_details(url)
                    detailed_articles.append(details)
                except Exception as e:
                    print(f"⚠️ Lỗi khi lấy chi tiết bài viết {url}: {e}")

        if detailed_articles:
            df_sitemap = pd.DataFrame(detailed_articles)
            print("📊 Bài viết chi tiết từ Sitemap:")
            print(df_sitemap[['title', 'url', 'publish_time']].head())
    else:
        print("❌ Không tìm thấy URL bài viết nào trong sitemap.")

except Exception as e:
    print(f"❌ Lỗi xảy ra khi lấy từ sitemap: {e}")

# --- Ví dụ 2: Lấy từ RSS bất kỳ (Báo Đầu Tư) ---
print("\n📍 Ví dụ 2: Lấy từ RSS Báo Đầu Tư")
baodautu_rss_url = "https://baodautu.vn/rss/tin-moi-nhat.rss"

try:
    # Bước 1: Dùng lớp RSS để lấy các mục từ RSS feed
    rss_parser = RSS(rss_url=baodautu_rss_url, description_format='text')
    rss_items = rss_parser.fetch()

    if rss_items:
        print(f"✅ Tìm thấy {len(rss_items)} mục RSS. Đang lấy chi tiết...")
        
        # Khởi tạo Crawler với site_name phù hợp để có cấu hình parser
        crawler_baodautu = Crawler(site_name='baodautu')
        
        # Bước 2: Lấy chi tiết từng bài viết từ các URL trong RSS feed
        detailed_articles_from_rss = []
        
        for item in rss_items:
            url = item.get('link')  # Các mục RSS thường dùng 'link' cho URL
            if url:
                try:
                    details = crawler_baodautu.get_article_details(url)
                    detailed_articles_from_rss.append(details)
                except Exception as e:
                    print(f"⚠️ Lỗi khi lấy chi tiết bài viết {url}: {e}")

        if detailed_articles_from_rss:
            df_rss = pd.DataFrame(detailed_articles_from_rss)
            print("📊 Bài viết chi tiết từ RSS:")
            print(df_rss[['title', 'url', 'publish_time']].head())
    else:
        print("❌ Không tìm thấy mục nào trong RSS feed.")

except Exception as e:
    print(f"❌ Lỗi xảy ra khi lấy từ RSS: {e}")

from vnstock_news.core.crawler import Crawler
from vnstock_news.core.batch import BatchCrawler
import pandas as pd
import time

print("📦 Ví dụ thu thập hàng loạt hiệu quả")
print("=" * 50)

# Bước 1: Lấy danh sách URL từ một nguồn (VnExpress RSS)
print("\n🔍 Bước 1: Lấy danh sách URL từ VnExpress...")
crawler_vnexpress = Crawler(site_name='vnexpress')

start_time = time.time()
article_metadata = crawler_vnexpress.get_articles(limit=10)  # Lấy 10 URL
fetch_time = time.time() - start_time

print(f"✅ Lấy được {len(article_metadata)} URL trong {fetch_time:.2f} giây")

if article_metadata:
    urls_to_batch_fetch = [item['url'] for item in article_metadata]
    print(f"\n🚀 Bước 2: Thu thập hàng loạt {len(urls_to_batch_fetch)} bài viết...")

    # Bước 2: Khởi tạo BatchCrawler và thực hiện thu thập
    # Đặt request_delay để tránh bị chặn IP
    batch_crawler = BatchCrawler(site_name='vnexpress', request_delay=0.5)
    
    start_time = time.time()
    detailed_articles_df = batch_crawler.fetch_details_for_urls(urls=urls_to_batch_fetch)
    batch_time = time.time() - start_time

    if not detailed_articles_df.empty:
        print(f"✅ Hoàn thành thu thập trong {batch_time:.2f} giây")
        print(f"📊 Kết quả thu thập hàng loạt:")
        print(f"   - Tổng bài viết: {len(detailed_articles_df)}")
        print(f"   - Thời gian trung bình/bài: {batch_time/len(detailed_articles_df):.2f} giây")
        
        # Hiển thị 5 dòng đầu tiên
        print("\n📋 5 bài viết đầu tiên:")
        for idx, row in detailed_articles_df.head().iterrows():
            print(f"{idx+1}. {row['title'][:50]}...")
            print(f"   📅 {row['url']}")
            print(f"   ⏰ {row['publish_time']}")
            print()
        
        # Thống kê cơ bản
        print("📈 Thống kê cơ bản:")
        print(f"   - Có tác giả: {detailed_articles_df['author'].notna().sum()}/{len(detailed_articles_df)}")
        print(f"   - Có mô tả ngắn: {detailed_articles_df['short_description'].notna().sum()}/{len(detailed_articles_df)}")
        print(f"   - Có nội dung: {detailed_articles_df['markdown_content'].notna().sum()}/{len(detailed_articles_df)}")
        
        # Lưu kết quả ra file CSV (tùy chọn)
        output_file = "vnexpress_articles_batch.csv"
        detailed_articles_df.to_csv(output_file, index=False, encoding='utf-8')
        print(f"\n💾 Đã lưu kết quả vào file: {output_file}")
        
    else:
        print("❌ Không thu thập được bài viết nào trong lô.")
else:
    print("❌ Không có URL nào để thu thập hàng loạt.")

print(f"\n⏱️ Tổng thời gian thực hiện: {time.time() - start_time:.2f} giây")