Tùy biến Nâng cao

from vnstock_news.config.sitemap_resolver import DynamicSitemapResolver
from vnstock_news.config.sites import SITES_CONFIG

# 1. Khởi tạo resolver ở chế độ ghi log
resolver = DynamicSitemapResolver(debug=True)

# 2. Lấy cấu hình của báo có sitemap động (ví dụ: PLO)
plo_config = SITES_CONFIG["plo"]

# 3. Tính toán URL sitemap phù hợp với thời điểm hiện tại (năm - tháng)
resolved_url = resolver.get_sitemap_url("plo", plo_config)
print(f"Sitemap URL được tạo: {resolved_url}")
# Kết quả trả về dạng: https://plo.vn/sitemaps/news-2026-8.xml

custom_advanced_selectors = {
    # Tiêu đề: Thử class "detail-title" trước, nếu không có chuyển sang thẻ meta
    "title_selector": [
        {"tag": "h1", "class": "detail-title"},
        {"tag": "meta", "attr": "property", "value": "og:title", "extract": "content"}
    ],
    
    # Sapo bài viết (phần tóm tắt ở đầu)
    "short_desc_selector": [
        {"tag": "h2", "class": "sapo-detail"},
        {"tag": "div", "class": "sapo"}
    ],
    
    # Nội dung bài viết
    "content_selector": {"tag": "div", "class": "detail-content"},
    
    # Thời gian xuất bản: Lấy thuộc tính datetime trong thẻ <time> hoặc content của meta
    "publish_time_selector": [
        {"tag": "time", "attr": "datetime"},
        {"tag": "meta", "attr": "property", "value": "article:published_time", "extract": "content"},
        {"tag": "span", "class": "post-time"}
    ],
    
    # Tác giả
    "author_selector": {"tag": "span", "class": "author-name"}
}

{
  "@context": "https://schema.org",
  "@type": "NewsArticle",
  "headline": "VN-Index tăng điểm phiên đầu tuần",
  "datePublished": "2026-08-07T09:30:00+07:00",
  "author": {
    "@type": "Person",
    "name": "Phương Nam"
  },
  "articleBody": "Nội dung chi tiết bài viết..."
}

import asyncio
import pandas as pd
from vnstock_news import AsyncBatchCrawler

async def crawl_custom_unsupported_site():
    # 1. Định nghĩa cấu hình cho trang báo mới
    custom_site_profile = {
        "site_name": "Trang tin tức custom",
        "domain": "thanhnien.vn",
        "config": {
            "title_selector": {"tag": "h1", "class": "detail-title"},
            "short_desc_selector": {"tag": "h2", "class": "detail-sapo"},
            "content_selector": {"tag": "div", "class": "detail-cmain"},
            "publish_time_selector": {"tag": "div", "class": "detail-time"},
            "author_selector": {"tag": "div", "class": "author-name"}
        }
    }

    # 2. Khởi tạo AsyncBatchCrawler với custom_config (không truyền site_name)
    crawler = AsyncBatchCrawler(
        custom_config=custom_site_profile, 
        max_concurrency=3, 
        debug=False
    )

    # 3. Chỉ định nguồn thu thập (RSS Feed hoặc Sitemap XML)
    sources = ["https://thanhnien.vn/rss/home.rss"]

    # 4. Thực thi thu thập dữ liệu
    df = await crawler.fetch_articles_async(
        sources=sources,
        top_n=5
    )

    if not df.empty:
        print(f"Thu thập thành công {len(df)} bài viết từ nguồn tùy chỉnh:")
        print(df[["title", "publish_time", "author"]].head())
    else:
        print("Không lấy được dữ liệu.")

if __name__ == "__main__":
    asyncio.run(crawl_custom_unsupported_site())

import asyncio
from vnstock_news.trending.analyzer import TrendingAnalyzer
from vnstock_news import AsyncBatchCrawler, SITES_CONFIG

async def analyze_market_trending_phrases():
    # 1. Tải bài viết từ CafeF
    site = "cafef"
    sitemap_url = SITES_CONFIG[site]["sitemap_url"]
    
    crawler = AsyncBatchCrawler(site_name=site, max_concurrency=3)
    df = await crawler.fetch_articles_async(sources=[sitemap_url], top_n=30)
    
    if df.empty:
        print("Không có dữ liệu bài viết để phân tích.")
        return
        
    # 2. Khởi tạo TrendingAnalyzer
    analyzer = TrendingAnalyzer(min_token_length=3)
    
    # 3. Cập nhật cụm từ (2, 3, 4 từ) từ tiêu đề và tóm tắt
    for _, row in df.iterrows():
        title = str(row.get("title", ""))
        desc = str(row.get("short_description", ""))
        full_text = f"{title} {desc}"
        
        analyzer.update_trends(full_text, ngram_range=[2, 3, 4])
        
    # 4. Lấy top 15 cụm từ xuất hiện nhiều nhất
    top_phrases = analyzer.get_top_trends(top_n=15)
    
    print("Danh sách cụm từ phổ biến:")
    for rank, (phrase, count) in enumerate(top_phrases.items(), 1):
        print(f" {rank:2d}. Cụm từ: '{phrase:25s}' - Số lần: {count:3d}")

if __name__ == "__main__":
    asyncio.run(analyze_market_trending_phrases())

import asyncio
import pandas as pd
import warnings
from vnstock_news import AsyncBatchCrawler, SITES_CONFIG, SUPPORTED_SITES

warnings.filterwarnings("ignore")

async def run_multi_site_pipeline_and_health_check():
    health_reports = []
    collected_datasets = []
    
    for site in SUPPORTED_SITES[:5]:  # Chạy thử nghiệm trên 5 trang đầu tiên
        print(f"Đang kiểm tra trang: [{site.upper()}] ...")
        
        cfg = SITES_CONFIG[site]
        crawler = AsyncBatchCrawler(site_name=site, max_concurrency=2)
        
        sources = []
        if "rss" in cfg and cfg["rss"].get("urls"):
            sources = [cfg["rss"]["urls"][0]]
        elif "sitemap_url" in cfg:
            sources = [cfg["sitemap_url"]]
            
        if not sources:
            health_reports.append({"site": site, "status": "FAIL (No Source)"})
            continue

        try:
            df = await crawler.fetch_articles_async(sources=sources, top_n=3)
            
            if df.empty:
                health_reports.append({"site": site, "status": "EMPTY"})
            else:
                df["source_site"] = site
                collected_datasets.append(df)
                
                row = df.iloc[0]
                def _is_valid(val):
                    if pd.isna(val) or val is None: return False
                    if isinstance(val, str) and not val.strip(): return False
                    return True
                
                report = {
                    "site": site,
                    "status": "SUCCESS",
                    "title": "✅" if _is_valid(row.get("title")) else "❌",
                    "content": "✅" if _is_valid(row.get("content")) else "❌",
                    "publish_time": "✅" if _is_valid(row.get("publish_time")) else "❌",
                    "author": "✅" if _is_valid(row.get("author")) else "❌"
                }
                health_reports.append(report)
                
        except Exception as e:
            health_reports.append({"site": site, "status": "ERROR", "error": str(e)})

    # Hiển thị kết quả kiểm tra
    df_health = pd.DataFrame(health_reports)
    print("\nKết quả kiểm tra dữ liệu:")
    print(df_health.to_string(index=False))

if __name__ == "__main__":
    asyncio.run(run_multi_site_pipeline_and_health_check())