Truy vấn và khám phá dữ liệu
Mục lục
Thông thường, khi cần kiểm tra nhanh một tệp dữ liệu Parquet vừa tải về (xem tệp có bao nhiêu dòng, đã cập nhật đến ngày nào, hoặc lọc thử vài bản ghi), bạn sẽ phải khởi động Jupyter Notebook hoặc viết một script Python ngắn.
vnstock_pipeline tích hợp sẵn một bộ công cụ dòng lệnh (CLI Inspector) nhỏ gọn và tốc độ cao, giúp bạn
xem trước, thống kê và truy vấn dữ liệu trực tiếp ngay trên terminal trong vài giây mà không cần thêm bất kỳ công cụ nào khác.
Xem thông tin tổng quan tệp: inspect
Lệnh inspect cung cấp cái nhìn tổng quan về một tệp dữ liệu bất kỳ trên đĩa (hỗ trợ cả định dạng .parquet và .csv):
vnstock_pipeline inspect data/ohlcv/ACB.parquetXem kết quả mẫu trên terminal
File Overview: data/ohlcv/ACB.parquet
--------------------------------------------------
Format: Parquet
Size: 118.4 KB
Rows: 2,450
Columns: 6 (time, open, high, low, close, volume)
Date Range: 2016-01-04 to 2026-03-01
--------------------------------------------------Lệnh này giúp bạn kiểm tra tức thì xem tệp dữ liệu có bị rỗng không và khoảng thời gian giao dịch đang lưu trữ.
Xem các dòng đầu và cuối: head và tail
Xem các dòng đầu tiên (head)
# Xem 5 dòng đầu tiên của tệp
vnstock_pipeline head data/ohlcv/FPT.parquet --rows 5Xem các phiên giao dịch mới nhất (tail)
Lệnh tail đặc biệt hữu ích khi bạn muốn xác minh xem phiên giao dịch chiều nay đã được nạp thành công vào cơ sở dữ liệu hay chưa:
# Xem 5 phiên giao dịch gần nhất
vnstock_pipeline tail data/ohlcv/VNM.parquet --rows 5Thống kê mô tả nhanh: stats
Để kiểm tra các giá trị toán học cơ bản (giá thấp nhất, cao nhất, trung bình, khối lượng giao dịch bình quân) của một mã:
vnstock_pipeline stats data/ohlcv/HPG.parquetXem kết quả mẫu
Summary Statistics: data/ohlcv/HPG.parquet
----------------------------------------------------------------------
Column Min Max Mean Count
----------------------------------------------------------------------
open 12.50 32.40 24.15 2,450
high 12.80 33.00 24.50 2,450
low 12.40 31.80 23.80 2,450
close 12.50 32.20 24.18 2,450
volume 500,000 85,400,000 18,520,000 2,450
----------------------------------------------------------------------Lọc dữ liệu nhanh bằng biểu thức SQL: query
Nếu bạn muốn trích xuất nhanh các phiên giao dịch thoả mãn một điều kiện nhất định mà không cần viết code:
# Lọc các phiên giao dịch có khối lượng trên 10 triệu cổ phiếu
vnstock_pipeline query data/ohlcv/SSI.parquet "volume > 10000000"
# Lọc các phiên giao dịch có giá đóng cửa trên 130.000 đồng
vnstock_pipeline query data/ohlcv/FPT.parquet "close >= 130"Công cụ sẽ thực hiện truy vấn trực tiếp trên tầng đĩa và in bảng kết quả thoả mãn điều kiện ra màn hình ngay lập tức.
Kiểm tra cấu trúc cột của tệp: schema file
Để tra cứu chi tiết tên cột và kiểu dữ liệu kỹ thuật của từng trường trong tệp:
vnstock_pipeline schema file data/ohlcv/TCB.parquetLệnh này giúp bạn nhanh chóng đối chiếu xem tệp có bị lệch kiểu dữ liệu hoặc thiếu trường so với bộ quy chuẩn chung hay không.