Vnstock Pipeline thế hệ 6
Mục lục
Trang này viết cho vnstock_pipeline v6.0.0rc1, bản thử nghiệm. Tên hàm, tham số và cột dữ liệu có thể còn đổi trước ngày phát hành; khi cài, ghi rõ số phiên bản như ở trang Cài đặt. Bản đang phát hành chính thức là v3.1.1, xem tài liệu bản đó.
Chọn nguồn bạn có khoá, mã trên trang sẽ điền theo. Chưa chọn thì mã giữ chỗ trống <nguồn>. Nguồn xếp theo bảng chữ cái, không phải khuyến nghị.
Vnstock Pipeline thế hệ 6 đưa việc nghiên cứu của bạn vào một quy trình chạy đều đặn trên máy tính hoặc máy chủ cá nhân. Phần mềm giúp bạn:
- chạy tác vụ nạp dữ liệu theo lịch;
- lưu dữ liệu có tổ chức thành tệp Parquet trên máy;
- kiểm tra chất lượng trước khi ghi;
- nhận dữ liệu trong phiên rồi tự dựng nến;
- xuất sang định dạng phân tích quen dùng như CSV, Excel, AmiBroker.
Dữ liệu đầu vào do bạn lấy bằng khoá của chính mình, qua phần kết nối của bộ công cụ Vnstock thế hệ 6. Pipeline xử lý dữ liệu từ lúc nhận được: chuẩn hoá, kiểm tra, ghi tệp, dựng nến, xuất.
Mức hoàn thiện từng phần của bản 6.0.0rc1: xem Mức hoàn thiện.
Như bản 3.x, Vnstock Pipeline thế hệ 6 dành cho người dùng bản Mở rộng thuộc gói quyền sử dụng từ cấp Golden (Tự động hoá cá nhân) trở lên. Lệnh nạp dữ liệu và lệnh mở phiên trong giờ giao dịch kiểm tra giấy phép trên máy. Đọc, tra cứu, xuất và chạy lại tệp đã lưu không cần mạng, không cần đăng nhập.
Bản này có gì
| Phần | Bạn làm được gì |
|---|---|
| Tác vụ nạp dữ liệu | Nến ngày, nến phút, khớp lệnh từng lệnh, bảng giá và sổ lệnh, chỉ số trong phiên, khối ngoại, thống kê phiên, giao dịch thoả thuận, danh mục mã, thành phần chỉ số, giá trần sàn, ngày giao dịch, lịch sự kiện, hồ sơ doanh nghiệp. Tải nối tiếp, bỏ qua mã đã mới, tự tải lại khi lịch sử giá bị điều chỉnh, thử nguồn dự phòng theo thứ tự bạn đặt |
| Lưu trữ có tổ chức | Một thư mục gốc trên máy, chia ba nhóm market/, reference/, stream/. Mỗi tệp Parquet mang nguồn gốc của nó (nguồn, tuyến dữ liệu, điều khoản, giờ ghi). Mục lục _catalog/ cho biết số dòng, ngày đầu, ngày cuối của từng tệp |
| Chất lượng dữ liệu | Kiểm tra trước khi ghi: giá bằng 0, cao thấp ngược, trùng mốc giờ, khoảng hở theo lịch giao dịch, đơn vị giá lạ. Cấu trúc cột lệch so với lần trước thì tệp mới vào vùng cách ly, không đè lên dữ liệu cũ |
| Dữ liệu trong phiên | Mở phiên tới cổng stream chính thức của nguồn bạn có khoá, hoặc cổng dữ liệu thị trường công khai không cần khoá (các nguồn). Thông điệp được giải mã về 14 loại sự kiện chuẩn dùng chung bộ cột cho mọi nguồn. Pipeline tự dựng nến từ khớp lệnh và ghi Parquet theo từng nguồn, từng ngày |
| Tra cứu và xuất | Xem nhanh một tệp (inspect, head, tail, stats); xuất CSV, Parquet, Excel, và tệp nhập ASCII cho AmiBroker theo đúng bố cục bản 3.x |
| Dòng lệnh cho người và trợ lý AI | Lệnh vnstock-pipeline in kết quả dạng JSON, nên script và trợ lý AI đọc được ngay |
Chưa có ở bản này: báo cáo tài chính, tin tức, cập nhật AmiBroker trong phiên qua OLE, truy vấn tệp bằng SQL và lệnh dọn dữ liệu cũ. Danh sách đầy đủ, kèm lý do, ở Mức hoàn thiện.
Khác bản 3.x ở đâu
| Bản 3.x (thế hệ 5) | Thế hệ 6 |
|---|---|
Dữ liệu vào qua vnstock thế hệ 5 | Dữ liệu vào qua vnstock 6 và vnstock-oapi, bằng khoá bạn đăng ký ở từng nguồn |
Bố cục thư mục flat hoặc nested, CSV hoặc Parquet | Một bố cục chung cho mọi bộ dữ liệu, chỉ Parquet, có mục lục và nguồn gốc trong từng tệp |
| Mỗi nguồn một bộ cột | Đơn vị và tên cột thống nhất: giá cổ phiếu tính bằng nghìn đồng, chỉ số và phái sinh tính bằng điểm, khối lượng tính bằng cổ phiếu (phái sinh: hợp đồng), giá trị tính bằng đồng, giờ Việt Nam có múi giờ |
| Khung streaming: bạn tự mang cấu hình kết nối | Kênh của từng nguồn đã khai sẵn; một lệnh mở phiên, giải mã, dựng nến và ghi tệp |
Lệnh vnstock_pipeline … | Lệnh vnstock-pipeline …, nhóm lệnh sắp lại (store, run, stream…) |
| Mỗi lượt chạy trừ một đơn vị hạn mức | Kiểm tra giấy phép, không trừ hạn mức |
Bản 3.x và thế hệ 6 dùng chung tệp pipeline.toml và có thể dùng chung thư mục gốc. Hai thế hệ ghi vào hai thư mục
con khác nhau nên không đụng tệp của nhau. Lệnh migrate-legacy chuyển dữ liệu bản 3.x sang bố cục mới mà không xoá
tệp cũ (Chuyển từ bản 3.x).
Bắt đầu trong bốn bước
# 1. Cài vnstock 6 và phần kết nối (môi trường ảo riêng, Python 3.10 trở lên)
pip install -U --extra-index-url https://vnstocks.com/api/packages "vnstock==6.0.0rc2" "vnstock-oapi==0.1.0rc1"
# 2. Đăng nhập tài khoản Vnstock (khoá ở vnstocks.com/account, không phải khoá của nguồn), rồi cài pipeline
vnstock login
vnstock install "vnstock-pipeline[rest,stream]==6.0.0rc1"
# 3. Lưu khoá của nguồn bạn dùng, rồi tạo cấu hình và thư mục lưu trữ
vnstock-oapi keys set <nguồn>
vnstock-pipeline config init && vnstock-pipeline store init
# 4. Nạp nến ngày cho rổ VN30 và đọc lại
vnstock-pipeline run reference
vnstock-pipeline run ohlcv --group VN30 --interval 1Dfrom vnstock_pipeline import Store
df = Store().read("ohlcv", "FPT", interval="1D", start="2026-01-01")
df.attrs["source"], df.attrs["terms_url"] # nguồn gốc đi kèm từng tệpNhận dữ liệu trong phiên 10 phút, dựng nến 1 phút và 5 phút:
vnstock-pipeline stream channels <nguồn> # kênh của nguồn bạn chọn
vnstock-pipeline stream run <nguồn> <kênh...> --symbols <mã> --seconds 600 --intervals 1m,5mĐọc theo thứ tự này
| Trang | Bạn làm được gì sau khi đọc |
|---|---|
| Cài đặt và tài khoản | Cài đúng phần cần, đăng nhập, lưu khoá nguồn, hiểu thời hạn bản phát hành và các lỗi về quyền |
| Cấu hình và lưu trữ | Viết pipeline.toml, hiểu bố cục thư mục, luật gộp của từng bộ dữ liệu, mục lục và nguồn gốc, đọc lại bằng Python |
| Tác vụ nạp dữ liệu | Chạy run ohlcv, run trades, run reference…; chọn mã theo rổ, sàn, thanh khoản, danh sách riêng; đặt lịch chạy |
| Dữ liệu trong phiên | Mở phiên theo từng nguồn, chọn kênh, dựng nến, ghi lại rồi chạy lại phiên, dùng trong mã Python |
| Sự kiện chuẩn và bộ cột | Hiểu 14 loại sự kiện, ba tầng cột (lõi, chung, chi tiết theo nguồn), đơn vị và cách chọn cột lưu |
| Chất lượng dữ liệu | Đọc mã cảnh báo, xử lý vùng cách ly, kiểm định kỳ bằng store audit |
| Tra cứu và xuất dữ liệu | Xem nhanh tệp, xuất CSV, Parquet, Excel, AmiBroker |
Khi cần thêm
- Tham khảo: toàn bộ lệnh, lớp và hàm Python, mức hoàn thiện.
- Chuyển từ bản 3.x: đối chiếu lệnh, cấu hình, thư mục và mã Python.
Phần mềm không làm gì
- Không tự kết nối tới nguồn bạn chưa có khoá, không tự đăng ký tài khoản ở nguồn.
- Không gửi khoá nguồn tới Vnstock. Khoá nằm trong phần kết nối trên máy bạn và chỉ dùng trong request tới nguồn bạn chọn.
- Không vượt giới hạn tần suất, số kết nối hay số bản ghi mà nguồn đặt ra. Khi nguồn từ chối hoặc giới hạn, tác vụ dừng và báo lỗi.
- Không đặt lệnh, không đọc tài khoản giao dịch. Phiên stream từ chối các kênh lệnh, vị thế, tài khoản ngay trên máy.
- Không chuyển dữ liệu của bạn cho bên thứ ba và không trung chuyển dữ liệu qua máy chủ Vnstock. Dịch vụ Vnstock xử lý dữ liệu tài khoản, giấy phép, thiết bị và đo lường kỹ thuật như Chính sách quyền riêng tư đã công bố; đo lượt dùng chỉ bật khi tài khoản đồng ý.
- Không cam kết độ đầy đủ, độ chính xác hay thời gian phản hồi của nguồn. Pipeline ghi lại điều nó thấy, như khối lượng hụt so với tổng cộng dồn, để bạn tự đối chiếu.
- Không đưa tín hiệu hay khuyến nghị đầu tư.
Quyền truy cập, lưu trữ, hiển thị và chia sẻ dữ liệu của từng nguồn do điều khoản của nguồn đó quy định. Vnstock cấp cho bạn quyền sử dụng phần mềm Vnstock Pipeline theo giấy phép sử dụng.
