Vnstock Logo

Vnstock Pipeline thế hệ 6

Thử nghiệm

Mục lục

Bản thử nghiệm, chưa phát hành chính thức

Trang này viết cho vnstock_pipeline v6.0.0rc1, bản thử nghiệm. Tên hàm, tham số và cột dữ liệu có thể còn đổi trước ngày phát hành; khi cài, ghi rõ số phiên bản như ở trang Cài đặt. Bản đang phát hành chính thức là v3.1.1, xem tài liệu bản đó.

Nguồn của bạn

Chọn nguồn bạn có khoá, mã trên trang sẽ điền theo. Chưa chọn thì mã giữ chỗ trống <nguồn>. Nguồn xếp theo bảng chữ cái, không phải khuyến nghị.

Vnstock Pipeline thế hệ 6 đưa việc nghiên cứu của bạn vào một quy trình chạy đều đặn trên máy tính hoặc máy chủ cá nhân. Phần mềm giúp bạn:

  • chạy tác vụ nạp dữ liệu theo lịch;
  • lưu dữ liệu có tổ chức thành tệp Parquet trên máy;
  • kiểm tra chất lượng trước khi ghi;
  • nhận dữ liệu trong phiên rồi tự dựng nến;
  • xuất sang định dạng phân tích quen dùng như CSV, Excel, AmiBroker.

Dữ liệu đầu vào do bạn lấy bằng khoá của chính mình, qua phần kết nối của bộ công cụ Vnstock thế hệ 6. Pipeline xử lý dữ liệu từ lúc nhận được: chuẩn hoá, kiểm tra, ghi tệp, dựng nến, xuất.

Mức hoàn thiện từng phần của bản 6.0.0rc1: xem Mức hoàn thiện.

Điều kiện sử dụng

Như bản 3.x, Vnstock Pipeline thế hệ 6 dành cho người dùng bản Mở rộng thuộc gói quyền sử dụng từ cấp Golden (Tự động hoá cá nhân) trở lên. Lệnh nạp dữ liệu và lệnh mở phiên trong giờ giao dịch kiểm tra giấy phép trên máy. Đọc, tra cứu, xuất và chạy lại tệp đã lưu không cần mạng, không cần đăng nhập.

Bản này có gì

PhầnBạn làm được gì
Tác vụ nạp dữ liệuNến ngày, nến phút, khớp lệnh từng lệnh, bảng giá và sổ lệnh, chỉ số trong phiên, khối ngoại, thống kê phiên, giao dịch thoả thuận, danh mục mã, thành phần chỉ số, giá trần sàn, ngày giao dịch, lịch sự kiện, hồ sơ doanh nghiệp. Tải nối tiếp, bỏ qua mã đã mới, tự tải lại khi lịch sử giá bị điều chỉnh, thử nguồn dự phòng theo thứ tự bạn đặt
Lưu trữ có tổ chứcMột thư mục gốc trên máy, chia ba nhóm market/, reference/, stream/. Mỗi tệp Parquet mang nguồn gốc của nó (nguồn, tuyến dữ liệu, điều khoản, giờ ghi). Mục lục _catalog/ cho biết số dòng, ngày đầu, ngày cuối của từng tệp
Chất lượng dữ liệuKiểm tra trước khi ghi: giá bằng 0, cao thấp ngược, trùng mốc giờ, khoảng hở theo lịch giao dịch, đơn vị giá lạ. Cấu trúc cột lệch so với lần trước thì tệp mới vào vùng cách ly, không đè lên dữ liệu cũ
Dữ liệu trong phiênMở phiên tới cổng stream chính thức của nguồn bạn có khoá, hoặc cổng dữ liệu thị trường công khai không cần khoá (các nguồn). Thông điệp được giải mã về 14 loại sự kiện chuẩn dùng chung bộ cột cho mọi nguồn. Pipeline tự dựng nến từ khớp lệnh và ghi Parquet theo từng nguồn, từng ngày
Tra cứu và xuấtXem nhanh một tệp (inspect, head, tail, stats); xuất CSV, Parquet, Excel, và tệp nhập ASCII cho AmiBroker theo đúng bố cục bản 3.x
Dòng lệnh cho người và trợ lý AILệnh vnstock-pipeline in kết quả dạng JSON, nên script và trợ lý AI đọc được ngay

Chưa có ở bản này: báo cáo tài chính, tin tức, cập nhật AmiBroker trong phiên qua OLE, truy vấn tệp bằng SQL và lệnh dọn dữ liệu cũ. Danh sách đầy đủ, kèm lý do, ở Mức hoàn thiện.

Khác bản 3.x ở đâu

Bản 3.x (thế hệ 5)Thế hệ 6
Dữ liệu vào qua vnstock thế hệ 5Dữ liệu vào qua vnstock 6 và vnstock-oapi, bằng khoá bạn đăng ký ở từng nguồn
Bố cục thư mục flat hoặc nested, CSV hoặc ParquetMột bố cục chung cho mọi bộ dữ liệu, chỉ Parquet, có mục lục và nguồn gốc trong từng tệp
Mỗi nguồn một bộ cộtĐơn vị và tên cột thống nhất: giá cổ phiếu tính bằng nghìn đồng, chỉ số và phái sinh tính bằng điểm, khối lượng tính bằng cổ phiếu (phái sinh: hợp đồng), giá trị tính bằng đồng, giờ Việt Nam có múi giờ
Khung streaming: bạn tự mang cấu hình kết nốiKênh của từng nguồn đã khai sẵn; một lệnh mở phiên, giải mã, dựng nến và ghi tệp
Lệnh vnstock_pipeline …Lệnh vnstock-pipeline …, nhóm lệnh sắp lại (store, run, stream…)
Mỗi lượt chạy trừ một đơn vị hạn mứcKiểm tra giấy phép, không trừ hạn mức

Bản 3.x và thế hệ 6 dùng chung tệp pipeline.toml và có thể dùng chung thư mục gốc. Hai thế hệ ghi vào hai thư mục con khác nhau nên không đụng tệp của nhau. Lệnh migrate-legacy chuyển dữ liệu bản 3.x sang bố cục mới mà không xoá tệp cũ (Chuyển từ bản 3.x).

Bắt đầu trong bốn bước

Shell
# 1. Cài vnstock 6 và phần kết nối (môi trường ảo riêng, Python 3.10 trở lên)
pip install -U --extra-index-url https://vnstocks.com/api/packages "vnstock==6.0.0rc2" "vnstock-oapi==0.1.0rc1"

# 2. Đăng nhập tài khoản Vnstock (khoá ở vnstocks.com/account, không phải khoá của nguồn), rồi cài pipeline
vnstock login
vnstock install "vnstock-pipeline[rest,stream]==6.0.0rc1"

# 3. Lưu khoá của nguồn bạn dùng, rồi tạo cấu hình và thư mục lưu trữ
vnstock-oapi keys set <nguồn>
vnstock-pipeline config init && vnstock-pipeline store init

# 4. Nạp nến ngày cho rổ VN30 và đọc lại
vnstock-pipeline run reference
vnstock-pipeline run ohlcv --group VN30 --interval 1D
Python
from vnstock_pipeline import Store

df = Store().read("ohlcv", "FPT", interval="1D", start="2026-01-01")
df.attrs["source"], df.attrs["terms_url"]      # nguồn gốc đi kèm từng tệp

Nhận dữ liệu trong phiên 10 phút, dựng nến 1 phút và 5 phút:

Shell
vnstock-pipeline stream channels <nguồn>     # kênh của nguồn bạn chọn
vnstock-pipeline stream run <nguồn> <kênh...> --symbols <mã> --seconds 600 --intervals 1m,5m

Đọc theo thứ tự này

TrangBạn làm được gì sau khi đọc
Cài đặt và tài khoảnCài đúng phần cần, đăng nhập, lưu khoá nguồn, hiểu thời hạn bản phát hành và các lỗi về quyền
Cấu hình và lưu trữViết pipeline.toml, hiểu bố cục thư mục, luật gộp của từng bộ dữ liệu, mục lục và nguồn gốc, đọc lại bằng Python
Tác vụ nạp dữ liệuChạy run ohlcv, run trades, run reference…; chọn mã theo rổ, sàn, thanh khoản, danh sách riêng; đặt lịch chạy
Dữ liệu trong phiênMở phiên theo từng nguồn, chọn kênh, dựng nến, ghi lại rồi chạy lại phiên, dùng trong mã Python
Sự kiện chuẩn và bộ cộtHiểu 14 loại sự kiện, ba tầng cột (lõi, chung, chi tiết theo nguồn), đơn vị và cách chọn cột lưu
Chất lượng dữ liệuĐọc mã cảnh báo, xử lý vùng cách ly, kiểm định kỳ bằng store audit
Tra cứu và xuất dữ liệuXem nhanh tệp, xuất CSV, Parquet, Excel, AmiBroker

Khi cần thêm

Phần mềm không làm gì

  • Không tự kết nối tới nguồn bạn chưa có khoá, không tự đăng ký tài khoản ở nguồn.
  • Không gửi khoá nguồn tới Vnstock. Khoá nằm trong phần kết nối trên máy bạn và chỉ dùng trong request tới nguồn bạn chọn.
  • Không vượt giới hạn tần suất, số kết nối hay số bản ghi mà nguồn đặt ra. Khi nguồn từ chối hoặc giới hạn, tác vụ dừng và báo lỗi.
  • Không đặt lệnh, không đọc tài khoản giao dịch. Phiên stream từ chối các kênh lệnh, vị thế, tài khoản ngay trên máy.
  • Không chuyển dữ liệu của bạn cho bên thứ ba và không trung chuyển dữ liệu qua máy chủ Vnstock. Dịch vụ Vnstock xử lý dữ liệu tài khoản, giấy phép, thiết bị và đo lường kỹ thuật như Chính sách quyền riêng tư đã công bố; đo lượt dùng chỉ bật khi tài khoản đồng ý.
  • Không cam kết độ đầy đủ, độ chính xác hay thời gian phản hồi của nguồn. Pipeline ghi lại điều nó thấy, như khối lượng hụt so với tổng cộng dồn, để bạn tự đối chiếu.
  • Không đưa tín hiệu hay khuyến nghị đầu tư.

Quyền truy cập, lưu trữ, hiển thị và chia sẻ dữ liệu của từng nguồn do điều khoản của nguồn đó quy định. Vnstock cấp cho bạn quyền sử dụng phần mềm Vnstock Pipeline theo giấy phép sử dụng.