Parquet Là Gì? Tại Sao Vnstock Ưu Tiên Parquet Hơn CSV/Excel?

Nỗi đau "nặng máy" khi xử lý dữ liệu chứng khoán

Khi nhắc đến phân tích dữ liệu chứng khoán, hầu hết chúng ta đều bắt đầu với những thứ quen thuộc nhất: Tải dữ liệu lịch sử giá hoặc vài bảng cân đối kế toán về máy dưới dạng .csv hoặc .xlsx. Nếu bạn chỉ phân tích một vài mã cổ phiếu, Excel hay CSV là những công cụ hỗ trợ tuyệt vời.

Nhưng vấn đề sẽ phát sinh khi bạn bắt đầu làm việc với dữ liệu toàn thị trường qua thư viện Vnstock. Những bộ dữ liệu thô¹ như lịch sử giá OHLCV², dữ liệu khớp lệnh chi tiết từng giao dịch (tick-by-tick)³ hay sổ lệnh có dung lượng không hề nhỏ. Một file CSV đơn lẻ có thể chỉ nặng vài chục MB, nhưng khi bạn muốn nạp hàng trăm file cùng lúc để kiểm thử chiến lược⁴ trong dài hạn, bạn sẽ dễ gặp rào cản: thư viện Pandas⁵ cần nhiều thời gian để phân tích file văn bản và bộ nhớ RAM⁶ của hệ thống có thể nhanh chóng bị quá tải.

Đó là lúc chúng ta nhận ra mình cần một cách tiếp cận tối ưu hơn với dữ liệu. Trong quá trình xây dựng hệ sinh thái Vnstock, chúng tôi đã cân nhắc nhiều giải pháp cho bài toán này. Kết quả là trong thư viện vnstock_pipeline phiên bản mới nhất 2.3.0, hệ thống sử dụng một chiến lược lưu trữ kết hợp tính năng của cả 3 định dạng: Excel, CSV và Parquet.

Vậy rốt cuộc Parquet là gì? Và khi đặt lên bàn cân Parquet vs CSV hay Excel, định dạng nào sẽ là hành trang phù hợp nhất cho bài toán phân tích đầu tư của bạn?

Tại sao chọn tệp tin thay vì cơ sở dữ liệu truyền thống?

Khi xây dựng kiến trúc dữ liệu chứng khoán, nhiều lập trình viên thường nghĩ ngay đến các hệ quản trị cơ sở dữ liệu như PostgreSQL, hoặc giải pháp NoSQL đang rất thịnh hành trong làn sóng "vibe coding"⁷ hiện nay. Tuy nhiên, tại sao Vnstock lại hướng người dùng theo lối đi khác?

Quyết định này xuất phát từ việc thấu hiểu tập người dùng của Vnstock. Phần lớn các bạn là những nhà đầu tư cá nhân, hoặc các chuyên viên phân tích dữ liệu mong muốn tối ưu hóa thời gian để xây dựng mô hình giao dịch. Việc yêu cầu các bạn phải tự cài đặt máy chủ, thiết lập mạng, hay quản lý các dịch vụ chạy ngầm là một rào cản kỹ thuật rất lớn. Việc phải đối mặt với những vấn đề hạ tầng phức tạp này không phải là chuyên môn của nhà đầu tư, và rất dễ làm giảm đi sự hứng thú ban đầu của bạn.

Trong khi đó, giải pháp lưu trữ trực tiếp dưới dạng tệp tin trong thư mục (file-based database⁸) là hướng đi thân thiện nhất để bắt đầu. Các bạn có thể dễ dàng quản lý, sao lưu bằng cách nén thư mục, chuyển sang máy tính khác hoặc gửi cho đồng nghiệp chỉ với vài thao tác cơ bản. Các bạn hoàn toàn không cần duy trì bất kỳ hệ thống máy chủ hay đau đầu khai báo schema⁹ rườm rà cho các bảng. Dù định dạng Parquet có thể hơi mới mẻ, việc thao tác với tệp tin vẫn luôn trực quan và dễ nắm bắt. Hơn nữa, đi kèm với định dạng khuyến nghị này, vnstock_pipeline giúp cho cách lưu trữ và tương tác với dữ liệu trở nên đơn giản, hiệu quả mà vẫn đảm bảo tốc độ truy xuất vượt trội, đáp ứng trọn vẹn nhu cầu nghiên cứu chuyên sâu.

Excel: Sự thân thuộc của nhà phân tích cơ bản

Bất chấp sự trỗi dậy của các công cụ phân tích dữ liệu hiện đại, Excel vẫn là "vị vua" trong lòng các nhà phân tích cơ bản nhờ tính trực quan cao. Bạn có thể kéo thả, lập công thức định giá và thấy ngay kết quả mà không cần viết một dòng code nào.

Trong vnstock_pipeline, chúng tôi vẫn duy trì tuỳ chọn xuất báo cáo tài chính ra định dạng Excel. Điểm "ăn tiền" nhất là bạn có thể gom toàn bộ các báo cáo (cân đối kế toán, lưu chuyển tiền tệ, kết quả kinh doanh) của một công ty vào chung một file duy nhất, chia thành các trang tính¹⁰ gọn gàng.

Khi nào nên dùng? Rất hoàn hảo khi bạn muốn tự tay thiết lập mô hình định giá, vẽ biểu đồ nhanh, hoặc cần chia sẻ số liệu trực tiếp cho sếp hay đồng nghiệp – những người chỉ muốn xem kết quả cuối cùng thay vì phải ngồi cài đặt công cụ không có sẵn để mở file.

CSV: Nhanh gọn, đa dụng và dễ kiểm tra

CSV là định dạng trung gian phổ biến¹¹ trong thế giới dữ liệu. Nó giống như một "ngôn ngữ quốc tế" mà hầu như bất kỳ phần mềm phân tích nào, từ Python, R cho đến Amibroker, đều có thể hiểu và đọc trực tiếp. Điểm đặc biệt của CSV là bản chất của nó chỉ là file văn bản thuần tuý.

Trong kiến trúc của vnstock_pipeline, CSV được tin dùng cho các dữ liệu kết quả phân tích (insights) hoặc khi bạn cần xem trước dữ liệu¹² nhanh. Nhờ tính chất văn bản thô, bạn có thể soi ngay nội dung dữ liệu trực tiếp trên máy chủ bằng các dòng lệnh cơ bản của Linux (cat, head) mà không tốn công cài đặt bất cứ thư viện nào.

Khi nào nên dùng? Hãy tưởng tượng bạn đang thao tác trên một máy chủ đám mây (VPS). Thay vì phải mất công tải toàn bộ dữ liệu pipeline trả về xuống máy cá nhân để kiểm tra, bạn chỉ cần dùng các phần mềm truyền tải file¹³ để click mở file CSV và xem cấu trúc bảng dữ liệu ngay lập tức.

Parquet là gì? Trái tim của Vnstock Pipeline

Parquet là gì? Nói một cách đơn giản, Parquet là một định dạng lưu trữ dạng cột¹⁴ mã nguồn mở, được nén chặt dưới dạng nhị phân¹⁵. Bạn không thể mở file Parquet bằng trình soạn thảo văn bản thông thường để đọc ngay như CSV, nhưng dưới lăng kính của máy tính, đây thực sự là một cơ chế tối ưu cho việc lưu trữ và truy xuất dữ liệu.

Đó chính là lý do vnstock_pipeline ưu tiên tuyệt đối Parquet để lưu trữ Dữ liệu thô. Khi đưa lên bàn cân Parquet vs CSV, sự vượt trội của Parquet thể hiện rõ qua hai yếu tố cốt lõi:

1. Hiệu suất nén đáng kinh ngạc: Trong một thử nghiệm thực tế của chúng tôi với dữ liệu "Tin tức thị trường" chứng khoán Việt Nam, Parquet giúp nén dung lượng tới 56.8% so với CSV (từ ~31MB giảm xuống chỉ còn ~13.3MB). Với một hệ thống phải lưu trữ hàng chục GB hay TB dữ liệu mỗi ngày, điều này đồng nghĩa với việc bạn tiết kiệm được hơn một nửa chi phí thuê server.
2. Tốc độ truy xuất siêu tốc: Khi đọc file CSV, máy tính bắt buộc phải quét¹⁶ qua toàn bộ dữ liệu theo từng hàng, gây lãng phí rất nhiều thời gian. Ngược lại, kiến trúc lưu trữ theo cột của Parquet cho phép hệ thống "nhặt" ra đúng cột dữ liệu mà bạn cần. Vẫn trong bài test trên, Pandas mất 0.54 giây để nạp trọn vẹn file CSV vào RAM, trong khi Parquet chỉ tốn vỏn vẹn 0.13 giây (nhanh hơn gấp 4 lần).

Tối ưu truy vấn dữ liệu với DuckDB

Hiệu năng thực sự của Parquet được thể hiện rõ ràng nhất khi kết hợp với DuckDB – một hệ quản trị cơ sở dữ liệu phân tích mà chúng tôi đã từng chia sẻ chi tiết trên blog.

DuckDB mang đến một lợi thế lớn: Nó cho phép bạn dùng ngôn ngữ SQL để truy vấn trực tiếp vào các file Parquet lưu trữ trên máy tính hoặc qua mạng, mà không cần nạp toàn bộ file đó vào RAM như cách thư viện Pandas vẫn thực hiện. Các nền tảng chia sẻ dữ liệu lớn như HuggingFace¹⁷ cũng đang áp dụng kiến trúc này để cung cấp khả năng truy xuất trực tiếp vào các tập dữ liệu¹⁸ khổng lồ của họ.

Trong thực tế, thư viện pyarrow¹⁹ chính là "động cơ" đứng sau giúp Python tương tác với định dạng Parquet. Tuy nhiên, việc viết code trực tiếp bằng PyArrow thường khá phức tạp vì bạn phải tự tay quản lý cấu trúc dữ liệu và can thiệp sâu vào bộ nhớ của máy tính.

Đó là lý do tại sao sự kết hợp giữa DuckDB và Parquet mang lại hiệu quả cao. DuckDB đóng vai trò như một cầu nối, cho phép bạn truy vấn dữ liệu nhanh chóng bằng các câu lệnh SQL quen thuộc thay vì phải vật lộn với những dòng code phức tạp của PyArrow. Nhờ đó, bạn vừa tận dụng được tốc độ xử lý ưu việt của PyArrow, lại vừa dễ dàng thao tác với dữ liệu.

Bằng việc sử dụng Parquet làm định dạng lưu trữ lõi cho vnstock_pipeline, hệ sinh thái Vnstock mang đến một thư viện tích hợp dữ liệu hiệu suất cao. Nhờ kiến trúc này, các bài toán xử lý chuỗi thời gian, lọc cổ phiếu hay tổng hợp dữ liệu có thể được thực thi với độ trễ rất thấp.

Lời kết

Không có định dạng nào là tuyệt đối hoàn hảo, chỉ có định dạng phù hợp nhất cho từng ngữ cảnh.

• Cần tính toán thủ công nhanh gọn? 👉 Excel
• Cần preview dữ liệu, debug trên server, hoặc chia sẻ tính tương thích cao? 👉 CSV
• Cần lưu trữ dữ liệu lịch sử khổng lồ, tối ưu chi phí server và truy vấn siêu tốc? 👉 Parquet

Với vnstock_pipeline, hệ thống đã thiết kế sẵn kiến trúc dữ liệu tối ưu này, giúp bạn – dù là nhà đầu tư cá nhân hay Quants/Data Engineer chuyên nghiệp – đều có thể tập trung vào việc tìm kiếm lợi nhuận thay vì phải đánh vật với việc quản lý dữ liệu.

👉 Tham gia ngay Chương trình Tài trợ Vnstock với gói Golden hoặc Diamond để trải nghiệm trọn vẹn sức mạnh của vnstock_pipeline và tối ưu cơ sở dữ liệu phân tích của bạn!