API Rate Limit Là Gì? Cách Xử Lý Giới Hạn API Trong Vnstock

Bạn đang chạy chương trình phân tích dữ liệu chứng khoán Việt Nam thì bỗng dưng gặp báo lỗi "RateLimitExceed: Bạn đã gửi quá nhiều request đến VCI. Vui lòng thử lại sau 15 giây." sau đó chương trình tự thoát thì đây là bài viết dành cho bạn.

I. API Rate Limit là gì?

Các loại API Rate Limit phổ biến

1. Rate limit theo thời gian:
   • Request/giây (RPS)
   • Request/phút (RPM)
   • Request/giờ (RPH)
   • Request/ngày (RPD)
2. Rate limit theo nguồn:
   • Theo IP
   • Theo tài khoản/API key
   • Theo ứng dụng
3. Rate limit theo endpoint:
   • Giới hạn khác nhau cho từng endpoint cụ thể
   • Giới hạn chung cho toàn bộ API

Cách nhận biết khi đạt giới hạn request của API

Khi đạt đến giới hạn request hay Rate Limit, API thường trả về mã lỗi HTTP 429 (Too Many Requests) cùng với thông báo lỗi cụ thể. Nhiều API còn cung cấp thông tin trong header response về số request còn lại, thời gian đợi trước khi có thể gọi lại API, v.v.

II. API Rate Limit của thư viện vnstock

vnstock là thư viện Python mã nguồn mở, cung cấp các công cụ truy xuất và phân tích dữ liệu chứng khoán Việt Nam. Thư viện này được nhiều nhà đầu tư, nhà phân tích tài chính và lập trình viên tin dùng để phân tích thị trường chứng khoán Việt Nam.

Khi vnstock phát hiện chương trình bạn đang thực thi sử dụng cấu trúc vòng lặp để tải dữ liệu với tần suất cao, một cảnh báo sẽ xuất hiện, chương trình vẫn tiếp tục thực thi cho đến khi dừng lại do vượt quá giới hạn cho phép.

Trong môi trường dòng lệnh (Terminal/Command Prompt), bạn sẽ nhận được thông báo dưới đây.

╔═════════════════════════════════════════════════════════════════╗
║                                                                 ║
║   🚫 ĐANG BỊ CHẶN BỞI GIỚI HẠN API? GIẢI PHÁP Ở ĐÂY!            ║
║                                                                 ║
║   ✓ Tăng ngay 10X tốc độ gọi API - Không còn lỗi RateLimit      ║
║   ✓ Tiết kiệm 85% thời gian chờ đợi giữa các request            ║
║                                                                 ║
║   ➤ NÂNG CẤP NGAY VỚI GÓI TÀI TRỢ VNSTOCK:                      ║
║     https://vnstocks.com/insiders-program                       ║
║                                                                 ║
╚═════════════════════════════════════════════════════════════════╝

Giới hạn hiện tại của vnstock

Hiện tại, vnstock áp dụng các giới hạn khi gửi yêu cầu dữ liệu từ API như sau:

• 60 requests/phút
• 3000 requests/giờ

Khi số lượt yêu cầu API trong thư viện Vnstock vượt quá giới hạn, chương trình tự động dừng thực thi và hiển thị thông báo lỗi. Đây là dấu hiệu cho thấy chương trình của bạn đã gửi quá nhiều request trong khoảng thời gian quy định mà chưa thực sự tối ưu.

III. Vì sao vnstock áp dụng API Rate Limit?

Có nhiều lý do khiến việc áp dụng cơ chế Rate Limit là cần thiết cho một dự án và nhất là với dự án cộng đồng như vnstock:

1. Duy trì sự ổn định hệ thống cho cộng đồng

API Rate Limit giúp phân bổ tài nguyên máy chủ công bằng giữa tất cả người dùng, tránh tình trạng một số ít người dùng tiêu thụ quá nhiều tài nguyên, ảnh hưởng đến trải nghiệm của số đông. Mặt khác với phần lớn người dùng, cơ chế theo dõi API Rate Limit giúp bạn không gửi yêu cầu quá nhiều tới server của nguồn dữ liệu, tránh rủi ro một ngày IP máy tính cua bạn bị chặn (block) hoàn toàn truy cập.

2. Sử dụng public API có trách nhiệm

Cơ chế Rate Limit ngăn chặn việc gọi API tràn lan không kiểm soát, điều có thể gây quá tải hệ thống và ảnh hưởng đến tính khả dụng của dịch vụ cho tất cả người dùng. Tinh thần trách nhiệm không phải chỉ ở việc truyền thông nâng cao nhận thức cộng đồng mà cần một cơ chế bảo vệ chủ động để hiện thực hoá những cam kết sử dụng API lành mạnh, cùng có lợi giữa cộng đồng đầu tư và các nguồn cung cấp dữ liệu.

3. Phân bổ nguồn lực hiệu quả

Vnstock duy trì dự án miễn phí giúp cộng đồng làm quen với Python và phân tích chứng khoán với lưu lượng sử dụng đáp ứng tốt nhu cầu cá nhân. Nếu bạn có nhu cầu sử dụng tần suất cao, có tính chất chuyên nghiệp thì sự hỗ trợ từ quyền lợi gói tài trợ dự án Vnstock phù hợp hơn với bạn.

4. Bảo vệ dữ liệu và hệ thống

API Rate Limit cũng là cách để bảo vệ hệ thống khỏi các cuộc tấn công từ chối dịch vụ (DDoS) hoặc các bot độc hại.

IV. Năm chiến lược xử lý API Rate Limit đơn giản

Khi làm việc với vnstock API, bạn có thể áp dụng một số chiến lược sau để xử lý vấn đề Rate Limit:

1. Bổ sung thời gian nghỉ giữa các requests

Đây là phương pháp đơn giản nhất, thêm thời gian nghỉ (delay) giữa các lần gọi API để đảm bảo không vượt quá giới hạn khi bạn sử dụng cơ chế vòng lặp để tải dữ liệu.

import time
from tqdm import tqdm
from vnstock import Vnstock

stock = Vnstock().stock(symbol='ACB', source='VCI')
# Truy xuất danh sách mã trong VN100
vn100 = stock.listing.symbols_by_group('VN100')
# Tạo vòng lặp tải dữ liệu, sử dụng tqdm hiển thị tiến độ công việc
for symbol in tqdm(vn100, desc='Processing VN100 symbols'):
	df = stock.quote.history(symbol=symbol, start='2024-01-01', end='2024-12-31')
	df['symbol'] = symbol
	print(df)
	# nghỉ 1s trước khi chuyển sang mã tiếp theo
	time.sleep(1)

• Ưu điểm: Đơn giản, dễ triển khai
• Nhược điểm: Làm chậm quá trình tải dữ liệu mà đôi khi bạn không thích phải chờ đợi. Có những yêu cầu tốn nhiều thời gian thực hiện thì không tiêu thụ hết giới hạn 60 lượt yêu cầu/phút trong khi có những yêu cầu quá nhanh khiến việc chạm đến giới hạn nhanh hơn đáng kể.

2. Tối ưu nguồn dữ liệu

Hiểu đặc tính của từng nguồn dữ liệu trong Vnstock giúp bạn tối ưu các tài nguyên miễn phí. Dưới đây là một số gợi ý giúp bạn sáng tạo giải pháp cho riêng mình.

• Rate Limit được áp dụng cho từng nguồn riêng biệt. Ví dụ 60 lượt yêu cầu/phút sẽ được tính cho từng nguồn dữ liệu VCI hay TCBS, vv.
• Nguồn dữ liệu TCBS không tối ưu cho việc lấy dữ liệu OHLCV trong nhiều năm bởi mỗi lần bạn gọi câu lệnh Vnstock sẽ tạo ra nhiều yêu cầu liên tiếp để vá dữ liệu theo giai đoạn dài hơn một năm.
• Bạn có thể kết hợp sáng tạo các nguồn dữ liệu khác nhau cho các dữ liệu đã chuẩn hoá như OHLCV, Intraday, vv. Tất nhiên việc này tốn công sức và thời gian của bạn so với giải pháp tham gia gói tài trợ với mức tài trợ 1 tách cafe mỗi tháng.

3. Thiết lập bộ đếm và cơ chế tránh Rate Limit

Phương pháp này giúp theo dõi số lượng request đã gửi và tự động điều chỉnh tốc độ gọi API. Bạn có thể tạo một bộ đếm đơn giản để theo dõi số lượng request và tự động tạm dừng khi đạt gần đến giới hạn.

Nguyên tắc hoạt động:

• Theo dõi số lượng request đã thực hiện trong 1 phút

• Nếu sắp đạt giới hạn, tự động đợi trước khi tiếp tục

• Reset bộ đếm sau mỗi phút

• Ưu điểm: Quản lý request chủ động, tối ưu hóa thời gian chờ

• Nhược điểm: Cần thêm logic để quản lý bộ đếm

4. Sử dụng caching để giảm số lượng request

Lưu trữ kết quả API để tránh gọi lại những dữ liệu đã lấy trước đó.

Nguyên tắc hoạt động:

• Lưu kết quả vào file hoặc bộ nhớ sau khi gọi API

• Kiểm tra cache trước khi gọi API

• Chỉ gọi API khi dữ liệu không có trong cache hoặc đã hết hạn

• Ưu điểm: Giảm đáng kể số lượng request, tối ưu hiệu suất trong dài hạn

• Nhược điểm: Dữ liệu có thể không phải là mới nhất khi lấy từ cache

5. Sử dụng Exponential Backoff

Phương pháp này tăng dần thời gian chờ sau mỗi lần gặp lỗi Rate Limit.

Nguyên tắc hoạt động:

• Bắt đầu với thời gian chờ ngắn (ví dụ: 1 giây)

• Khi gặp lỗi Rate Limit, tăng thời gian chờ theo cấp số nhân

• Thử lại request sau thời gian chờ

• Thêm yếu tố ngẫu nhiên để tránh đồng bộ hóa giữa các client

• Ưu điểm: Xử lý lỗi tự động, thích ứng với điều kiện mạng và tải hệ thống

• Nhược điểm: Có thể mất nhiều thời gian hơn nếu gặp nhiều lỗi liên tiếp

V. Vượt qua giới hạn bằng cách đồng hành cùng gói tài trợ vnstock

Lý do nên nâng cấp

• Tiết kiệm thời gian: Không cần triển khai các giải pháp phức tạp để xử lý Rate Limit
• Hiệu suất cao hơn: Tốc độ truy xuất dữ liệu nhanh hơn với mã nguồn được tối ưu khoảng 10 lần so với bản miễn phí cho cộng đồng
• Dữ liệu phong phú: Truy cập nhiều loại dữ liệu hơn, giúp bạn nhanh chóng triển khai ý tưởng thuật toán và dự án
• Hỗ trợ phát triển: Đóng góp vào sự phát triển bền vững của dự án vnstock
• Tiết kiệm chi phí: Trở thành nhà tài trợ đồng hành cùng dự án Vnstock đầy ý nghĩa với cộng đồng chỉ với giá trị 1 tách cafe mỗi tháng (chỉ từ $3) so với giá trị bạn nhận được

VI. Câu hỏi thường gặp

Tôi có thể tăng giới hạn API mà không cần nâng cấp gói tài trợ không?

Không, giới hạn API được thiết lập từ máy chủ (hard limit) và mã nguồn dự án (soft limit), bạn không thể thay đổi. Cách duy nhất để tăng giới hạn là tham gia các các gói tài trợ hoặc bạn tự xây dựng giải pháp cho riêng mình mà không có sự tồn tại của vnstock.

Làm sao để biết tôi đã sử dụng bao nhiêu request?

Hiện tại, vnstock không cung cấp giải pháp kiểm tra số lượng request đã sử dụng, bạn biết đấy giới hạn là 60 yêu cầu/phút và 3000 yêu cầu mỗi giờ. Bạn nên tự theo dõi bằng cách lưu lại thời gian của các request trong ứng dụng của mình. Như đã chia sẻ, bạn có thể tham gia gói tài trợ và quên đi tất cả những thứ rắc rối này.

Tôi bị rate limit nhưng chỉ gửi ít request?

Có thể có nhiều nguyên nhân khác nhau nhưng nguyên nhân chính là bởi vì các câu lệnh khác nhau truy vấn dữ liệu từ chung một nguồn và tổng lượt yêu cầu đạt giới hạn cho phép.