Vì sao workflow chạy được chưa chắc đã đáng tin cậy?
Trong bản demo, một tác vụ thường đi theo đường thẳng: đọc dữ liệu, xử lý, gọi API và đánh dấu hoàn tất. Khi chạy thật, mạng có thể bị ngắt giữa chừng, dịch vụ bên ngoài trả mã lỗi tạm thời, worker bị khởi động lại hoặc một lịch chạy được kích hoạt hai lần. Vì vậy, mục tiêu thiết kế không phải chỉ là “chạy thành công khi mọi thứ bình thường”, mà là biết chính xác chuyện gì xảy ra khi có lỗi và tiếp tục an toàn.
Ví dụ một worker nhận yêu cầu tạo báo cáo: nó lấy dữ liệu, tính toán và gửi thông báo. Nếu worker chết ngay sau khi gửi thông báo nhưng trước khi ghi nhận trạng thái thành công, lần chạy tiếp theo có thể gửi trùng. Một hệ thống đáng tin cậy cần có cách phân biệt “chưa gửi” với “đã gửi nhưng chưa ghi nhận”.
1. Thiết kế vòng đời công việc bằng trạng thái rõ ràng
Thay vì một cờ done=true/false, hãy định nghĩa các trạng thái thể hiện điều kiện chuyển bước:
| Trạng thái | Ý nghĩa | Hành động |
|---|---|---|
| QUEUED | Đang chờ được nhận | Worker có thể lấy khi còn tài nguyên |
| RUNNING | Đã có worker giữ tác vụ | Gắn thời hạn lease và heartbeat |
| RETRY_WAIT | Lỗi có khả năng phục hồi | Hẹn thời gian thử lại |
| NEEDS_REVIEW | Dữ liệu chưa đủ hoặc điều kiện chưa rõ | Đợi người kiểm tra, không tự suy đoán |
| SUCCEEDED | Đã xác minh hoàn thành | Lưu kết quả và bằng chứng phù hợp |
| FAILED_FINAL | Hết lượt thử hoặc lỗi không thể phục hồi | Giữ log, cảnh báo để xử lý |
Mỗi lần chuyển trạng thái nên có thời điểm, lý do và người hoặc worker thực hiện. Việc này giúp dashboard giải thích một công việc đang kẹt vì lý do gì, thay vì chỉ hiển thị chữ “lỗi”.
2. Chống xử lý trùng bằng idempotency
Idempotency nghĩa là lặp lại cùng một yêu cầu không tạo thêm tác động ngoài ý muốn. Hãy gắn một khóa ổn định cho mỗi hành động kinh doanh, ví dụ report:2026-11-08:team-7. Cơ sở dữ liệu lưu khóa đó cùng trạng thái. Khi gặp yêu cầu trùng, worker kiểm tra khóa trước khi thực hiện tác động tiếp theo.
Cần phân biệt “một công việc có thể chạy lại” với “một tác động bên ngoài có thể lặp lại”. Tạo báo cáo có thể tính lại, nhưng gửi tin nhắn, trừ tiền hoặc đăng nội dung thì không nên làm lại mù quáng. Nếu API bên ngoài hỗ trợ idempotency key, hãy truyền khóa này. Nếu không hỗ trợ, phải kiểm tra lại kết quả từ phía hệ thống đích hoặc đưa trường hợp chưa chắc chắn vào hàng đợi xác minh.
3. Retry theo nhóm lỗi, không lặp vô hạn
Không phải lỗi nào cũng cần thử lại. Mất kết nối tạm thời hoặc HTTP 429 thường có thể phục hồi; dữ liệu sai định dạng hoặc thiếu quyền truy cập thì cần can thiệp. Dùng exponential backoff để khoảng chờ tăng dần và thêm chút ngẫu nhiên (jitter), tránh mọi worker cùng gửi lại một lúc.
delay = min(30 * 2**attempt, 1800) + random(0, 10)
# attempt: bắt đầu từ 0, delay tính bằng giây
Ví dụ các lượt thử có thể cách nhau khoảng 30 giây, 60 giây, 120 giây rồi tăng đến tối đa 30 phút. Giá trị cụ thể phải theo giới hạn API và mức độ gấp của công việc, không dùng cố định cho mọi tình huống. Luôn đặt giới hạn số lần hoặc tổng thời gian thử lại.
4. Worker bị dừng giữa chừng thì sao?
Khi nhận tác vụ, worker ghi lease_until và cập nhật heartbeat. Nếu worker dừng mà lease hết hạn, một tiến trình giám sát có thể đưa tác vụ về hàng đợi. Tuy nhiên, trước khi khởi chạy lại bước có tác động bên ngoài, cần tra cứu khóa idempotency hoặc xác minh kết quả đã phát sinh. Với tác vụ dài, heartbeat nên gia hạn lease đều đặn nhưng không được che giấu worker bị treo.
5. Log phải trả lời được câu hỏi của người vận hành
Mỗi log sự kiện nên có ít nhất job_id, step, attempt, status, error_class, started_at, finished_at và correlation_id. Nếu API trả về mã lỗi, ghi lại mã và phần thông báo đã loại bỏ dữ liệu nhạy cảm. Không ghi access token, cookie phiên đăng nhập, mật khẩu hay toàn bộ nội dung cá nhân vào log.
Dashboard nên hiển thị trạng thái cuối cùng để dễ nhìn, đồng thời vẫn cho phép mở lịch sử sự kiện khi cần điều tra. “Đã gửi yêu cầu” không đồng nghĩa với “đích đã xử lý thành công”; cần lưu bằng chứng phù hợp, chẳng hạn mã định danh kết quả của API.
6. Checklist trước khi đưa vào hoạt động
- Thử gửi trùng cùng một
job_idvà xác minh không tạo tác động lặp lại. - Cố tình ngắt mạng khi gọi API, bảo đảm tác vụ được lên lịch thử lại đúng điều kiện.
- Khởi động lại worker giữa lúc chạy và kiểm tra lease/heartbeat.
- Thử lỗi 401, 403, 429 và 5xx; không gom tất cả thành một thông báo “không khả dụng”.
- Kiểm tra dashboard hiển thị nguyên nhân, thời điểm và bước khắc phục.
- Thực hiện sao lưu, giới hạn quyền API và thiết lập cảnh báo cho hàng đợi lỗi cuối.
Với cách làm này, tự động hóa có thể chạy theo lịch mà người vận hành vẫn kiểm soát được tính đúng đắn. Nếu cần thiết kế trang hiển thị trạng thái, xem tiếp bài dashboard giám sát worker.