Vì sao dữ liệu không nhất quán?

Bản chất của vấn đề không chỉ là “số nào đúng, số nào sai”. Câu hỏi quan trọng hơn là mỗi con số được tạo ra từ dữ liệu nào, theo quy tắc nào, tại thời điểm nào và để phục vụ quyết định gì. Khi các yếu tố này không được chuẩn hóa, tổ chức sẽ hình thành nhiều phiên bản sự thật song song.

Cùng tên chỉ tiêu nhưng khác định nghĩa

Nguyên nhân phổ biến nhất của dữ liệu không nhất quán là các phòng ban gọi cùng một tên nhưng không đo cùng một đối tượng.

Chẳng hạn, bộ phận kinh doanh có thể coi doanh thu là tổng giá trị đơn hàng đã ký. Kế toán chỉ ghi nhận doanh thu khi nghiệp vụ đáp ứng điều kiện hạch toán. Bộ phận vận hành lại theo dõi giá trị đơn hàng đã giao thành công. Ba báo cáo đều mang tên “doanh thu”, nhưng thời điểm và điều kiện ghi nhận hoàn toàn khác nhau.

Sự khác biệt tương tự thường xuất hiện với các chỉ tiêu như:

·         Khách hàng mới

·         Khách hàng đang hoạt động

·         Đơn hàng thành công

·         Tỷ lệ chuyển đổi

·         Chi phí marketing

·         Lợi nhuận

·         Tỷ lệ nghỉ việc

Ví dụ, marketing có thể tính một người điền biểu mẫu là khách hàng tiềm năng. Kinh doanh chỉ công nhận khi người đó đáp ứng tiêu chí về nhu cầu, ngân sách hoặc thẩm quyền mua. Nếu hai bên không thống nhất định nghĩa, số lượng khách hàng tiềm năng sẽ khác nhau dù cùng xuất phát từ một chiến dịch.

Vấn đề vì vậy không nằm ở tên gọi mà ở logic nghiệp vụ phía sau tên gọi. Khi tổ chức chưa có từ điển dữ liệu quy định rõ công thức, phạm vi, đơn vị đo và điều kiện loại trừ, mỗi phòng ban sẽ tự diễn giải chỉ tiêu theo nhu cầu công việc của mình.

Các phòng ban lấy dữ liệu từ những nguồn khác nhau

Một chỉ tiêu có thể tồn tại đồng thời trong CRM, phần mềm kế toán, hệ thống bán hàng, nền tảng quảng cáo, bảng tính cá nhân và kho dữ liệu tập trung. Mỗi hệ thống phản ánh một phần khác nhau của quá trình kinh doanh.

CRM thường lưu trạng thái cơ hội bán hàng. Hệ thống quản lý đơn hàng phản ánh giao dịch phát sinh. Phần mềm kế toán phản ánh nghiệp vụ đã được kiểm tra và ghi nhận tài chính. Nền tảng quảng cáo ghi nhận hành vi theo cơ chế phân bổ riêng. Vì mục đích vận hành khác nhau, dữ liệu trong các hệ thống này không tự động trùng khớp.

Sai lệch còn tăng lên khi nhân viên xuất dữ liệu về bảng tính rồi tiếp tục:

·         Xóa các bản ghi được cho là không cần thiết

·         Bổ sung dữ liệu bằng tay

·         Ghép nhiều tệp theo cách riêng

·         Thay đổi công thức

·         Lưu nhiều phiên bản tại các thời điểm khác nhau

Khi đó, báo cáo không còn phụ thuộc hoàn toàn vào hệ thống nguồn mà phụ thuộc cả vào cách xử lý của từng người. Hai nhân viên cùng lấy dữ liệu từ một hệ thống vẫn có thể tạo ra hai kết quả khác nhau nếu điều kiện lọc hoặc quy trình làm sạch không giống nhau.

Một kho dữ liệu tập trung cũng chưa chắc giải quyết được vấn đề. Nếu dữ liệu được đồng bộ không đầy đủ, mô hình dữ liệu chưa thống nhất hoặc mỗi phòng ban vẫn dùng bảng trung gian riêng, tổ chức chỉ chuyển sự không nhất quán từ nhiều hệ thống sang nhiều lớp xử lý.

Thời điểm cập nhật và chốt số không giống nhau

Dữ liệu là trạng thái của hoạt động kinh doanh tại một thời điểm cụ thể. Vì vậy, hai báo cáo chạy vào hai thời điểm khác nhau có thể cho kết quả khác nhau dù sử dụng cùng nguồn và cùng công thức.

Báo cáo của phòng kinh doanh có thể được lấy lúc 17 giờ ngày cuối tháng. Kế toán có thể tiếp tục xử lý hóa đơn, hàng trả lại hoặc bút toán điều chỉnh trong những ngày đầu tháng sau. Khi kế toán chốt kỳ, tổng doanh thu có thể đã thay đổi so với báo cáo vận hành ban đầu.

Độ trễ đồng bộ cũng tạo ra sai lệch. Một hệ thống cập nhật gần như tức thời, trong khi kho dữ liệu chỉ nạp dữ liệu theo giờ hoặc theo ngày. Trong khoảng thời gian chờ đồng bộ, hai màn hình sẽ hiển thị hai trạng thái khác nhau.

Ngoài ra, tổ chức thường chưa phân biệt rõ ba loại số liệu:

Số liệu thời gian thực

Phản ánh trạng thái mới nhất và có thể tiếp tục thay đổi. Loại dữ liệu này phù hợp với giám sát vận hành nhưng chưa chắc phù hợp với báo cáo chính thức.

Số liệu tạm tính

Đã trải qua một số bước kiểm tra nhưng chưa hoàn tất đối soát hoặc khóa kỳ. Số liệu có thể được điều chỉnh khi xuất hiện giao dịch bổ sung.

Số liệu đã chốt

Được xác nhận theo một quy trình cụ thể và không thay đổi nếu không có nghiệp vụ điều chỉnh được kiểm soát.

Nếu một phòng ban dùng số liệu thời gian thực còn phòng ban khác dùng số đã chốt, việc chênh lệch không nhất thiết chứng minh rằng hệ thống có lỗi. Sai lầm nằm ở việc so sánh các phiên bản có trạng thái khác nhau mà không ghi rõ mốc thời gian và tình trạng chốt số.

Quy tắc lọc, làm sạch và tổng hợp khác nhau

Dữ liệu thô hiếm khi được đưa trực tiếp vào báo cáo. Trước khi trở thành một chỉ tiêu, dữ liệu thường phải trải qua nhiều thao tác như loại bản ghi trùng, chuẩn hóa trạng thái, xử lý giá trị thiếu, quy đổi đơn vị và phân nhóm.

Chỉ cần một quy tắc khác nhau, kết quả cuối cùng đã có thể thay đổi. Ví dụ:

·         Một báo cáo loại đơn hàng bị hủy, báo cáo khác vẫn giữ lại

·         Một bên tính cả thuế, bên kia chỉ tính giá trị trước thuế

·         Một bên dùng ngày tạo đơn, bên kia dùng ngày thanh toán

·         Một bên gộp khách hàng theo số điện thoại, bên kia gộp theo mã khách hàng

·         Một bên tính trung bình trên toàn bộ bản ghi, bên kia loại các giá trị bất thường

Cách tổng hợp cũng ảnh hưởng lớn đến kết quả. Tỷ lệ trung bình của từng nhóm không nhất thiết bằng tỷ lệ được tính lại từ tổng số của tất cả các nhóm. Tương tự, cộng số khách hàng của nhiều chi nhánh có thể tạo ra số lớn hơn thực tế nếu một khách hàng giao dịch tại nhiều nơi.

Những sai lệch này thường khó phát hiện vì công thức trên từng báo cáo có vẻ hợp lý. Chỉ khi truy ngược từ chỉ tiêu đến từng bước biến đổi, tổ chức mới nhận ra hai phòng ban đang áp dụng các quy tắc xử lý khác nhau.

Mỗi phòng ban nhìn dữ liệu theo một mục đích riêng

Số liệu được thiết kế để hỗ trợ quyết định. Do các phòng ban có nhiệm vụ khác nhau, họ có xu hướng lựa chọn phạm vi và cách trình bày phù hợp với mục tiêu của mình.

Marketing quan tâm đến khả năng tạo nhu cầu và mức độ đóng góp của chiến dịch. Kinh doanh quan tâm đến cơ hội có khả năng chuyển thành hợp đồng. Vận hành tập trung vào đơn hàng đã hoàn thành. Tài chính cần số liệu đáp ứng quy tắc ghi nhận, đối soát và kiểm soát.

Vì vậy, sự khác biệt không phải lúc nào cũng là lỗi dữ liệu. Một tổ chức có thể hợp lý khi duy trì nhiều góc nhìn, miễn là mỗi góc nhìn được đặt tên rõ ràng và không bị trình bày như cùng một chỉ tiêu.

Rủi ro xuất hiện khi báo cáo chuyên biệt của một phòng ban được sử dụng cho quyết định toàn công ty mà không xem xét mục đích ban đầu. Ví dụ, doanh thu dự kiến trong CRM có thể hữu ích để quản lý cơ hội bán hàng nhưng không thể thay thế doanh thu đã ghi nhận trong báo cáo tài chính.

Do đó, “một nguồn dữ liệu duy nhất” không nhất thiết có nghĩa là mọi bộ phận phải dùng đúng một con số trong mọi tình huống. Điều cần thống nhất là nguồn gốc, định nghĩa và quan hệ giữa các phiên bản của chỉ tiêu.

Lỗi nhập liệu và liên kết dữ liệu làm sai lệch kết quả

Bên cạnh khác biệt về định nghĩa và phương pháp, dữ liệu không nhất quán còn xuất hiện do chất lượng dữ liệu đầu vào.

Các lỗi thường gặp gồm sai mã khách hàng, thiếu trường bắt buộc, nhập ngày tháng không đúng định dạng, ghi tên sản phẩm theo nhiều cách hoặc tạo nhiều hồ sơ cho cùng một đối tượng. Khi dữ liệu được chuyển giữa các hệ thống, lỗi có thể tiếp tục phát sinh do ánh xạ sai trường hoặc không tìm thấy khóa liên kết phù hợp.

Ví dụ, CRM nhận diện khách hàng bằng địa chỉ email, còn hệ thống bán hàng dùng mã khách hàng. Nếu một người sử dụng nhiều email hoặc được cấp nhiều mã, việc liên kết dữ liệu có thể tạo ra hồ sơ trùng hoặc bỏ sót giao dịch. Marketing sẽ thấy nhiều khách hàng, trong khi tài chính có thể chỉ ghi nhận một pháp nhân thanh toán.

Lỗi kỹ thuật cũng có thể làm dữ liệu thiếu hoặc lặp:

·         Quy trình đồng bộ bị gián đoạn

·         Bản ghi được nạp nhiều lần

·         Trường dữ liệu bị cắt hoặc chuyển đổi sai

·         Một phần lịch sử không được tải

·         Logic xử lý thay đổi nhưng dữ liệu cũ không được tính lại

Tuy nhiên, không nên mặc định mọi chênh lệch đều là lỗi kỹ thuật. Trước khi sửa hệ thống, cần kiểm tra định nghĩa, phạm vi và thời điểm báo cáo. Nếu không, tổ chức có thể tốn nhiều công sức xử lý hạ tầng trong khi nguyên nhân thực sự nằm ở quy tắc nghiệp vụ.

Thiếu cơ chế quản trị tạo ra nhiều phiên bản sự thật

Dữ liệu không nhất quán kéo dài khi không có cá nhân hoặc đơn vị chịu trách nhiệm chính thức cho từng chỉ tiêu. Trong môi trường đó, mỗi phòng ban có thể tự tạo báo cáo, tự đặt công thức và tự điều chỉnh dữ liệu mà không cần tuân theo một quy trình chung.

Để thiết lập một phiên bản dữ liệu đáng tin cậy, tổ chức cần quản lý tối thiểu năm thành phần.

Chủ sở hữu chỉ tiêu

Mỗi chỉ tiêu quan trọng cần có người chịu trách nhiệm phê duyệt định nghĩa và giải quyết tranh chấp. Chủ sở hữu không nhất thiết trực tiếp tạo báo cáo nhưng phải có thẩm quyền xác nhận cách đo.

Từ điển dữ liệu

Tài liệu cần nêu rõ tên chỉ tiêu, mục đích, công thức, nguồn, đơn vị đo, điều kiện bao gồm, điều kiện loại trừ, tần suất cập nhật và trạng thái chốt số.

Nguồn dữ liệu chính thức

Tổ chức cần xác định hệ thống hoặc mô hình dữ liệu nào được sử dụng cho từng loại báo cáo. Nguồn chính thức có thể khác nhau theo mục đích, nhưng quan hệ giữa chúng phải minh bạch.

Quy trình đối soát

Khi hai báo cáo lệch nhau, việc đối soát nên đi từ định nghĩa đến dữ liệu nguồn, thời điểm lấy số, bộ lọc và công thức biến đổi. So sánh trực tiếp hai con số cuối cùng thường không đủ để tìm nguyên nhân.

Quản lý thay đổi

Mỗi lần thay đổi công thức, trạng thái nghiệp vụ hoặc logic phân loại phải được ghi nhận. Nếu không có lịch sử phiên bản, người dùng có thể so sánh dữ liệu được tính theo hai phương pháp khác nhau mà không biết.

Mục tiêu của quản trị dữ liệu không phải loại bỏ mọi khác biệt. Mục tiêu là bảo đảm mỗi con số có thể được giải thích, truy vết và sử dụng đúng bối cảnh.

Số liệu giữa các phòng ban không đồng nhất chủ yếu vì các bên không cùng sử dụng một hệ quy chiếu. Sự khác biệt có thể đến từ định nghĩa chỉ tiêu, nguồn dữ liệu, thời điểm chốt số, quy tắc xử lý, mục đích báo cáo hoặc chất lượng dữ liệu đầu vào.

Muốn giải quyết tận gốc, tổ chức không nên bắt đầu bằng việc chọn một báo cáo và tuyên bố đó là số đúng. Cần truy ngược từng chỉ tiêu về định nghĩa, nguồn, thời điểm, bộ lọc và công thức. Khi các thành phần này được chuẩn hóa và có người chịu trách nhiệm, chênh lệch dữ liệu sẽ trở thành vấn đề có thể giải thích và kiểm soát thay vì một cuộc tranh luận giữa các phòng ban.