Cách xây dựng nguồn dữ liệu duy nhất

Điểm cốt lõi không nằm ở việc doanh nghiệp chỉ còn một cơ sở dữ liệu. Một tổ chức vẫn có thể vận hành nhiều hệ thống nghiệp vụ nhưng duy trì được nguồn dữ liệu thống nhất nếu biết hệ thống nào chịu trách nhiệm cho từng loại dữ liệu, dữ liệu được đồng bộ theo quy tắc nào và ai có quyền xác nhận giá trị chính thức.

Ngược lại, gom dữ liệu vào một kho tập trung chưa chắc tạo ra nguồn dữ liệu duy nhất. Nếu các phòng ban vẫn định nghĩa doanh thu, khách hàng hoạt động hoặc hàng tồn kho theo những cách khác nhau, doanh nghiệp chỉ đang tập trung nhiều phiên bản mâu thuẫn vào cùng một nơi.

Hiểu đúng bản chất của nguồn dữ liệu duy nhất

Nguồn dữ liệu duy nhất là một mô hình quản trị kết hợp với kiến trúc dữ liệu, không phải tên của một phần mềm cụ thể. Mô hình này phải trả lời được bốn câu hỏi:

·         Dữ liệu chính thức nằm ở đâu

·         Giá trị đó được xác định theo quy tắc nào

·         Ai chịu trách nhiệm về tính chính xác

·         Các hệ thống khác được phép sử dụng hoặc thay đổi dữ liệu như thế nào

Một hệ thống quản lý quan hệ khách hàng có thể là nguồn chính thức cho thông tin liên hệ và trạng thái bán hàng. Phần mềm kế toán có thể là nguồn chính thức cho hóa đơn đã ghi nhận. Hệ thống quản lý nhân sự có thể chịu trách nhiệm cho hồ sơ nhân viên. Kho dữ liệu doanh nghiệp lại có thể là nơi hợp nhất các nguồn này để tạo báo cáo phân tích.

Như vậy, “duy nhất” không có nghĩa là tất cả dữ liệu phải được nhập và lưu trong một ứng dụng. Nó có nghĩa là đối với mỗi trường dữ liệu hoặc chỉ số quan trọng, doanh nghiệp phải xác định được một nơi có thẩm quyền cao nhất.

Cần phân biệt ba khái niệm thường bị nhầm lẫn:

·         Hệ thống nguồn: Nơi dữ liệu được tạo ra hoặc ghi nhận trong quá trình nghiệp vụ

·         Kho dữ liệu tập trung: Nơi dữ liệu từ nhiều hệ thống được thu thập để phân tích

·         Nguồn dữ liệu chính thức: Phiên bản được doanh nghiệp công nhận để sử dụng trong một mục đích cụ thể

Một kho dữ liệu chỉ trở thành nguồn chính thức cho báo cáo khi dữ liệu trong đó được chuẩn hóa, kiểm soát và có quy tắc xử lý được thống nhất. Nếu người dùng vẫn phải tải dữ liệu ra bảng tính rồi tự sửa công thức, nguồn chính thức thực tế đã bị phá vỡ.

Xác định phạm vi dữ liệu cần thống nhất

Doanh nghiệp không nên bắt đầu bằng mục tiêu hợp nhất toàn bộ dữ liệu. Phạm vi quá rộng làm tăng chi phí, kéo dài thời gian triển khai và khiến nhóm dự án khó chứng minh giá trị.

Nên ưu tiên những miền dữ liệu trực tiếp gây ra quyết định mâu thuẫn hoặc sai lệch báo cáo, chẳng hạn:

·         Khách hàng

·         Sản phẩm

·         Nhà cung cấp

·         Nhân viên

·         Đơn hàng

·         Doanh thu

·         Chi phí

·         Hàng tồn kho

·         Chỉ số vận hành

Mỗi miền dữ liệu cần được phân tích đến cấp thuộc tính. Ví dụ, hệ thống quản lý quan hệ khách hàng có thể chịu trách nhiệm về địa chỉ email của khách hàng, nhưng hệ thống tài chính lại là nguồn chính thức cho hạn mức tín dụng. Việc tuyên bố chung rằng “dữ liệu khách hàng nằm trong CRM” có thể không đủ chính xác.

Doanh nghiệp có thể lập danh mục theo cấu trúc:

Phạm vi ban đầu nên gắn với một kết quả kinh doanh cụ thể, chẳng hạn thống nhất báo cáo doanh thu, giảm hồ sơ khách hàng trùng lặp hoặc cải thiện độ chính xác của tồn kho. Khi kết quả đã được kiểm chứng, doanh nghiệp mới mở rộng sang các miền khác.

Thống nhất định nghĩa và quyền sở hữu dữ liệu

Mâu thuẫn dữ liệu thường không bắt đầu từ công nghệ mà từ việc các bộ phận sử dụng cùng một thuật ngữ với ý nghĩa khác nhau.

Chẳng hạn, “khách hàng hoạt động” có thể được hiểu là:

·         Khách hàng đã đăng nhập trong 30 ngày

·         Khách hàng đã mua hàng trong 90 ngày

·         Khách hàng còn hợp đồng hiệu lực

·         Khách hàng chưa bị đánh dấu ngừng giao dịch

Không có một định nghĩa chung, các báo cáo có thể đều đúng về mặt công thức nhưng vẫn cho kết quả khác nhau.

Doanh nghiệp cần xây dựng từ điển dữ liệu hoặc danh mục chỉ số. Mỗi thuật ngữ quan trọng nên có:

·         Tên chính thức

·         Mô tả nghiệp vụ

·         Công thức tính

·         Nguồn dữ liệu đầu vào

·         Thời điểm ghi nhận

·         Điều kiện bao gồm

·         Điều kiện loại trừ

·         Đơn vị đo

·         Chủ sở hữu

·         Phiên bản và lịch sử thay đổi

Quyền sở hữu dữ liệu cũng phải được phân biệt rõ. Bộ phận công nghệ có thể vận hành nền tảng, nhưng không nên tự quyết định ý nghĩa nghiệp vụ của doanh thu, lợi nhuận hoặc khách hàng đủ điều kiện.

Một mô hình trách nhiệm phù hợp thường gồm:

Chủ sở hữu dữ liệu

Là người hoặc bộ phận có thẩm quyền phê duyệt định nghĩa, tiêu chuẩn chất lượng và quyền sử dụng dữ liệu trong một miền nghiệp vụ.

Người quản trị dữ liệu

Theo dõi chất lượng, xử lý sai lệch, duy trì tài liệu và phối hợp giữa chủ sở hữu với các nhóm kỹ thuật.

Đơn vị vận hành kỹ thuật

Xây dựng đường truyền dữ liệu, phân quyền truy cập, giám sát hệ thống, lưu lịch sử và triển khai các quy tắc đã được phê duyệt.

Người sử dụng dữ liệu

Tuân thủ định nghĩa chung, báo cáo vấn đề và không tự tạo phiên bản dữ liệu thay thế mà thiếu kiểm soát.

Nếu không có quyền sở hữu rõ ràng, các lỗi dữ liệu thường bị chuyển qua lại giữa phòng ban. Công nghệ có thể phát hiện hai giá trị khác nhau nhưng không thể tự quyết định giá trị nào đúng về mặt nghiệp vụ.

Thiết kế kiến trúc dữ liệu có nguồn chịu trách nhiệm rõ ràng

Sau khi thống nhất phạm vi và định nghĩa, doanh nghiệp mới lựa chọn kiến trúc kỹ thuật phù hợp. Mục tiêu không phải loại bỏ mọi hệ thống hiện có mà là kiểm soát đường đi của dữ liệu.

Một kiến trúc phổ biến có thể gồm:

1.    Hệ thống nghiệp vụ tạo dữ liệu

2.    Lớp tích hợp tiếp nhận và đồng bộ

3.    Khu vực lưu trữ dữ liệu thô

4.    Lớp chuẩn hóa và kiểm tra chất lượng

5.    Mô hình dữ liệu dùng chung

6.    Lớp báo cáo, phân tích hoặc cung cấp dữ liệu

7.    Danh mục metadata và cơ chế theo dõi nguồn gốc

Mỗi đối tượng dữ liệu phải có một hệ thống chịu trách nhiệm ghi chính. Các hệ thống còn lại chỉ nên nhận bản sao hoặc gửi yêu cầu thay đổi qua quy trình đã định nghĩa.

Ví dụ, khi thông tin khách hàng được cập nhật:

·         Người dùng gửi thay đổi vào hệ thống được chỉ định

·         Hệ thống kiểm tra định dạng và quyền sửa

·         Giá trị hợp lệ được ghi nhận

·         Thay đổi được phát tới các hệ thống liên quan

·         Kho dữ liệu nhận phiên bản mới

·         Báo cáo sử dụng dữ liệu đã chuẩn hóa

·         Nhật ký lưu lại thời gian, nguồn và người thực hiện

Cơ chế này ngăn tình trạng một phòng ban sửa địa chỉ trong CRM, phòng ban khác sửa trong phần mềm kế toán và hệ thống báo cáo không biết nên lấy giá trị nào.

Doanh nghiệp cũng cần xác định độ trễ chấp nhận được. Không phải dữ liệu nào cũng cần đồng bộ theo thời gian thực. Giao dịch chống gian lận có thể cần cập nhật gần như tức thời, trong khi báo cáo quản trị theo tháng có thể chỉ cần xử lý hằng ngày. Đồng bộ quá nhanh khi nghiệp vụ không yêu cầu sẽ làm kiến trúc phức tạp và tốn kém hơn mà không tạo thêm giá trị tương ứng.

Một nguyên tắc quan trọng khác là lưu lịch sử thay đổi. Nguồn dữ liệu thống nhất không chỉ cho biết giá trị hiện tại mà còn phải giải thích:

·         Giá trị đến từ hệ thống nào

·         Được cập nhật vào thời điểm nào

·         Đã trải qua quy tắc biến đổi nào

·         Phiên bản nào được dùng cho báo cáo

·         Ai đã phê duyệt hoặc thay đổi định nghĩa

Khả năng truy vết này giúp doanh nghiệp điều tra sai lệch và tái tạo kết quả báo cáo khi cần thiết.

Chuẩn hóa, làm sạch và kiểm soát chất lượng dữ liệu

Kết nối các hệ thống chỉ giải quyết vấn đề luân chuyển. Để trở thành nguồn dữ liệu đáng tin cậy, dữ liệu còn phải vượt qua các quy tắc chất lượng.

Các chiều chất lượng thường cần theo dõi gồm:

·         Tính đầy đủ: Các trường bắt buộc có được điền hay không

·         Tính hợp lệ: Giá trị có đúng định dạng và phạm vi cho phép hay không

·         Tính duy nhất: Một thực thể có bị tạo thành nhiều hồ sơ hay không

·         Tính nhất quán: Các hệ thống có sử dụng cùng mã và quy tắc hay không

·         Tính kịp thời: Dữ liệu có được cập nhật đủ nhanh cho mục đích sử dụng hay không

·         Tính chính xác: Dữ liệu có phản ánh đúng đối tượng hoặc giao dịch thực tế hay không

·         Tính toàn vẹn: Quan hệ giữa các bảng và các đối tượng có bị đứt gãy hay không

Mỗi quy tắc nên tạo ra kết quả đo lường, thay vì chỉ đánh giá “dữ liệu khá tốt”. Chẳng hạn, doanh nghiệp có thể theo dõi:

·         Tỷ lệ trường bắt buộc được điền

·         Tỷ lệ hồ sơ trùng lặp

·         Tỷ lệ bản ghi vượt qua kiểm tra hợp lệ

·         Số lượng giao dịch không đối soát được

·         Thời gian trung bình để dữ liệu xuất hiện trong báo cáo

·         Số lỗi dữ liệu chưa được xử lý

·         Tỷ lệ báo cáo sử dụng tập dữ liệu đã được chứng nhận

Ngưỡng chấp nhận phải phụ thuộc vào mức độ quan trọng của dữ liệu. Thông tin dùng để gửi nội dung tiếp thị có thể chấp nhận một tỷ lệ thiếu nhỏ, nhưng số tiền trên báo cáo tài chính đòi hỏi kiểm soát nghiêm ngặt và khả năng đối soát đầy đủ.

Quy trình xử lý lỗi cũng cần được chuẩn hóa:

1.    Phát hiện lỗi bằng quy tắc tự động hoặc phản hồi của người dùng

2.    Ghi nhận lỗi vào một đầu mối quản lý

3.    Xác định hệ thống và quy trình gây ra lỗi

4.    Giao trách nhiệm xử lý cho chủ sở hữu phù hợp

5.    Sửa dữ liệu tại nguồn có thẩm quyền

6.    Đồng bộ lại các hệ thống nhận dữ liệu

7.    Kiểm tra kết quả sau khi sửa

8.    Điều chỉnh quy trình để lỗi không tái diễn

Chỉ sửa dữ liệu trong báo cáo là giải pháp tạm thời. Nếu nguyên nhân tại hệ thống nguồn không được xử lý, sai lệch sẽ tiếp tục xuất hiện trong các lần cập nhật sau.

Triển khai nguồn dữ liệu thống nhất theo từng giai đoạn

Một chương trình nguồn dữ liệu duy nhất nên được triển khai theo từng miền dữ liệu thay vì thay đổi toàn bộ doanh nghiệp trong một lần.

Giai đoạn 1: Xác định vấn đề ưu tiên

Chọn một vấn đề có tác động rõ ràng, chẳng hạn báo cáo doanh thu giữa bộ phận bán hàng và tài chính không khớp. Xác định các quyết định đang bị ảnh hưởng, người sử dụng liên quan và hậu quả của sai lệch.

Giai đoạn 2: Lập bản đồ hiện trạng

Ghi nhận các hệ thống, bảng tính, báo cáo, luồng tích hợp và thao tác thủ công đang tạo hoặc thay đổi dữ liệu. Bản đồ phải cho thấy nơi dữ liệu phát sinh, nơi bị biến đổi và nơi được sử dụng.

Giai đoạn 3: Chọn nguồn chính thức

Xác định hệ thống có thẩm quyền cho từng thuộc tính. Quyết định này phải dựa trên trách nhiệm nghiệp vụ, khả năng kiểm soát và vị trí phát sinh dữ liệu, không chỉ dựa trên hệ thống nào thuận tiện nhất cho đội kỹ thuật.

Giai đoạn 4: Chuẩn hóa định nghĩa

Thống nhất thuật ngữ, công thức, thời điểm ghi nhận, điều kiện loại trừ và quy tắc xử lý ngoại lệ. Các định nghĩa phải được chủ sở hữu nghiệp vụ phê duyệt.

Giai đoạn 5: Xây dựng luồng tích hợp

Thiết kế cách dữ liệu được thu nhận, kiểm tra, biến đổi và phân phối. Hạn chế nhập liệu lặp lại tại nhiều hệ thống. Các thay đổi quan trọng cần được ghi nhật ký và có thể truy vết.

Giai đoạn 6: Làm sạch và đối soát

Xử lý hồ sơ trùng, mã không thống nhất, trường thiếu và giao dịch sai lệch. Với dữ liệu quan trọng, cần đối soát tổng số bản ghi, số tiền hoặc số lượng trước và sau khi chuyển đổi.

Giai đoạn 7: Chứng nhận tập dữ liệu

Đánh dấu rõ báo cáo, mô hình dữ liệu hoặc tập dữ liệu nào đã được kiểm tra và được phép sử dụng. Các phiên bản cũ cần được ngừng sử dụng hoặc hiển thị cảnh báo.

Giai đoạn 8: Đo lường và mở rộng

Theo dõi mức sử dụng, chất lượng dữ liệu, thời gian xử lý lỗi và mức giảm sai lệch báo cáo. Sau khi miền dữ liệu đầu tiên ổn định, doanh nghiệp mới áp dụng mô hình cho miền tiếp theo.

Cách triển khai này tạo ra giá trị sớm và giúp doanh nghiệp điều chỉnh mô hình quản trị trước khi mở rộng quy mô.

Duy trì nguồn dữ liệu duy nhất sau khi triển khai

Nguồn dữ liệu thống nhất không phải dự án hoàn thành một lần. Dữ liệu, hệ thống và quy trình kinh doanh luôn thay đổi. Nếu thiếu cơ chế duy trì, doanh nghiệp sẽ nhanh chóng tạo ra những phiên bản dữ liệu mới bên ngoài hệ thống chính thức.

Hoạt động vận hành cần bao gồm:

·         Kiểm tra chất lượng tự động

·         Giám sát độ trễ đồng bộ

·         Theo dõi thay đổi cấu trúc dữ liệu

·         Quản lý phiên bản định nghĩa

·         Phê duyệt nguồn dữ liệu mới

·         Đánh giá quyền truy cập định kỳ

·         Xử lý sự cố theo mức độ ưu tiên

·         Rà soát các bảng tính và báo cáo tự phát

·         Đào tạo người sử dụng

·         Kiểm tra mức độ áp dụng dữ liệu đã được chứng nhận

Các chỉ số quản trị có thể được chia thành ba nhóm.

Chỉ số chất lượng

Theo dõi tỷ lệ đầy đủ, hợp lệ, trùng lặp, nhất quán và đối soát thành công.

Chỉ số vận hành

Theo dõi độ trễ cập nhật, số sự cố, thời gian xử lý lỗi và tỷ lệ luồng dữ liệu hoạt động đúng cam kết.

Chỉ số sử dụng

Theo dõi tỷ lệ báo cáo dùng nguồn chính thức, số người sử dụng tập dữ liệu được chứng nhận và số phiên bản báo cáo không còn được hỗ trợ.

Doanh nghiệp cũng cần kiểm soát những con đường tạo ra “nguồn dữ liệu ngầm”. Bảng tính cá nhân không phải lúc nào cũng cần bị cấm, nhưng không nên trở thành nơi duy nhất lưu quy tắc nghiệp vụ hoặc số liệu dùng để ra quyết định quan trọng.

Khi người dùng cần điều chỉnh dữ liệu bên ngoài hệ thống chính thức, doanh nghiệp nên xác định nguyên nhân. Có thể hệ thống chưa cung cấp dữ liệu đủ nhanh, định nghĩa chưa phù hợp hoặc quy trình yêu cầu thay đổi quá phức tạp. Việc giải quyết nguyên nhân sẽ hiệu quả hơn chỉ yêu cầu nhân viên ngừng sử dụng công cụ riêng.

Xây dựng nguồn dữ liệu duy nhất là quá trình thống nhất trách nhiệm, định nghĩa và cách dữ liệu được tạo, kiểm soát, phân phối. Công nghệ là thành phần cần thiết nhưng không thể thay thế quản trị dữ liệu và quyền sở hữu nghiệp vụ.

Doanh nghiệp nên bắt đầu từ một miền dữ liệu có giá trị rõ ràng, xác định nguồn có thẩm quyền cho từng thuộc tính, chuẩn hóa định nghĩa, thiết lập quy tắc chất lượng và cung cấp dữ liệu qua các tập dữ liệu được chứng nhận. Khi mọi thay đổi đều có thể truy vết và mọi chỉ số quan trọng đều có một định nghĩa được phê duyệt, các bộ phận mới thực sự sử dụng cùng một phiên bản sự thật.