Cách quản lý dữ liệu tập trung

Doanh nghiệp tránh được tình trạng dữ liệu lưu rải rác khi kết hợp đồng thời kiến trúc dữ liệu, quy trình vận hành và trách nhiệm quản trị. Chỉ mua thêm một phần mềm lưu trữ thường không giải quyết được vấn đề nếu nhân viên vẫn tạo file riêng, các hệ thống không đồng bộ và không có quy tắc xác định nguồn dữ liệu chuẩn.

Vì sao dữ liệu thường bị lưu rải rác?

Dữ liệu phân tán thường hình thành từng bước trong quá trình doanh nghiệp phát triển. Mỗi phòng ban lựa chọn công cụ phù hợp với công việc riêng: kinh doanh dùng hệ thống quản lý khách hàng, kế toán dùng phần mềm tài chính, nhân sự dùng nền tảng quản lý nhân viên, còn nhiều nhóm tiếp tục lưu thông tin trên bảng tính hoặc thư mục cá nhân.

Các công cụ này không nhất thiết gây ra vấn đề. Rủi ro xuất hiện khi cùng một đối tượng được tạo và cập nhật độc lập ở nhiều nơi. Chẳng hạn, thông tin của một khách hàng có thể đồng thời tồn tại trong phần mềm bán hàng, bảng tính chăm sóc khách hàng, hệ thống hóa đơn và hộp thư của nhân viên. Khi địa chỉ hoặc người liên hệ thay đổi, mỗi nơi có thể lưu một phiên bản khác nhau.

Có bốn nguyên nhân phổ biến dẫn đến tình trạng này:

·         Không xác định hệ thống nào là nguồn dữ liệu chính thức

·         Các ứng dụng không có cơ chế tích hợp hoặc đồng bộ

·         Nhân viên được phép tự tạo kho dữ liệu ngoài quy trình chung

·         Không có người chịu trách nhiệm cuối cùng về từng nhóm dữ liệu

Vì vậy, dữ liệu phân tán không chỉ là vấn đề lưu trữ. Đây còn là vấn đề về quyền sở hữu, luồng cập nhật và kỷ luật quản trị.

Xác lập một nguồn dữ liệu chuẩn cho từng đối tượng

Nền tảng của quản lý dữ liệu tập trung là xác định “nguồn dữ liệu chuẩn” cho từng loại thông tin. Đây là nơi được công nhận là phiên bản chính thức khi có sự khác biệt giữa nhiều hệ thống.

Doanh nghiệp có thể phân chia theo đối tượng:

·         Hệ thống quản lý khách hàng giữ bản chính của hồ sơ khách hàng và lịch sử tương tác

·         Hệ thống nhân sự giữ bản chính của hồ sơ nhân viên

·         Hệ thống tài chính giữ bản chính của hóa đơn, công nợ và giao dịch kế toán

·         Hệ thống quản lý sản phẩm giữ bản chính của mã hàng, thuộc tính và trạng thái sản phẩm

Cách tổ chức này không yêu cầu xóa toàn bộ bản sao khỏi các hệ thống khác. Một ứng dụng vẫn có thể sử dụng dữ liệu khách hàng để phục vụ nghiệp vụ, nhưng không được tự ý trở thành nơi tạo ra phiên bản chính thức mới.

Mỗi trường dữ liệu quan trọng cũng cần có quy tắc cập nhật. Ví dụ, tên pháp lý của khách hàng có thể được quản lý trong hệ thống hợp đồng, trong khi trạng thái cơ hội bán hàng thuộc hệ thống kinh doanh. Việc xác định đến cấp trường dữ liệu giúp tránh tình trạng hai bộ phận cùng có quyền sửa một thông tin nhưng áp dụng tiêu chí khác nhau.

Nguồn dữ liệu chuẩn chỉ có giá trị khi được toàn doanh nghiệp công nhận. Nếu nhân viên vẫn tin rằng bảng tính cá nhân mới là dữ liệu “đúng nhất”, kiến trúc tập trung sẽ tồn tại trên danh nghĩa nhưng không phát huy tác dụng trong vận hành.

Tích hợp các hệ thống thay vì nhập dữ liệu thủ công

Sau khi xác định nguồn dữ liệu chuẩn, doanh nghiệp cần thiết kế luồng truyền dữ liệu giữa các hệ thống. Mục tiêu là để thông tin được tạo một lần, sau đó được chuyển đến những nơi cần sử dụng theo quy tắc đã định.

Tùy quy mô và yêu cầu vận hành, quá trình tích hợp có thể được thực hiện bằng giao diện lập trình ứng dụng, nền tảng tích hợp trung gian hoặc quy trình ETL/ELT. Điểm quan trọng không nằm ở tên công nghệ mà ở khả năng kiểm soát luồng dữ liệu:

1.    Hệ thống nào tạo dữ liệu

2.    Dữ liệu được chuyển đến đâu

3.    Đồng bộ theo thời gian thực hay theo lịch

4.    Điều gì xảy ra khi quá trình đồng bộ thất bại

5.    Hệ thống nào được quyền ghi ngược dữ liệu

Nhập liệu thủ công giữa nhiều ứng dụng tạo ra ba loại sai lệch. Thứ nhất là sai do gõ nhầm hoặc bỏ sót trường. Thứ hai là chậm cập nhật, khiến các bộ phận sử dụng dữ liệu ở những thời điểm khác nhau. Thứ ba là mất dấu nguồn gốc, vì doanh nghiệp khó xác định ai đã thay đổi dữ liệu và thay đổi dựa trên căn cứ nào.

Cơ chế tích hợp phải có nhật ký xử lý, cảnh báo lỗi và quy trình đối soát. Nếu một bản ghi không đồng bộ thành công, hệ thống cần đưa bản ghi đó vào hàng chờ xử lý thay vì âm thầm bỏ qua. Đây là khác biệt giữa một kết nối kỹ thuật đơn thuần và một luồng dữ liệu có thể kiểm soát.

Tập trung dữ liệu cũng không đồng nghĩa với đồng bộ mọi thứ theo thời gian thực. Dữ liệu phục vụ giao dịch có thể cần cập nhật ngay, trong khi báo cáo tổng hợp có thể cập nhật theo giờ hoặc theo ngày. Lựa chọn tần suất phải dựa trên mức độ ảnh hưởng của độ trễ đối với quyết định kinh doanh.

Chuẩn hóa dữ liệu và kiểm soát bản ghi trùng lặp

Khi dữ liệu từ nhiều nguồn được đưa về một kiến trúc chung, doanh nghiệp thường phát hiện cùng một đối tượng được mô tả theo nhiều cách. Một khách hàng có thể xuất hiện dưới tên đầy đủ, tên viết tắt hoặc tên thương mại. Số điện thoại có thể chứa mã quốc gia ở hệ thống này nhưng không có ở hệ thống khác.

Do đó, tập trung vị trí lưu trữ chưa đủ. Dữ liệu còn phải được chuẩn hóa để các hệ thống hiểu một đối tượng theo cùng quy tắc.

Doanh nghiệp cần xây dựng tiêu chuẩn cho các trường quan trọng, bao gồm:

·         Cấu trúc mã khách hàng, mã sản phẩm và mã nhân viên

·         Quy tắc viết tên, địa chỉ, số điện thoại và mã số thuế

·         Danh mục trạng thái được phép sử dụng

·         Trường bắt buộc và điều kiện kiểm tra hợp lệ

·         Tiêu chí xác định hai bản ghi có phải cùng một đối tượng hay không

Cơ chế chống trùng lặp có thể sử dụng mã định danh duy nhất kết hợp với các thuộc tính như số điện thoại, email hoặc mã số thuế. Tuy nhiên, không nên tự động gộp bản ghi chỉ vì một thuộc tính giống nhau. Hai người có thể dùng chung số điện thoại của doanh nghiệp, trong khi một khách hàng có thể sử dụng nhiều địa chỉ email. Những trường hợp không chắc chắn cần được đưa vào quy trình xác minh.

Doanh nghiệp nên theo dõi chất lượng bằng các chỉ số đo được thay vì nhận xét chung rằng dữ liệu “khá sạch”. Một bộ KPI nội bộ có thể gồm:

·         Tỷ lệ bản ghi trùng lặp

·         Tỷ lệ trường bắt buộc được điền đầy đủ

·         Tỷ lệ bản ghi không vượt qua quy tắc kiểm tra

·         Số trường hợp sai lệch giữa hệ thống nguồn và hệ thống nhận

·         Thời gian trung bình để xử lý lỗi dữ liệu

Các ngưỡng cần được thiết lập theo mức độ quan trọng của từng nhóm dữ liệu. Hồ sơ thanh toán và dữ liệu pháp lý thường cần kiểm soát chặt hơn danh sách phục vụ truyền thông nội bộ. Không có một tỷ lệ chất lượng duy nhất phù hợp cho mọi doanh nghiệp và mọi loại dữ liệu.

Phân quyền, xác định trách nhiệm và kiểm soát thay đổi

Dữ liệu tập trung có thể làm tăng rủi ro nếu quá nhiều người được quyền truy cập hoặc sửa đổi. Vì vậy, tập trung dữ liệu phải đi cùng phân quyền theo vai trò và nguyên tắc chỉ cấp quyền cần thiết cho công việc.

Quyền đọc, tạo, sửa, xóa và xuất dữ liệu nên được tách riêng. Một nhân viên có thể cần xem hồ sơ khách hàng nhưng không nhất thiết được tải toàn bộ danh sách về thiết bị cá nhân. Người được phép cập nhật thông tin liên hệ cũng không mặc nhiên có quyền sửa hạn mức tín dụng hoặc thông tin hợp đồng.

Bên cạnh quyền truy cập, doanh nghiệp cần phân công các vai trò quản trị:

Chủ sở hữu dữ liệu

Chủ sở hữu dữ liệu chịu trách nhiệm về mục đích sử dụng, tiêu chuẩn chất lượng, quyền truy cập và các quyết định quan trọng liên quan đến một miền dữ liệu.

Người quản trị dữ liệu nghiệp vụ

Người quản trị dữ liệu theo dõi chất lượng hằng ngày, xử lý bản ghi bất thường, giải thích quy tắc và phối hợp với các đơn vị sử dụng dữ liệu.

Đơn vị vận hành kỹ thuật

Đội ngũ kỹ thuật chịu trách nhiệm về nền tảng lưu trữ, tích hợp, sao lưu, giám sát và khả năng phục hồi. Đội kỹ thuật không nên tự quyết định ý nghĩa nghiệp vụ của dữ liệu nếu chưa có xác nhận từ chủ sở hữu.

Mọi thay đổi quan trọng cần có lịch sử ghi nhận: ai thay đổi, thay đổi trường nào, thời điểm nào và giá trị trước đó là gì. Nhật ký này hỗ trợ điều tra sai lệch, phục hồi thông tin và xác định điểm yếu trong quy trình.

Một hiểu lầm thường gặp là hạn chế quyền truy cập sẽ làm chậm công việc. Trên thực tế, phân quyền hợp lý không nhằm ngăn nhân viên sử dụng dữ liệu mà nhằm đưa họ đến đúng dữ liệu, đúng phiên bản và đúng phạm vi trách nhiệm. Quy trình cấp quyền rõ ràng thường hiệu quả hơn việc để nhân viên tự sao chép dữ liệu vì không thể truy cập hệ thống chính thức.

Ngăn dữ liệu tiếp tục phát sinh ngoài hệ thống

Ngay cả khi đã xây dựng kho dữ liệu hoặc nền tảng dùng chung, dữ liệu vẫn có thể tiếp tục bị phân tán nếu doanh nghiệp không thay đổi quy trình làm việc. Nhân viên thường tạo file riêng vì hệ thống chính thức khó sử dụng, thiếu trường cần thiết, phản hồi chậm hoặc không hỗ trợ một bước nghiệp vụ thực tế.

Doanh nghiệp cần tìm nguyên nhân trước khi cấm hoàn toàn bảng tính hay công cụ cá nhân. Nếu hệ thống không đáp ứng nhu cầu vận hành, lệnh cấm chỉ khiến dữ liệu chuyển sang các kênh khó quan sát hơn.

Mỗi quy trình nên quy định rõ:

·         Thông tin nào bắt buộc nhập vào hệ thống chính thức

·         Tài liệu nào được phép lưu tạm thời bên ngoài

·         Thời hạn chuyển dữ liệu tạm vào hệ thống chung

·         Vị trí lưu trữ được doanh nghiệp phê duyệt

·         Cách xử lý file cũ, file trùng và dữ liệu không còn giá trị

Các file dùng để phân tích tạm thời không nhất thiết phải bị loại bỏ. Tuy nhiên, file đó không nên trở thành nguồn vận hành lâu dài hoặc nơi duy nhất lưu giữ một thông tin quan trọng. Kết quả có giá trị sử dụng chung cần được đưa trở lại hệ thống chính thức.

Cơ chế kiểm soát cũng nên bao gồm danh mục dữ liệu, quy tắc đặt tên, chính sách lưu giữ và quy trình ngừng sử dụng kho dữ liệu cũ. Nếu chỉ tạo thêm một nền tảng mới nhưng không đóng hoặc kiểm soát các kho cũ, doanh nghiệp sẽ làm tăng số nơi lưu trữ thay vì giảm sự phân tán.

Lộ trình triển khai quản lý dữ liệu tập trung

Doanh nghiệp không nên bắt đầu bằng việc di chuyển toàn bộ dữ liệu cùng lúc. Cách tiếp cận an toàn hơn là chọn một miền dữ liệu có ảnh hưởng rõ ràng, nhiều sai lệch và có chủ sở hữu nghiệp vụ cụ thể.

Một lộ trình thực tế có thể gồm sáu bước:

1.    Lập danh sách các hệ thống, thư mục và file đang chứa dữ liệu quan trọng

2.    Chọn một nhóm dữ liệu ưu tiên như khách hàng, sản phẩm hoặc nhân viên

3.    Xác định nguồn dữ liệu chuẩn và quyền cập nhật

4.    Chuẩn hóa cấu trúc, mã định danh và quy tắc chất lượng

5.    Thiết lập luồng tích hợp, đối soát và cảnh báo lỗi

6.    Đo kết quả trước khi mở rộng sang nhóm dữ liệu tiếp theo

Ở giai đoạn đầu, doanh nghiệp nên thiết lập đường cơ sở cho các chỉ số như số bản ghi trùng, số lần nhập lại dữ liệu, thời gian đối soát và số lỗi đồng bộ. Sau khi triển khai, các chỉ số được đo lại theo cùng phương pháp để xác định giải pháp có thực sự cải thiện hay không.

Có thể đặt mục tiêu nội bộ theo từng giai đoạn, chẳng hạn giảm một nửa số bản ghi trùng trong miền dữ liệu thử nghiệm hoặc yêu cầu tất cả lỗi đồng bộ quan trọng được phát hiện trong một khoảng thời gian xác định. Đây là mục tiêu quản trị của doanh nghiệp, không phải chuẩn chung áp dụng cho mọi tổ chức.

Không nên đánh giá thành công chỉ dựa trên việc đã hoàn tất di chuyển dữ liệu. Một mô hình quản lý tập trung chỉ thực sự hoạt động khi nhân viên sử dụng nguồn chính thức, các hệ thống nhận cùng một phiên bản dữ liệu và sai lệch được phát hiện trước khi ảnh hưởng đến báo cáo hoặc giao dịch.

Để tránh dữ liệu bị lưu rải rác, doanh nghiệp cần quản lý tập trung cả nguồn dữ liệu, luồng cập nhật và trách nhiệm sở hữu. Trọng tâm không phải là gom tất cả thông tin vào một chỗ bằng mọi giá, mà là xác định phiên bản chính thức, kết nối các hệ thống, chuẩn hóa dữ liệu, phân quyền rõ ràng và kiểm soát những kho dữ liệu phát sinh ngoài quy trình.

Cách triển khai hiệu quả nhất là bắt đầu với một miền dữ liệu quan trọng, đo hiện trạng, xây dựng quy tắc quản trị rồi mở rộng từng bước. Khi kiến trúc kỹ thuật và quy trình vận hành được thiết kế cùng nhau, doanh nghiệp có thể giảm dữ liệu trùng lặp mà không làm mất tính linh hoạt của các bộ phận.