Cách làm sạch dữ liệu doanh nghiệp

Về bản chất, dữ liệu trùng lặp liên quan đến tính duy nhất, còn dữ liệu thiếu liên quan đến tính đầy đủ. Đây là hai chiều chất lượng khác nhau nên cần quy tắc phát hiện, cách xử lý và chỉ số kiểm soát riêng. Các nền tảng quản trị dữ liệu hiện nay cũng tách riêng quy tắc kiểm tra hàng trùng với quy tắc nhận diện giá trị rỗng hoặc NULL.

Một quy trình làm sạch phù hợp với doanh nghiệp thường gồm sáu bước:

1.    Xác định mục đích sử dụng và trường dữ liệu quan trọng

2.    Lập hồ sơ chất lượng dữ liệu hiện tại

3.    Chuẩn hóa dữ liệu trước khi đối sánh

4.    Phát hiện, phân nhóm và hợp nhất bản ghi trùng

5.    Phân loại và xử lý dữ liệu thiếu theo nguyên nhân

6.    Đo lường kết quả và ngăn lỗi tái diễn

Vì sao dữ liệu trùng lặp và thiếu thông tin cần được xử lý cùng nhau?

Một hồ sơ khách hàng có thể vừa bị trùng vừa thiếu dữ liệu. Chẳng hạn, hệ thống CRM có hai bản ghi “Nguyễn Minh Anh”: bản ghi thứ nhất có số điện thoại nhưng thiếu email, bản ghi thứ hai có email nhưng viết tên không dấu. Nếu chỉ xóa bản ghi thứ hai vì cho rằng đó là dữ liệu trùng, doanh nghiệp có thể mất địa chỉ email hợp lệ. Ngược lại, nếu giữ cả hai, số lượng khách hàng sẽ bị ghi nhận cao hơn thực tế.

Dữ liệu trùng thường xuất hiện do:

·         Người dùng nhập lại thông tin đã tồn tại

·         Nhiều hệ thống cùng tạo hồ sơ cho một đối tượng

·         Quá trình đồng bộ hoặc nhập dữ liệu bị chạy lặp

·         Dữ liệu không có mã định danh thống nhất

·         Tên, địa chỉ, số điện thoại hoặc email được trình bày theo nhiều định dạng

·         Quy tắc kiểm tra trùng chỉ so sánh chính xác từng ký tự

Dữ liệu thiếu thường xuất hiện do:

·         Trường thông tin không bắt buộc tại nguồn

·         Biểu mẫu nhập liệu không có kiểm tra hợp lệ

·         Hệ thống cũ không lưu trường dữ liệu mới

·         Quá trình chuyển đổi làm mất hoặc ánh xạ sai cột

·         Người dùng không biết hoặc không muốn cung cấp thông tin

·         Dữ liệu có tồn tại nhưng nằm trong hệ thống khác

Bản ghi trùng có thể làm một nhóm khách hàng, giao dịch hoặc sự kiện bị đại diện nhiều lần, từ đó làm sai kết quả tổng hợp. Dữ liệu thiếu lại khiến doanh nghiệp không đủ căn cứ để phân tích, liên hệ, phân loại hoặc thực hiện quy trình nghiệp vụ. IBM cũng lưu ý rằng các bản ghi trùng có thể làm phình dữ liệu và bóp méo phân tích, trong khi việc xóa toàn bộ bản ghi thiếu có thể loại bỏ cả những thông tin còn giá trị.

Vì vậy, mục tiêu của làm sạch dữ liệu doanh nghiệp không phải là tạo một tập dữ liệu “không còn ô trống”, mà là tạo dữ liệu đủ tin cậy cho mục đích sử dụng đã xác định.

Bước 1: Xác định dữ liệu quan trọng và tiêu chuẩn chất lượng

Doanh nghiệp cần xác định dữ liệu sẽ được dùng cho hoạt động nào trước khi làm sạch. Một trường bị thiếu có thể nghiêm trọng trong quy trình này nhưng không quan trọng trong quy trình khác.

Ví dụ:

·         Số điện thoại là trường bắt buộc đối với chiến dịch telesales

·         Địa chỉ giao hàng là trường bắt buộc khi thực hiện đơn hàng vật lý

·         Mã số thuế có thể là trường bắt buộc đối với hồ sơ khách hàng doanh nghiệp

·         Ngày sinh có thể không cần thiết trong quy trình hỗ trợ kỹ thuật

·         Email không nhất thiết phải có nếu khách hàng chỉ đồng ý nhận thông tin qua điện thoại

Nên phân loại các trường thành ba nhóm:

Trường định danh

Đây là các trường dùng để nhận biết một thực thể, chẳng hạn mã khách hàng, mã nhân viên, mã sản phẩm, mã số thuế, số hợp đồng hoặc mã giao dịch.

Trường định danh tốt cần đáp ứng hai điều kiện:

·         Không để trống đối với bản ghi thuộc phạm vi quản lý

·         Không lặp lại khi nghiệp vụ yêu cầu mỗi thực thể chỉ có một mã

Trường bắt buộc theo nghiệp vụ

Đây là thông tin cần có để hoàn thành một quy trình. Danh sách trường bắt buộc phải được xác định theo từng loại dữ liệu và từng trạng thái nghiệp vụ, thay vì áp dụng một quy tắc chung cho toàn bộ cơ sở dữ liệu.

Ví dụ, địa chỉ giao hàng có thể chưa bắt buộc khi khách hàng mới tạo tài khoản nhưng phải đầy đủ trước khi đơn hàng được xác nhận.

Trường bổ sung

Trường bổ sung có thể nâng cao khả năng phân tích hoặc cá nhân hóa nhưng việc thiếu trường này chưa chắc khiến bản ghi không sử dụng được. Doanh nghiệp không nên loại bỏ hồ sơ chỉ vì thiếu một thuộc tính không thiết yếu.

Sau khi phân loại, cần thiết lập các quy tắc có thể đo lường, chẳng hạn:

·         Mã khách hàng phải có giá trị và không trùng

·         Email phải đúng định dạng khi được cung cấp

·         Số điện thoại phải được chuẩn hóa về cùng cấu trúc

·         Ngày kết thúc không được sớm hơn ngày bắt đầu

·         Mỗi đơn hàng phải liên kết với một khách hàng hợp lệ

·         Các trường bắt buộc phải đạt tỷ lệ đầy đủ theo ngưỡng doanh nghiệp quy định

Các tiêu chuẩn này phải phản ánh mục đích kinh doanh. ISO 8000 coi chất lượng dữ liệu là một lĩnh vực cần có nguyên tắc, lộ trình quản lý và trách nhiệm tổ chức rõ ràng, thay vì chỉ là một đợt sửa lỗi kỹ thuật.

Bước 2: Lập hồ sơ dữ liệu trước khi chỉnh sửa

Lập hồ sơ dữ liệu, hay data profiling, là quá trình đo lường hiện trạng trước khi thay đổi dữ liệu. Nếu bỏ qua bước này, doanh nghiệp khó biết lỗi nằm ở đâu, mức độ nghiêm trọng thế nào và việc làm sạch có thực sự tạo ra cải thiện hay không.

Tối thiểu cần đo các chỉ số sau:

·         Tổng số bản ghi

·         Số và tỷ lệ bản ghi trùng hoàn toàn

·         Số nhóm nghi ngờ trùng

·         Tỷ lệ NULL, rỗng hoặc không xác định của từng trường

·         Số giá trị không đúng định dạng

·         Số giá trị nằm ngoài miền cho phép

·         Số bản ghi không liên kết được với bảng tham chiếu

·         Số mã định danh bị thiếu hoặc không duy nhất

·         Thời điểm cập nhật gần nhất của dữ liệu

Công thức cơ bản có thể sử dụng:

Tỷ lệ đầy đủ của một trường = Số bản ghi có giá trị hợp lệ / Tổng số bản ghi thuộc phạm vi

Tỷ lệ bản ghi trùng = Số bản ghi dư thừa được xác nhận / Tổng số bản ghi

Tỷ lệ hợp lệ = Số giá trị tuân thủ quy tắc / Tổng số giá trị được kiểm tra

Cần phân biệt ô NULL, chuỗi rỗng, khoảng trắng và các giá trị giả như “N/A”, “không rõ”, “0” hoặc “1900-01-01”. Các giá trị này có thể cùng biểu thị thông tin thiếu nhưng hệ thống lại ghi nhận chúng theo cách khác nhau.

Việc lập hồ sơ cũng nên được thực hiện theo từng nguồn dữ liệu. Nếu tỷ lệ thiếu số điện thoại tập trung ở một biểu mẫu hoặc tỷ lệ trùng tăng mạnh sau một luồng tích hợp, nguyên nhân cần được sửa tại nguồn thay vì chỉ xử lý ở kho dữ liệu cuối.

Bước 3: Chuẩn hóa dữ liệu trước khi tìm bản ghi trùng

Hai bản ghi chỉ khác cách trình bày không nên được coi là hai đối tượng khác nhau. Vì vậy, dữ liệu cần được chuẩn hóa trước khi đối sánh.

Các thao tác thường gồm:

·         Loại bỏ khoảng trắng thừa

·         Thống nhất chữ hoa và chữ thường

·         Chuẩn hóa Unicode và dấu tiếng Việt

·         Chuẩn hóa cách viết tên riêng

·         Loại bỏ ký tự không cần thiết trong số điện thoại

·         Thống nhất mã quốc gia

·         Chuyển ngày tháng về cùng định dạng

·         Chuẩn hóa tên tỉnh, thành phố, quận, huyện

·         Chuẩn hóa tên pháp nhân và loại hình doanh nghiệp

·         Xử lý các từ viết tắt theo bảng quy đổi được kiểm soát

Ví dụ, các giá trị “090 123 4567”, “090-123-4567” và “ 84 90 123 4567” có thể đại diện cho cùng một số điện thoại sau khi chuẩn hóa. Tương tự, “Công ty TNHH ABC”, “CTY TNHH ABC” và “ABC Co., Ltd.” có thể cần được đưa về một dạng so sánh thống nhất.

Tuy nhiên, chuẩn hóa không đồng nghĩa với sửa dữ liệu nguồn một cách không thể đảo ngược. Nên lưu đồng thời:

·         Giá trị gốc

·         Giá trị đã chuẩn hóa

·         Quy tắc đã áp dụng

·         Thời điểm xử lý

·         Phiên bản quy tắc

Cách này giúp kiểm toán, hoàn nguyên và điều chỉnh quy tắc khi phát hiện chuẩn hóa sai.

Bước 4: Phát hiện và xử lý dữ liệu trùng lặp

Không phải mọi trường hợp giống nhau đều là dữ liệu trùng. Hai người có thể cùng họ tên, hai doanh nghiệp có thể cùng địa chỉ và một khách hàng có thể sử dụng chung số điện thoại với người thân. Vì vậy, doanh nghiệp cần kết hợp nhiều phương pháp.

Đối sánh chính xác

Đối sánh chính xác phù hợp khi có trường định danh đáng tin cậy, chẳng hạn:

·         Mã khách hàng

·         Mã số thuế

·         Số hợp đồng

·         Mã giao dịch

·         Email đã xác minh

·         Số điện thoại đã chuẩn hóa và xác minh

Nếu hai bản ghi có cùng mã định danh duy nhất, khả năng trùng thường cao. Tuy nhiên, vẫn cần kiểm tra trường hợp mã bị nhập sai hoặc tái sử dụng trái quy tắc.

Đối sánh gần đúng

Đối sánh gần đúng được dùng khi dữ liệu có lỗi chính tả, thiếu dấu, đảo thứ tự hoặc khác cách viết. Hệ thống có thể so sánh nhiều thuộc tính như:

·         Họ tên

·         Ngày sinh

·         Số điện thoại

·         Email

·         Địa chỉ

·         Mã bưu chính

·         Tên doanh nghiệp

·         Mã số thuế

Mỗi thuộc tính nên có trọng số khác nhau. Mã số thuế hoặc email đã xác minh thường có giá trị nhận diện cao hơn tên gọi. Không nên kết luận hai bản ghi trùng chỉ dựa trên một trường phổ biến.

Có thể chia kết quả đối sánh thành ba vùng:

·         Khớp chắc chắn: Tự động hợp nhất theo quy tắc đã phê duyệt

·         Không khớp: Giữ nguyên thành các bản ghi riêng biệt

·         Nghi ngờ: Chuyển sang kiểm tra thủ công

Ngưỡng điểm không nên được sao chép từ một doanh nghiệp khác. Nó phải được hiệu chỉnh bằng tập dữ liệu đã được con người xác nhận, sau đó đo tỷ lệ ghép nhầm và tỷ lệ bỏ sót.

Chọn bản ghi chủ

Sau khi xác định một nhóm bản ghi trùng, doanh nghiệp cần tạo bản ghi chủ thay vì tùy tiện giữ hàng đầu tiên hoặc bản ghi mới nhất.

Quy tắc lựa chọn có thể ưu tiên:

1.    Nguồn dữ liệu có độ tin cậy cao hơn

2.    Giá trị đã được người dùng hoặc nhân viên xác minh

3.    Giá trị cập nhật gần nhất

4.    Giá trị đầy đủ hơn

5.    Giá trị phù hợp với quy tắc nghiệp vụ

6.    Giá trị xuất hiện nhất quán ở nhiều nguồn độc lập

Không nên áp dụng duy nhất quy tắc “mới nhất thắng”. Một giá trị mới hơn vẫn có thể được nhập sai. Tương tự, “đầy đủ nhất thắng” có thể giữ lại bản ghi chứa nhiều thông tin nhưng chất lượng thấp.

Hợp nhất thay vì xóa ngay

Khi hợp nhất, cần bảo toàn:

·         Mã của bản ghi chủ

·         Quan hệ với đơn hàng, giao dịch hoặc hợp đồng

·         Các thuộc tính tốt nhất từ từng bản ghi

·         Lịch sử thay đổi

·         Danh sách mã bản ghi đã hợp nhất

·         Nguồn gốc của từng giá trị

·         Cơ chế hoàn nguyên

Xóa vật lý ngay có thể làm mất quan hệ tham chiếu hoặc lịch sử nghiệp vụ. Phương án an toàn hơn là đánh dấu bản ghi phụ đã được hợp nhất, chuyển các liên kết sang bản ghi chủ và chỉ xóa sau thời gian kiểm tra phù hợp.

Bước 5: Phân loại và xử lý dữ liệu thiếu thông tin

Không có một cách điền dữ liệu thiếu phù hợp cho mọi trường hợp. Trước tiên phải xác định dữ liệu thiếu có ý nghĩa gì.

Thiếu vì chưa được thu thập

Ví dụ, biểu mẫu đăng ký không yêu cầu số điện thoại. Cách xử lý phù hợp là bổ sung bước thu thập trong lần tương tác tiếp theo, không phải tự tạo một số giả.

Thiếu vì không áp dụng

Một doanh nghiệp không có trường “ngày sinh”, hoặc khách hàng cá nhân không có “tên pháp nhân”. Trường hợp này nên dùng trạng thái “không áp dụng” nếu hệ thống cần phân biệt với “chưa biết”.

Thiếu do lỗi kỹ thuật

Giá trị có thể bị mất trong quá trình nhập, đồng bộ, ánh xạ hoặc chuyển đổi. Cần khôi phục từ nguồn đáng tin cậy, nhật ký giao dịch hoặc bản sao trước đó.

Thiếu có chủ đích

Khách hàng có thể từ chối cung cấp thông tin. Doanh nghiệp nên ghi nhận trạng thái “không đồng ý cung cấp” thay vì liên tục yêu cầu lại hoặc suy đoán giá trị.

Thiếu do chưa phát sinh

Một số trường chỉ có giá trị sau khi sự kiện xảy ra, như ngày thanh toán hoặc ngày đóng yêu cầu hỗ trợ. Giá trị NULL trong trường hợp này có thể hoàn toàn hợp lệ.

Sau khi xác định nguyên nhân, có thể chọn một trong các cách xử lý sau.

Bổ sung từ nguồn có thẩm quyền

Đây là phương án ưu tiên khi có nguồn đáng tin cậy và doanh nghiệp có quyền sử dụng dữ liệu đó. Cần lưu nguồn, thời điểm và mức độ xác minh.

Yêu cầu người dùng hoặc bộ phận phụ trách xác nhận

Phương án này phù hợp với dữ liệu định danh, thông tin liên hệ hoặc thuộc tính có ảnh hưởng trực tiếp đến giao dịch.

Suy diễn theo quy tắc nghiệp vụ

Chỉ nên thực hiện khi mối quan hệ suy diễn rõ ràng. Ví dụ, mã vùng có thể được xác định từ một địa chỉ đã chuẩn hóa, nhưng không nên suy đoán thu nhập hoặc giới tính từ tên.

Giá trị suy diễn phải được đánh dấu khác với giá trị được cung cấp trực tiếp.

Điền giá trị thống kê

Giá trị số có thể được điền bằng trung bình, trung vị hoặc một mô hình ước lượng trong một số bài toán phân tích. Tuy nhiên, phương pháp này có thể làm thay đổi phân phối dữ liệu, giảm phương sai và che giấu sự khác biệt giữa các nhóm.

Trung vị thường ít nhạy với giá trị ngoại lệ hơn trung bình, nhưng không có nghĩa trung vị luôn đúng. Việc lựa chọn phải dựa trên phân phối dữ liệu và mục đích phân tích. Các công cụ xử lý dữ liệu phổ biến cũng cung cấp nhiều lựa chọn như thay thế bằng trung bình, trung vị hoặc giá trị tùy chỉnh, cho thấy đây là quyết định theo ngữ cảnh chứ không phải thao tác mặc định.

Giữ nguyên giá trị thiếu

Giữ NULL có thể là lựa chọn đúng khi dữ liệu thực sự chưa biết, không áp dụng hoặc không thể khôi phục đáng tin cậy. Việc thay mọi ô trống bằng “0” có thể tạo ra thông tin sai, bởi 0 là một giá trị xác định chứ không phải trạng thái thiếu.

Loại bỏ bản ghi

Chỉ nên xóa khi:

·         Trường bị thiếu là thiết yếu đối với mục đích sử dụng

·         Không thể khôi phục hoặc xác minh

·         Phần dữ liệu còn lại không tạo đủ giá trị

·         Việc loại bỏ không gây sai lệch đáng kể

·         Quy định lưu trữ cho phép xóa

Trước khi xóa, cần đánh giá dữ liệu thiếu có tập trung ở một nhóm khách hàng, khu vực hoặc thời kỳ nhất định hay không. Nếu có, việc loại bỏ có thể làm mẫu dữ liệu mất tính đại diện.

Bước 6: Kiểm tra chất lượng sau khi làm sạch

Một tập dữ liệu ít hàng hơn chưa chắc có chất lượng tốt hơn. Sau khi xử lý, doanh nghiệp cần chạy lại toàn bộ phép đo ban đầu và so sánh trước–sau.

Các chỉ số nên theo dõi gồm:

·         Tỷ lệ đầy đủ của từng trường quan trọng

·         Tỷ lệ duy nhất của mã định danh

·         Số nhóm trùng chưa được xử lý

·         Số trường hợp hợp nhất tự động

·         Số trường hợp phải kiểm tra thủ công

·         Tỷ lệ ghép nhầm được phát hiện qua kiểm tra mẫu

·         Tỷ lệ bản ghi bị loại bỏ

·         Số quan hệ tham chiếu bị lỗi

·         Số quy tắc chất lượng không đạt

·         Thời gian từ khi lỗi phát sinh đến khi được xử lý

Cần kiểm tra thêm tính toàn vẹn nghiệp vụ:

·         Đơn hàng vẫn liên kết đúng khách hàng

·         Giao dịch không bị mất sau khi hợp nhất hồ sơ

·         Báo cáo tổng hợp không thay đổi bất thường

·         Quyền đồng ý nhận thông tin được bảo toàn

·         Lịch sử chăm sóc không bị tách khỏi bản ghi chủ

·         Mã định danh cũ vẫn có thể được truy vết

Doanh nghiệp nên kiểm tra mẫu ngẫu nhiên các nhóm đã hợp nhất và các giá trị đã được điền. Nếu chỉ đo số bản ghi được sửa mà không đo số trường hợp sửa sai, quy trình có thể tạo cảm giác hiệu quả trong khi làm giảm độ chính xác.

Cách ngăn dữ liệu lỗi tái diễn

Làm sạch một lần chỉ xử lý phần tồn đọng. Chất lượng dữ liệu bền vững đòi hỏi kiểm soát ngay tại thời điểm tạo và tích hợp dữ liệu.

Kiểm tra tại điểm nhập

Biểu mẫu nên có:

·         Trường bắt buộc theo đúng trạng thái nghiệp vụ

·         Kiểm tra định dạng email và số điện thoại

·         Danh mục lựa chọn thay cho văn bản tự do khi phù hợp

·         Cảnh báo hồ sơ có khả năng đã tồn tại

·         Kiểm tra miền giá trị

·         Kiểm tra quan hệ giữa các trường

·         Thông báo lỗi rõ ràng cho người nhập

Không nên biến tất cả trường thành bắt buộc. Điều đó có thể khiến người dùng điền dữ liệu giả chỉ để hoàn tất biểu mẫu.

Thiết lập mã định danh thống nhất

Mỗi thực thể quan trọng cần có mã định danh ổn định. Khi tích hợp nhiều hệ thống, doanh nghiệp nên duy trì bảng ánh xạ giữa mã nguồn và mã chủ thay vì yêu cầu mọi hệ thống dùng cùng một mã ngay lập tức.

Quản lý quy tắc chất lượng như tài sản

Mỗi quy tắc nên có:

·         Tên và mục đích

·         Phạm vi áp dụng

·         Chủ sở hữu

·         Ngưỡng cảnh báo

·         Cách xử lý khi vi phạm

·         Ngày hiệu lực

·         Phiên bản

·         Lịch sử thay đổi

Phân công trách nhiệm

Bộ phận công nghệ có thể xây dựng kiểm tra, nhưng không nên tự quyết định mọi quy tắc nghiệp vụ. Doanh nghiệp cần xác định rõ:

·         Data owner chịu trách nhiệm về mục đích và chính sách

·         Data steward quản lý định nghĩa và chất lượng hằng ngày

·         Đội kỹ thuật triển khai kiểm tra và luồng xử lý

·         Bộ phận nghiệp vụ xác nhận trường hợp ngoại lệ

·         Người dùng nguồn chịu trách nhiệm sửa lỗi tại điểm phát sinh

ISO 8000-150 nhấn mạnh việc thiết lập vai trò, trách nhiệm và bằng chứng thực hiện trong quản lý chất lượng dữ liệu.

Giám sát liên tục

Các kiểm tra chất lượng nên được chạy theo lịch hoặc ngay trong luồng dữ liệu. Khi một chỉ số vượt ngưỡng, hệ thống cần cảnh báo và xác định nguồn phát sinh. Các nền tảng chất lượng dữ liệu hiện đại hỗ trợ định nghĩa quy tắc, đo lường và nhận diện chính xác những bản ghi không đạt kiểm tra.

Những sai lầm thường gặp khi làm sạch dữ liệu doanh nghiệp

Xóa tất cả bản ghi giống nhau

Hai giao dịch có cùng khách hàng, thời gian và số tiền vẫn có thể là hai giao dịch hợp lệ. Cần xác định khóa nghiệp vụ trước khi kết luận trùng.

Chỉ so sánh tên

Tên không phải mã định danh duy nhất. Đối sánh nên kết hợp nhiều thuộc tính và mức độ tin cậy của từng nguồn.

Giữ bản ghi mới nhất trong mọi trường hợp

Bản ghi mới hơn có thể chứa giá trị sai hoặc chưa được xác minh. Quy tắc giữ dữ liệu cần xét cả nguồn, độ tin cậy, thời gian và tính đầy đủ.

Điền mọi ô trống bằng một giá trị mặc định

“Không biết”, “không áp dụng”, “chưa phát sinh” và giá trị 0 có ý nghĩa khác nhau. Gộp chúng có thể làm sai phân tích.

Xóa hàng có dữ liệu thiếu mà không đánh giá sai lệch

Nếu dữ liệu thiếu tập trung ở một nhóm cụ thể, việc xóa có thể làm kết quả phân tích không còn đại diện.

Làm sạch trực tiếp trên dữ liệu gốc

Quy trình an toàn cần có bản sao, nhật ký, phiên bản quy tắc và khả năng hoàn nguyên.

Chỉ sửa dữ liệu mà không sửa nguồn phát sinh

Nếu không cải thiện biểu mẫu, tích hợp hoặc trách nhiệm vận hành, lỗi sẽ quay lại ngay sau đợt làm sạch.

Quy trình thực hành đề xuất

Doanh nghiệp có thể áp dụng trình tự sau cho từng tập dữ liệu:

1.    Sao lưu và khóa phiên bản dữ liệu đầu vào

2.    Xác định mục đích sử dụng

3.    Chọn trường định danh và trường bắt buộc

4.    Đo tỷ lệ trùng, thiếu, không hợp lệ và không nhất quán

5.    Phân tích lỗi theo nguồn và thời gian

6.    Chuẩn hóa dữ liệu phục vụ đối sánh

7.    Chạy quy tắc trùng chính xác

8.    Chạy đối sánh gần đúng cho các trường hợp còn lại

9.    Chia kết quả thành tự động hợp nhất, giữ riêng và kiểm tra thủ công

10.  Xây dựng bản ghi chủ theo quy tắc ưu tiên

11.  Phân loại nguyên nhân của từng nhóm dữ liệu thiếu

12.  Bổ sung, suy diễn, giữ NULL hoặc loại bỏ theo mục đích sử dụng

13.  Kiểm tra quan hệ và kết quả nghiệp vụ sau xử lý

14.  So sánh các chỉ số trước và sau làm sạch

15.  Ghi nhật ký toàn bộ thay đổi

16.  Triển khai kiểm soát tại nguồn và giám sát định kỳ

Cách tiếp cận này tách rõ phát hiện, quyết định và thực thi. Nhờ đó, doanh nghiệp có thể điều chỉnh tiêu chí mà không phải làm lại toàn bộ quy trình và giảm nguy cơ biến một thao tác làm sạch thành nguồn gây mất dữ liệu.

Làm sạch dữ liệu doanh nghiệp hiệu quả không phải là xóa càng nhiều bản ghi trùng hoặc điền càng nhiều ô trống càng tốt. Kết quả đúng là một tập dữ liệu có tính duy nhất, đầy đủ và phù hợp hơn với mục đích sử dụng, đồng thời vẫn bảo toàn nguồn gốc và lịch sử nghiệp vụ.

Đối với dữ liệu trùng, doanh nghiệp cần chuẩn hóa, đối sánh nhiều thuộc tính, phân vùng mức độ tin cậy và hợp nhất vào bản ghi chủ có thể truy vết. Đối với dữ liệu thiếu, cần xác định nguyên nhân trước khi bổ sung, suy diễn, giữ nguyên hoặc loại bỏ. Sau cùng, mọi thay đổi phải được đo lường, kiểm tra và chuyển thành quy tắc kiểm soát tại nguồn.