Tránh các sai lầm làm sai lệch kết quả nghiên cứu thị trường

Một nghiên cứu có thể sử dụng hàng nghìn phản hồi nhưng vẫn sai lệch nếu mẫu không đại diện. Ngược lại, một nghiên cứu quy mô nhỏ vẫn có thể hữu ích nếu phạm vi kết luận được giới hạn đúng. Vì vậy, chất lượng nghiên cứu không nên được đánh giá chỉ bằng số lượng người tham gia, độ dài báo cáo hoặc số biểu đồ được trình bày.

Sai lệch thường hình thành theo chuỗi. Một mục tiêu nghiên cứu mơ hồ dẫn đến câu hỏi không đúng, câu hỏi không đúng tạo ra dữ liệu không phù hợp, còn dữ liệu không phù hợp tiếp tục bị diễn giải thành một kết luận thiếu căn cứ. Doanh nghiệp chỉ nhìn thấy sai lầm ở quyết định cuối cùng, trong khi nguyên nhân thực tế đã xuất hiện từ những bước đầu tiên.

Không xác định rõ quyết định cần hỗ trợ

Sai lầm nền tảng của nghiên cứu thị trường là bắt đầu bằng một chủ đề rộng thay vì một quyết định cụ thể. Những yêu cầu như “tìm hiểu khách hàng”, “đánh giá thị trường” hoặc “xem người tiêu dùng nghĩ gì” chưa đủ để thiết kế một nghiên cứu có giá trị.

Mỗi nghiên cứu cần làm rõ ba yếu tố:

·         Quyết định nào sẽ được đưa ra sau khi có kết quả

·         Thông tin nào thực sự cần thiết cho quyết định đó

·         Tiêu chí nào được dùng để phân biệt các phương án

Ví dụ, doanh nghiệp muốn biết khách hàng có “thích” một sản phẩm mới hay không. Tuy nhiên, mức độ yêu thích chưa chắc dự báo được khả năng mua. Để quyết định có nên tung sản phẩm, doanh nghiệp còn phải xem xét nhu cầu thực tế, mức giá chấp nhận, lựa chọn thay thế, tần suất sử dụng và rào cản mua hàng.

Khi câu hỏi nghiên cứu không gắn với quyết định, nhóm thực hiện dễ thu thập nhiều thông tin nhưng thiếu dữ liệu có khả năng thay đổi hành động. Báo cáo có thể chi tiết nhưng không giúp doanh nghiệp biết nên tiếp tục, điều chỉnh hay dừng kế hoạch.

Chọn mẫu không đại diện cho thị trường mục tiêu

Mẫu nghiên cứu là nhóm người được quan sát hoặc khảo sát, còn thị trường mục tiêu là toàn bộ nhóm mà doanh nghiệp muốn đưa ra kết luận. Kết quả sẽ sai lệch khi hai nhóm này khác nhau về những đặc điểm có liên quan đến hành vi cần nghiên cứu.

Sai lệch chọn mẫu thường xuất hiện khi doanh nghiệp:

·         Chỉ khảo sát khách hàng hiện tại

·         Chỉ thu thập phản hồi từ người theo dõi trên mạng xã hội

·         Chọn người tham gia vì dễ tiếp cận

·         Loại bỏ những nhóm khó liên hệ

·         Gộp nhiều phân khúc có hành vi khác nhau

·         Sử dụng một kênh khảo sát duy nhất

Ví dụ, khảo sát người theo dõi fanpage có thể phản ánh quan điểm của nhóm đã biết hoặc có thiện cảm với thương hiệu. Kết quả này không nhất thiết đại diện cho người chưa từng mua, khách hàng của đối thủ hoặc những người đã ngừng sử dụng sản phẩm.

Cỡ mẫu lớn không khắc phục được sai lệch đại diện. Nếu quy trình tuyển chọn liên tục thu hút sai nhóm đối tượng, việc tăng số phản hồi chỉ khiến kết quả sai trở nên ổn định hơn.

Với một tỷ lệ được ước lượng từ mẫu ngẫu nhiên đơn giản, biên sai số tham khảo có thể biểu diễn bằng công thức:

Biên sai số ≈ z × √[p(1 − p)/n]

Trong trường hợp thận trọng nhất, khi tỷ lệ ước lượng gần 50% và mức tin cậy khoảng 95%, công thức thường được rút gọn thành:

Biên sai số ≈ 0,98/√n

Theo cách tính này, 100 phản hồi có biên sai số xấp xỉ ±9,8 điểm phần trăm, 400 phản hồi khoảng ±4,9 điểm và 1.000 phản hồi khoảng ±3,1 điểm. Tuy nhiên, các mức này chỉ có ý nghĩa khi mẫu được lựa chọn phù hợp. Chúng không bao gồm sai lệch do tuyển sai đối tượng, không phản hồi hoặc trả lời thiếu trung thực.

Bỏ qua sai lệch do không phản hồi

Không phản hồi không chỉ làm giảm số lượng dữ liệu. Vấn đề nghiêm trọng hơn xuất hiện khi những người không tham gia có đặc điểm khác với những người đã trả lời.

Khách hàng rất hài lòng hoặc rất không hài lòng thường có động lực phản hồi mạnh hơn nhóm có trải nghiệm trung tính. Người bận rộn, người ít sử dụng công nghệ hoặc người đã rời bỏ thương hiệu có thể ít xuất hiện trong dữ liệu. Kết quả vì vậy nghiêng về nhóm dễ tiếp cận thay vì phản ánh toàn bộ thị trường.

Tỷ lệ phản hồi thấp không luôn đồng nghĩa với nghiên cứu kém, còn tỷ lệ phản hồi cao cũng không bảo đảm không có sai lệch. Điều cần kiểm tra là sự khác biệt giữa người phản hồi và người không phản hồi.

Nhóm nghiên cứu có thể đánh giá rủi ro này bằng cách:

·         So sánh cơ cấu mẫu với cơ cấu thị trường mục tiêu

·         Theo dõi tỷ lệ phản hồi theo từng phân khúc

·         So sánh người trả lời sớm và người trả lời muộn

·         Dùng nhiều kênh liên hệ thay vì phụ thuộc vào một kênh

·         Áp dụng trọng số khi có cơ sở dữ liệu đáng tin cậy

·         Ghi rõ những nhóm bị thiếu trong báo cáo

Trọng số có thể điều chỉnh sự mất cân bằng đã biết, nhưng không thể phục hồi những đặc điểm chưa được đo lường. Việc điều chỉnh dữ liệu cũng thường làm tăng độ biến động của ước lượng, vì một số phản hồi được trao ảnh hưởng lớn hơn những phản hồi khác.

Đặt câu hỏi dẫn dắt hoặc chứa giả định

Ngôn ngữ của câu hỏi có thể làm thay đổi câu trả lời. Người tham gia không chỉ phản hồi về sản phẩm hoặc hành vi; họ còn phản ứng với cách vấn đề được mô tả.

Một câu hỏi như “Bạn hài lòng thế nào với dịch vụ giao hàng nhanh và tiện lợi của chúng tôi?” đã ngầm khẳng định dịch vụ nhanh và tiện lợi. Người trả lời có thể bị hướng về đánh giá tích cực ngay cả khi trải nghiệm thực tế không như vậy.

Các dạng câu hỏi dễ gây sai lệch gồm:

·         Câu hỏi chứa từ ngữ khen hoặc chê

·         Câu hỏi giả định người trả lời đã có một hành vi

·         Câu hỏi kép nhưng chỉ cho phép một đáp án

·         Câu hỏi dùng thuật ngữ khó hiểu

·         Câu hỏi quá dài hoặc yêu cầu nhớ lại quá nhiều

·         Câu hỏi không có lựa chọn phù hợp

·         Câu hỏi đặt một kết luận trước khi yêu cầu đánh giá

Câu “Bạn đánh giá thế nào về giá cả và chất lượng sản phẩm?” là câu hỏi kép. Một người có thể hài lòng với chất lượng nhưng không hài lòng với giá. Khi hai khía cạnh được gộp lại, dữ liệu không cho biết người trả lời đang đánh giá yếu tố nào.

Cách an toàn hơn là tách từng khái niệm thành câu hỏi riêng, sử dụng từ ngữ trung tính và thử nghiệm bảng hỏi với một nhóm nhỏ trước khi triển khai chính thức.

Sử dụng thang đo không nhất quán

Thang đo không chỉ là hình thức trình bày. Nó quyết định cách trải nghiệm của người tham gia được chuyển thành dữ liệu.

Kết quả có thể bị méo khi:

·         Số mức lựa chọn thay đổi giữa các câu tương tự

·         Ý nghĩa đầu và cuối thang đo bị đảo

·         Khoảng cách giữa các lựa chọn không rõ ràng

·         Nhãn mô tả chỉ xuất hiện ở hai đầu thang

·         Có quá nhiều câu được diễn đạt theo cùng một chiều

·         Không có lựa chọn “không biết” khi người trả lời có thể thiếu thông tin

Ví dụ, thang điểm 1–5 và 1–10 không thể được xem là tương đương chỉ bằng cách nhân hoặc chia điểm. Cách người tham gia sử dụng từng thang có thể khác nhau. Một thay đổi nhỏ trong cách đặt nhãn cũng có thể làm thay đổi phân bố câu trả lời.

Doanh nghiệp cần thống nhất cấu trúc thang đo, giải thích rõ ý nghĩa từng mức và giữ nguyên cách trình bày khi so sánh giữa các nhóm hoặc các thời điểm.

Đối với một khái niệm phức tạp như lòng trung thành, chỉ một câu hỏi thường không đủ. Nên sử dụng nhiều chỉ báo liên quan, chẳng hạn ý định mua lại, khả năng giới thiệu, mức độ ưu tiên thương hiệu và phản ứng trước thay đổi giá. Các chỉ báo này cần được phân tích riêng trước khi tổng hợp thành một điểm chung.

Đo thái độ nhưng kết luận về hành vi

Người tiêu dùng có thể nói rằng họ quan tâm đến một sản phẩm nhưng không mua. Họ cũng có thể tuyên bố sẵn sàng trả một mức giá cao hơn nhưng lựa chọn khác khi phải chi tiền thật.

Khoảng cách giữa thái độ và hành vi xuất hiện vì quyết định mua còn chịu tác động của:

·         Ngân sách

·         Thói quen

·         Mức độ sẵn có

·         Khuyến mãi

·         Áp lực thời gian

·         Rủi ro cảm nhận

·         Lựa chọn thay thế

·         Ảnh hưởng của người khác

Vì vậy, câu trả lời “có quan tâm” không đồng nghĩa với “sẽ mua”, còn “có ý định mua” không phải dự báo chắc chắn về doanh số.

Khi mục tiêu là ước lượng hành vi, nghiên cứu nên kết hợp dữ liệu khai báo với những tín hiệu gần hành vi thực tế hơn, như lịch sử mua hàng, lượt dùng thử, tỷ lệ hoàn thành đăng ký, phản ứng với mức giá cụ thể hoặc lựa chọn trong một tình huống mô phỏng.

Kết luận cũng phải được diễn đạt đúng mức. Nếu dữ liệu chỉ đo ý định, báo cáo nên nói về ý định, không chuyển nó thành dự báo doanh thu mà thiếu mô hình và dữ liệu kiểm chứng.

Khảo sát sai người trong quá trình mua

Một sản phẩm có thể liên quan đến nhiều vai trò: người sử dụng, người chi trả, người ảnh hưởng và người ra quyết định. Chỉ khảo sát một vai trò có thể tạo ra cái nhìn không đầy đủ.

Trong thị trường doanh nghiệp, nhân viên sử dụng phần mềm có thể ưu tiên tính tiện dụng, bộ phận công nghệ quan tâm đến bảo mật, phòng tài chính quan tâm đến chi phí, còn lãnh đạo đánh giá khả năng tạo giá trị. Không nhóm nào đơn lẻ đại diện cho toàn bộ quyết định mua.

Trong thị trường tiêu dùng, người sử dụng sản phẩm cũng không nhất thiết là người mua. Trẻ em có thể ảnh hưởng đến lựa chọn, cha mẹ là người trả tiền, còn nhà bán lẻ quyết định mức độ hiện diện của sản phẩm.

Trước khi tuyển mẫu, nhóm nghiên cứu cần lập bản đồ vai trò trong quyết định:

·         Ai nhận biết nhu cầu

·         Ai tìm kiếm thông tin

·         Ai đề xuất phương án

·         Ai phê duyệt

·         Ai thanh toán

·         Ai sử dụng

·         Ai có quyền từ chối

Kết quả chỉ nên được khái quát cho vai trò đã thực sự được khảo sát.

Thu thập dữ liệu trong bối cảnh không phù hợp

Câu trả lời có thể thay đổi theo thời điểm, địa điểm và kênh thu thập. Một cuộc khảo sát được gửi ngay sau khi khách hàng khiếu nại có thể ghi nhận cảm xúc khác với khảo sát được thực hiện vài tuần sau.

Tính thời điểm đặc biệt quan trọng với những thị trường chịu ảnh hưởng của:

·         Mùa vụ

·         Chương trình khuyến mãi

·         Biến động giá

·         Sự cố dịch vụ

·         Thay đổi chính sách

·         Tin tức xã hội

·         Hoạt động của đối thủ

Kênh thu thập cũng tạo ra hiệu ứng riêng. Phỏng vấn trực tiếp hoặc qua điện thoại có thể làm tăng xu hướng trả lời theo kỳ vọng xã hội. Khảo sát trực tuyến tạo cảm giác riêng tư hơn nhưng có thể loại bỏ những người ít sử dụng internet.

Không có kênh nào luôn tốt nhất. Kênh phù hợp phải dựa trên khả năng tiếp cận thị trường mục tiêu, mức độ nhạy cảm của câu hỏi và loại thông tin cần thu thập. Khi kết hợp nhiều kênh, cần kiểm tra liệu sự khác biệt trong câu trả lời đến từ đặc điểm người tham gia hay từ chính phương thức khảo sát.

Tin hoàn toàn vào lời khách hàng tự thuật

Dữ liệu tự thuật chịu ảnh hưởng của trí nhớ, cách hiểu câu hỏi và nhu cầu thể hiện bản thân. Người tham gia có thể không nhớ chính xác tần suất mua, số tiền đã chi hoặc lý do thực sự khiến họ lựa chọn.

Sai lệch trí nhớ thường tăng khi:

·         Khoảng thời gian cần nhớ quá dài

·         Hành vi diễn ra thường xuyên và khó phân biệt

·         Giao dịch có giá trị nhỏ

·         Người trả lời không trực tiếp thực hiện hành vi

·         Câu hỏi yêu cầu ước lượng thay vì nhớ một sự kiện cụ thể

Thay vì hỏi “Bạn thường mua sản phẩm này bao nhiêu lần?”, có thể giới hạn khoảng thời gian: “Trong 30 ngày gần nhất, bạn đã mua sản phẩm này bao nhiêu lần?”. Khoảng thời gian phù hợp phải đủ gần để người tham gia nhớ được nhưng đủ dài để phản ánh hành vi cần nghiên cứu.

Khi có thể, dữ liệu tự thuật nên được đối chiếu với hóa đơn, lịch sử giao dịch, dữ liệu sử dụng hoặc quan sát thực tế. Sự khác biệt giữa điều khách hàng nói và điều họ làm không có nghĩa khách hàng cố tình cung cấp thông tin sai; đó có thể là giới hạn tự nhiên của trí nhớ và khả năng giải thích hành vi.

Chỉ sử dụng một phương pháp nghiên cứu

Mỗi phương pháp chỉ quan sát được một phần của thị trường. Khảo sát định lượng cho biết mức độ phổ biến của một câu trả lời nhưng thường không giải thích đầy đủ nguyên nhân. Phỏng vấn sâu cung cấp bối cảnh và động cơ nhưng không cho phép suy rộng tỷ lệ một cách trực tiếp.

Dữ liệu hành vi cho biết điều đã xảy ra, nhưng không phải lúc nào cũng chỉ ra vì sao. Quan sát giúp phát hiện hành vi tự nhiên, song khó tiếp cận suy nghĩ bên trong. Thử nghiệm có thể làm rõ quan hệ nhân quả nhưng đôi khi diễn ra trong điều kiện khác với thị trường thực tế.

Kết hợp phương pháp giúp các nguồn dữ liệu kiểm tra lẫn nhau:

·         Phỏng vấn khám phá ngôn ngữ và động cơ

·         Khảo sát đo mức độ phổ biến

·         Dữ liệu hành vi kiểm tra khoảng cách giữa lời nói và hành động

·         Thử nghiệm đánh giá phản ứng trước một thay đổi cụ thể

·         Nghiên cứu thứ cấp cung cấp quy mô và bối cảnh thị trường

Sử dụng nhiều phương pháp không tự động tạo ra kết quả đúng. Các phương pháp phải cùng phục vụ một câu hỏi nghiên cứu và sự khác biệt giữa chúng cần được giải thích thay vì bị che giấu.

Làm sạch dữ liệu thiếu nguyên tắc

Dữ liệu khảo sát có thể chứa phản hồi hoàn thành quá nhanh, lựa chọn một đáp án cho toàn bộ bảng hỏi, câu trả lời mâu thuẫn hoặc nội dung không liên quan. Tuy nhiên, loại bỏ dữ liệu mà không có tiêu chí xác định trước cũng có thể tạo sai lệch.

Nếu nhóm nghiên cứu chỉ giữ những phản hồi “hợp lý” theo kỳ vọng, dữ liệu sẽ dần phù hợp với giả thuyết ban đầu. Đây là một dạng can thiệp chủ quan vào kết quả.

Quy trình làm sạch nên quy định trước:

·         Thời gian hoàn thành tối thiểu hợp lý

·         Mức độ thiếu dữ liệu được chấp nhận

·         Tiêu chí nhận diện trả lời lặp

·         Cách xử lý giá trị ngoại lệ

·         Cách kiểm tra câu trả lời mâu thuẫn

·         Quy tắc phát hiện trùng lặp hoặc gian lận

·         Trường hợp được loại và trường hợp phải giữ

Nên so sánh kết quả trước và sau khi làm sạch. Nếu kết luận thay đổi mạnh, báo cáo cần nêu rõ mức độ nhạy cảm thay vì chỉ trình bày phiên bản có kết quả thuận lợi hơn.

Nhầm tương quan với quan hệ nhân quả

Hai biến cùng thay đổi không có nghĩa biến này gây ra biến kia. Doanh số có thể tăng đồng thời với mức độ nhận biết thương hiệu, nhưng chưa thể kết luận hoạt động tăng nhận biết là nguyên nhân duy nhất. Cả hai có thể cùng chịu ảnh hưởng của quảng cáo, mùa vụ, mở rộng phân phối hoặc biến động kinh tế.

Để kết luận về quan hệ nhân quả, cần xem xét ít nhất:

·         Nguyên nhân phải xảy ra trước kết quả

·         Hai biến phải có mối liên hệ

·         Các cách giải thích thay thế phải được kiểm soát hợp lý

Khảo sát cắt ngang thường phù hợp để mô tả mối liên hệ, không đủ mạnh để chứng minh nguyên nhân. Thử nghiệm ngẫu nhiên, thử nghiệm có nhóm đối chứng hoặc thiết kế theo dõi theo thời gian có khả năng hỗ trợ kết luận nhân quả tốt hơn.

Khi thiết kế nghiên cứu không chứng minh được quan hệ nhân quả, báo cáo nên sử dụng các cụm như “có liên hệ”, “đi cùng” hoặc “liên quan đến”, thay vì “dẫn đến” hay “gây ra”.

Chỉ tìm kiếm dữ liệu xác nhận giả thuyết

Nhóm nghiên cứu có thể vô thức ưu tiên những câu hỏi, phân khúc và kết quả phù hợp với quan điểm sẵn có. Những dữ liệu trái kỳ vọng bị xem là ngoại lệ, trong khi dữ liệu thuận lợi được nhấn mạnh.

Sai lệch xác nhận có thể xuất hiện ở nhiều bước:

·         Chọn giả thuyết duy nhất để kiểm tra

·         Thiết kế câu hỏi theo hướng mong muốn

·         Chia nhỏ dữ liệu cho đến khi tìm thấy kết quả thuận lợi

·         Chỉ báo cáo nhóm có khác biệt

·         Bỏ qua kết quả không có ý nghĩa thực tế

·         Diễn giải mơ hồ theo hướng hỗ trợ kế hoạch

Biện pháp kiểm soát hiệu quả là xác định trước câu hỏi, giả thuyết, chỉ số chính và quy tắc phân tích. Người phân tích cũng nên chủ động tìm bằng chứng có khả năng bác bỏ kết luận ban đầu.

Một nghiên cứu đáng tin không phải nghiên cứu luôn xác nhận điều doanh nghiệp muốn nghe. Giá trị lớn nhất đôi khi nằm ở việc phát hiện giả định ban đầu không đúng.

Đánh đồng ý nghĩa thống kê với giá trị kinh doanh

Một khác biệt có thể rõ ràng về mặt thống kê nhưng quá nhỏ để tạo ra tác động kinh doanh. Ngược lại, một thay đổi có ý nghĩa thực tế có thể chưa đạt ngưỡng thống kê nếu mẫu nhỏ hoặc dữ liệu biến động mạnh.

Ví dụ, điểm hài lòng tăng từ 7,10 lên 7,15 trên thang 10 có thể được xác định là khác biệt thống kê khi mẫu rất lớn. Tuy nhiên, mức tăng 0,05 điểm chưa chắc đủ để thay đổi tỷ lệ mua lại hoặc bù đắp chi phí cải tiến.

Đánh giá kết quả cần kết hợp:

·         Quy mô của chênh lệch

·         Khoảng bất định

·         Chi phí thực hiện

·         Giá trị kỳ vọng

·         Mức rủi ro nếu kết luận sai

·         Khả năng lặp lại trong điều kiện thực tế

Ngưỡng 5% thường được dùng trong kiểm định thống kê, nhưng không phải ranh giới tuyệt đối giữa “đúng” và “sai”. Một kết quả có giá trị p nhỏ hơn 0,05 vẫn có thể bị ảnh hưởng bởi thiết kế mẫu kém, đo lường sai hoặc phân tích quá nhiều biến. Ngược lại, giá trị p lớn hơn 0,05 không chứng minh rằng hai nhóm hoàn toàn giống nhau.

Phân tích quá nhiều phân khúc từ một mẫu nhỏ

Khi một mẫu được chia theo tuổi, giới tính, khu vực, thu nhập, hành vi và nhiều tiêu chí khác, số người trong từng nhóm có thể trở nên quá nhỏ. Tỷ lệ của các nhóm nhỏ dao động mạnh và dễ bị hiểu như một khác biệt có ý nghĩa.

Một nghiên cứu có 400 phản hồi có thể phù hợp để mô tả tổng thể trong một số điều kiện. Nhưng nếu chia thành tám nhóm bằng nhau, mỗi nhóm chỉ còn khoảng 50 người. Với tỷ lệ gần 50%, biên sai số lý thuyết của mỗi nhóm có thể xấp xỉ ±13,9 điểm phần trăm, chưa tính sai lệch thiết kế và tuyển mẫu.

Phân tích phân khúc nên được xác định trước dựa trên mục tiêu nghiên cứu. Với những nhóm nhỏ, cần:

·         Hiển thị số quan sát thực tế

·         Trình bày khoảng bất định

·         Tránh xếp hạng khi chênh lệch nhỏ

·         Gộp nhóm khi có cơ sở chuyên môn

·         Xem kết quả như tín hiệu khám phá

·         Thu thập bổ sung nếu quyết định có rủi ro cao

Việc tạo thêm nhiều lát cắt không làm dữ liệu phong phú hơn nếu từng lát cắt không đủ độ tin cậy.

Diễn giải kết quả vượt quá phạm vi dữ liệu

Mọi nghiên cứu đều có giới hạn về đối tượng, thời gian, địa lý, phương pháp và loại hành vi được đo. Sai lệch xuất hiện khi kết luận vượt qua một hoặc nhiều giới hạn này.

Một khảo sát tại hai thành phố không tự động đại diện cho toàn quốc. Dữ liệu từ khách hàng hiện tại không thể mô tả đầy đủ người chưa mua. Kết quả thu thập trong mùa cao điểm có thể không phản ánh hành vi quanh năm.

Báo cáo cần phân biệt rõ:

·         Điều dữ liệu trực tiếp cho thấy

·         Điều có thể suy luận với điều kiện

·         Điều chưa thể kết luận

·         Điều cần nghiên cứu thêm

Ngôn ngữ kết luận phải tương xứng với thiết kế nghiên cứu. Các từ “toàn bộ”, “chắc chắn”, “nguyên nhân” hoặc “sẽ” đòi hỏi mức bằng chứng cao hơn những từ “trong mẫu khảo sát”, “có xu hướng”, “có liên hệ” hoặc “có thể”.

Trình bày tỷ lệ mà không cho biết mẫu số

Một tỷ lệ có thể gây ấn tượng mạnh nhưng thiếu ý nghĩa nếu người đọc không biết nó được tính từ bao nhiêu người, thuộc nhóm nào và trong khoảng thời gian nào.

Kết luận “60% khách hàng thích phương án A” rất khác nhau trong các trường hợp:

·         60 trên 100 người được chọn ngẫu nhiên

·         6 trên 10 người tham gia phỏng vấn thử

·         60% trong nhóm đã mua sản phẩm

·         60% trong nhóm hoàn thành toàn bộ bảng hỏi

·         60% sau khi loại một số phản hồi

Mọi tỷ lệ quan trọng nên đi kèm mẫu số, định nghĩa nhóm, thời gian thu thập và tiêu chí loại dữ liệu. Khi có trọng số, nên phân biệt số người tham gia thực tế với tỷ lệ đã được điều chỉnh.

Biểu đồ cũng phải giữ cùng nguyên tắc. Cắt trục, thay đổi khoảng cách hoặc dùng diện tích hình ảnh không tương xứng có thể làm chênh lệch nhỏ trông lớn hơn thực tế.

Không kiểm tra độ ổn định của kết quả

Một kết luận đáng tin cần duy trì tương đối ổn định khi áp dụng những lựa chọn phân tích hợp lý khác nhau. Nếu chỉ cần thay đổi một tiêu chí làm sạch, cách gộp nhóm hoặc mô hình phân tích là kết luận đảo chiều, kết quả có độ nhạy cao.

Kiểm tra độ ổn định có thể bao gồm:

·         Phân tích có và không có trọng số

·         So sánh trước và sau khi loại ngoại lệ

·         Thử nhiều cách phân loại hợp lý

·         Kiểm tra trên các phân khúc chính

·         So sánh với dữ liệu từ thời điểm khác

·         Đối chiếu với nguồn dữ liệu độc lập

Không phải mọi kết quả đều cần giống nhau hoàn toàn. Mục tiêu là xác định liệu kết luận cốt lõi có phụ thuộc quá mức vào một lựa chọn kỹ thuật hay không.

Khi kết quả không ổn định, doanh nghiệp nên xem đó là tín hiệu cần thận trọng, không phải lý do để chọn phiên bản thuận lợi nhất.

Quy trình hạn chế sai lệch trong nghiên cứu thị trường

Kiểm soát sai lệch hiệu quả nhất khi được thực hiện từ đầu, thay vì sửa dữ liệu sau khi thu thập.

Trước khi nghiên cứu

·         Xác định quyết định kinh doanh cần hỗ trợ

·         Chuyển quyết định thành câu hỏi nghiên cứu có thể đo lường

·         Xác định thị trường mục tiêu và đơn vị phân tích

·         Lập bản đồ các vai trò trong quá trình mua

·         Chọn phương pháp phù hợp với loại kết luận

·         Xác định trước giả thuyết, chỉ số và phân khúc chính

Khi thiết kế công cụ

·         Dùng ngôn ngữ trung tính

·         Tách câu hỏi kép

·         Giới hạn khoảng thời gian hồi tưởng

·         Chuẩn hóa thang đo

·         Cho phép lựa chọn “không biết” khi phù hợp

·         Thử nghiệm bảng hỏi trên một nhóm nhỏ

·         Kiểm tra thời lượng và khả năng hiểu câu hỏi

Khi thu thập dữ liệu

·         Theo dõi cơ cấu mẫu theo từng phân khúc

·         Giám sát tỷ lệ phản hồi theo kênh

·         Kiểm tra dữ liệu bất thường

·         Ghi nhận thời điểm và bối cảnh thu thập

·         Không thay đổi tiêu chí tuyển mẫu giữa chừng mà không ghi nhận

Khi phân tích và báo cáo

·         Công bố mẫu số và phạm vi suy rộng

·         Trình bày khoảng bất định

·         Phân biệt tương quan với nhân quả

·         Kiểm tra độ nhạy của kết quả

·         Tách ý nghĩa thống kê khỏi giá trị kinh doanh

·         Nêu giới hạn và các cách giải thích thay thế

·         Đối chiếu với nguồn dữ liệu khác khi có thể

Không có quy trình nào loại bỏ hoàn toàn sai lệch. Mục tiêu thực tế là nhận diện nguồn sai lệch, giảm mức ảnh hưởng và diễn đạt kết luận tương xứng với chất lượng bằng chứng.

Kết quả nghiên cứu thị trường có thể sai lệch vì lỗi không chỉ nằm trong dữ liệu mà còn xuất hiện ở mục tiêu, cách chọn mẫu, thiết kế câu hỏi, bối cảnh thu thập và phương pháp diễn giải. Một con số chính xác về mặt tính toán vẫn có thể dẫn đến quyết định sai nếu nó đo không đúng đối tượng hoặc bị khái quát quá mức.

Doanh nghiệp không nên hỏi đơn giản rằng mẫu có đủ lớn hay báo cáo có đủ chi tiết hay không. Những câu hỏi quan trọng hơn là dữ liệu được thu từ ai, điều gì đã được đo, điều gì chưa được đo, kết luận được hỗ trợ đến mức nào và những điều kiện nào có thể khiến kết luận thay đổi.

Nghiên cứu đáng tin không phải nghiên cứu không có giới hạn. Đó là nghiên cứu xác định được giới hạn, kiểm soát sai lệch có thể kiểm soát và không tuyên bố nhiều hơn những gì dữ liệu thực sự chứng minh.