1. Tính hợp lệ (Validity)
Tính hợp lệ của dữ liệu phản ảnh liệu chúng ta có đo lường đúng cái mà chúng ta muốn đo hay không. Tính hợp lệ phía ngoài (external validity) của kết quả nghiên cừu có nghĩa là dữ liệu có khả năng tổng quát hóa được cho vấn đề nghiên cứu. Tính hợp lệ nội tại (internal validity) là là khả năng đo lường đúng cái mà chúng ta muốn đo lường.
Người ta thường chia tính hợp lệ thành ba kiểu chủ yếu: (1) hợp lệ về nội dung; (2) hợp lệ về tiêu chí và (3) hợp lệ về khái niệm.
a. Hợp lệ về nội dung (Content validity)
Ta đạt được tính hợp lệ về nội dung của một công cụ đo lường khi nó cung cấp được một sự bao quát thích hợp đối với các câu hỏi điều tra dẫn dắt việc nghiên cứu. Nếu công cụ đo lường chứa đựng một mẫu đại diện của toàn thể về vấn đề cần quan tâm, thì sẽ có thể đạt được tính hợp lệ về nội dung.
Nhà nghiên cứu có thể đạt được tính hợp lệ về nội dung bằng các cách sau. Thứ nhất, thông qua việc xác định cẩn thận chủ đề nghiên cứu, soạn thảo các hạng mục cần đo lường, và các thang đo cần sử dụng. Cách thứ hai là tham vấn các chuyên gia xem liệu các công cụ đã thỏa mãn các tiêu chuẩn hay chưa. Và cũng quan trọng là đừng xác định các nội dung nghiên cứu quá hẹp.
b. Hợp lệ về tiêu chí (Criterion-related validity)
Tính hợp lệ về tiêu chí phản ảnh sự thành công của việc đo lường nhằm mục tiêu phỏng định hoặc tiên lượng.
Nhà nghiên cứu phải bảo đảm là các tiêu chí sử dụng phái “hợp lệ”. Bất kỳ tiêu chí nào cũng phải được xem xét theo bốn phẩm chất: (1) sự thích đáng – relevance, (2) không thiên lệch – freedom from bias, (3) sự tin cậy – reliability và (4) tính sẵn có – availability.
- Một tiêu chí là thích đáng khi nó đượcxác định và ghi nhận theo cách phù hợp, đúng đắn.
- Không thiên lệch khi mỗi người tham dự cung cấp dữ liệu thông tin đều có cơ hội ngang bằng nhau để cho điểm đúng nhất.
- Tiêu chí là tin cậy khi nó ổn định và có thể lặp lại được.
- Cuối cùng, thông tin được tiêu chí thể hiện có tính sẵn có. Nếu chưa sẵn có, thì liệu chi phí thu thập thông tin đó là bao nhiều, và lmức độ khó thu thập như thế nào.
c. Hợp lệ về khái niệm (Construct validity)
Đối với tính hợp lệ này, chúng ta phải xem xét cả hai khía cạnh về lý thuyết và công cụ đo lường được sử dụng.
2. Tính tin cậy (Reliability)
Ta sẽ đạt được sự tin cậy của một đo lường khi nó cung cấp được các kết quả nhất quán. Tính tin cậy là điều kiện cần, nhưng không phải là điều kiện đủ cho tính hợp lệ. Tinh tin cậy là mức độ mà dữ liệu không bị thiên lệch hoặc sai số quá mức. Các công cụ tin cậy là chúng không bị các yếu tố tình huống gây nhiễu. Các công cụ phải chắc chắn, và làm việc tốt ở mọi thời gian dưới mọi điều kiện. Thời gian và điều kiện là là những yếu tố cơ bản để đánh giá tính tin cậy, thông qua các chỉ tiêu – tính ổn định, tính tưong đương và mực độ nhất quán nội tại.
Tính ổn định (Stability)
Một đo lường được coi là có tính ổn định khi chúng ta có thể bảo đảm kết quả nhất quán khi lặp lại trên cùng một người với cùng một công cụ. Một quá trình quan sát coi là ổn định khi nó cho cùng kết quả trên cùng một người khi lặp lại một hay nhiều lần.
Trong trường hợp điều tra phỏng vấn, ta khó đạt được tính bền vững của đo lường hon so với nghiên cứu quan sát. Trong khi chúng ta quan sát lặp lại một vài hành động, chúng ta thường chỉ có thể điều tra lại một lần. Một vài khó khăn có thể xảy ra và gây ra sự thiên lệch như:
- Thời gian giữa các lần đo lường quá lâudẫn đến sự thay đổi về tình huống.
- Thời gian giữa các lần đo lường quá ngắn làm cho người trả lời còn nhớ các câu trả lời trước đây, và lặp lại, làm cho độ tin cậy bị thiên lệch đi.
- Người trả lời hiểu rõ mục tiêu thực của một nghiên cứu được ngụy trang có thể gây ra thiên lệch nếu họ giữ riêng ý kiến liên quan tới mục tiêu nghiên cứu nhưng không được người nghiên cứu phát hiện.
Tính tương đương (Equivalence)
Vấn đề thứ hai ảnh hưởng đến tính tin cậy là liệu các điều tra viên khác nhau (trong nghiên cứu quan sát) hoặc các mẫu nghiên cứu khác nhau (trong các câu hỏi hoặc thang đo) có dẫn đến kết quả là sai số có khác nhau hay không. Vì vậy, tính tương đương được quan tâm ở khía cạnh sự biến thiên giữa các điều tra viên hoặc các mẫu nghiên cứu khác nhau. Có một phương thức tốt có thể được áp dụng để kiểm tra tính tương đương về kết quả ghi nhận được của các người quan sát – điều tra viên khác nhau là so sánh điểm mà họ cho trên cùng một sư kiện.
Sự nhất quán nội tại (Internal Consistency)
Cách tiếp cận thứ ba để đánh giá tính tin cậy là áp dụng một công cụ kiểm tra sự nhất quán nội tại, hoặc là tính đồng nhất (homogeneity) giữa các hạng mục nghiên cứu. Có thể dùng kỹ thuật chia hai (split-half technique) như là một công cụ để đánh giá khi trong bảng câu hỏi phỏng vấn có nhiều câu hỏi hay phát biểu tương tự nhau mà người được phỏng vấn có thể trả lời.
Các thực hiện là chia các hạng mục câu hỏi theo các số chẵn, lẻ hoặc chia làm hai phần một cách ngẫu nhiên. Khi xét sự tương quan giữa hai nửa này với nhau, nếu có tương quan chặt, thì ta có thể coi là kết quả nghiên cứu có tính tin cậy cao, theo ý nghĩa của tính nhất quán nội tại.
3. Tính thực tế (Practicality)
Các yêu cầu khoa học của một dự án nghiên cứu bao giờ cũng đòi hỏi quá trình đo lường phải có tính hợp lệ và tinh cậy, trong khi các yêu cầu hoạt động bao giờ cũng đòi hỏi quá trình đo lường phải có tính thực tế. Tính thực tế được xác định qua các tính chất kinh tế (economy), thuận tiện (convienience) và có khả năng diễn dịch được (interpretability).
Kinh tế
- Sự đánh đổi giữa sự lý tưởng của một nghiên cứu và ngân sách nghiên cứu.
- Nhiều hạng mục đo lường sẽ làm tăng độ tin cậy, nhưng cũng làm tăng chi phí.
- Việc lựa chọn phương thức thu thập dữ liệu có thể bị điều kiện kinh tế khống chế (ví dụ, phỏng vấn cá nhân và phỏng vấn qua điện thoại).
Sự thuận tiện
- Các phương tiện đo lường nên được quản lý một cách dễ dàng.
- Các phiếu điều tra, bảng hỏi hoặc các thang đo với các hướng dẫn cụ thể sẽ được trả lời đúng một cách dễ dàng hơn.
- Hiển nhiên là, nếu các khái niệm trong nghiên cứu càng phức tạp thì càng cần có các hướng dẫn cụ thể, rõ ràng.
Khả năng diễn dịch được
Các người thiết kế các công cụ thu thập dữ liệu phải cung cấp các thông tin mang tính hướng dẫn để làm cho việc diễn dịch câu hỏi trở nên dễ dàng hơn:
- Phát biểu về các chức năng của các trắc nghiệm được thiết kế để đo lường và các thủ tục liên quan.
- Các hướng dẫn chi tiết về quản lý.
- Các hướng dẫn về cách cho điểm.
- Các quy tắc.
- Các quan hệ nội bộ của các điểm phụ (sub-scores).
- Các quan hệ giữa kiểm định và các cách đo lường khác.
- Hướng dẫn sử dụng kiểm định.