1. Ước lượng bình phương nhỏ nhất của p
Phương pháp ước lượng thường dùng nhất trong việc khảo sát các mô hình tuyến tính là “phương pháp bình phương nhỏ nhất – ordinary least squares”. Trong phần này, chúng ta sẽ tìm hiểu việc ứng dụng phương pháp này để ước lượng các thông số của mô hình hồi qui tuyến tính đa biến.
Mô hình được giả định có dạng như đã nếu trong phương trình (2.4)
2. Các đặc tính của ước lượng bình phương nhỏ nhất
Sau đây chúng ta sẽ lần lượt khảo sát đặc tính của ước lượng này.
2.1. Tham số b là ước lượng không chệch của phương sai nhỏ nhất
Trong phần này, chứng tôi sẽ chứng minh ước lượng b là tổ hợp tuyến tính của biến ngẫu nhiên u (hoặc của y) nến nó cũng là một biến ngẫu nhiến. Do đó, phải khảo sát các đặc tính của biến ngẫu nhiên này. Quan trọng nhất là trung bình và phương sai. Hai đặc tính này sẽ được dùng rất thường xuyên trong các kiểm định giả thuyết về mô hình.
- ước lượng tuyển tính không chệch
Vậy ước lượng bình phương nhỏ nhất b là ước lượng không chệch.
Ngoài ra, b là tổ hợp tuyến tính của các phần tử của y theo công thức (2.11); hoặc b là tổ hợp tuyến tính của các phần tử của u, theo công thức (2.12). Do đó, b còn được gọi là ước lượng tính tuyến tính. Các hệ số trong tổ hợp này là hàm số của các phần tử ma trận số liệu X.
- Phương sai nhỏ nhất
Phần còn lại cần phải làm là tìm phương sai của ước lượng bình phương nhỏ nhất b, và chứng minh phương sai này là nhỏ nhất so với tất cả các ước lượng tuyến tính không chệch khác.
lượng có phương sai nhỏ nhất ữong tất cả các ước lượng tuyến tính không chệch khác.
Tóm lại, chúng ta đã chứng minh được rằng ước lượng bình phương nhỏ nhất b là ước lượng tuyến tính không chệch có phương sai nhỏ nhất so với tất cả các ước lượng tuyến tính không chệch khác. Do đó, b được gọi là BLUE (best linear unbiased estimator), ước lượng tuyến tính không chệch tốt nhất. Trung bình, và phương sai của ước lượng này lần lượt là:
2. Trung bình của sai số và hệ số tương quan mẫu giữa sai số và biến độc lập băng zero.