Trong các giả định của mô hình hồi quy tuyến tính cổ điển (CLRM), có giả thiết: Các biến độc lập không có mối quan hệ tuyến tính chính xác. Nếu giả thiết này vi phạm, sẽ có hiện tượng đa cộng tuyến, đó là hiện tượng các biến độc lập trong mô hình phụ thuộc lẫn nhau và thể hiện được dưới dạng hàm số.
Ví dụ: Mô hình hồi quy . Trong đó số liệu thu thập được từ biến như sau
2 | 4 |
5 | 10 |
7 | 14 |
1 | 2 |
Ta thấy có mối quan hệ tuyến tính . Đã xảy ra hiện tượng đa cộng tuyến.
Có 2 dạng đa cộng tuyến:
* Đa cộng tuyến hoàn hảo: nếu các biến độc lập thỏa , các không đồng thời bằng 0
* Đa cộng tuyến không hoàn hảo: nếu các biến độc lập thỏa , các không đồng thời bằng 0 và là sai số ngẫu nhiên.