Thực đơn
trang chủExcel

Thuộc tính của ma trận hiệp phương sai. Ma trận độ lệch khoảng cách là ma trận tương quan vectơ. Hệ số tương quan. Của cải. Tương quan tuyến tính

Chúng ta đã nói về bản chất của phép biến đổi độ lệch và ứng dụng của nó vào ma trận khoảng cách bình phương. Trong phần thứ hai, chúng tôi tạo ra một chút sương mù trên quang phổ của các tập hợp hình học đơn giản.

Trong bài viết này, chúng tôi sẽ cố gắng tiết lộ ý nghĩa của phép biến đổi độ lệch, mà chúng tôi chuyển sang nhiệm vụ áp dụng liên quan đến xử lý và phân tích dữ liệu. Chúng ta hãy chỉ ra cách biến đổi độ lệch của ma trận khoảng cách có liên quan đến thống kê - với độ phân tán, tương quan và hiệp phương sai.

7. Định tâm và chuẩn hóa tọa độ một chiều

Chúng tôi sẽ khởi động về một điều đơn giản và dễ hiểu đối với mọi người - tập trung và chuẩn hóa dữ liệu. Hãy để chúng tôi có một dãy số. Sau đó, thao tác định tâm được giảm xuống để tìm giá trị trung bình (trọng tâm của tập hợp)

Và xây dựng một tập hợp mới là sự khác biệt giữa các số ban đầu và trọng tâm của chúng (trung bình):

Định tâm là bước đầu tiên đối với hệ tọa độ gốc (CCS) của tập hợp ban đầu, vì tổng tọa độ trung tâm là 0. Bước thứ hai là chuẩn hóa tổng bình phương của tọa độ trung tâm thành 1. Để thực hiện thao tác này , chúng ta cần tính tổng này (chính xác hơn là trung bình):

Bây giờ chúng ta có thể xây dựng SCS của tập hợp ban đầu dưới dạng tập hợp các giá trị riêng S và số chuẩn hóa (tọa độ):

Khoảng cách bình phương giữa các điểm của tập hợp ban đầu được định nghĩa là sự khác biệt giữa các bình phương của các thành phần vectơ riêng nhân với giá trị riêng. Chúng ta hãy lưu ý rằng giá trị riêng S hóa ra bằng phương sai của tập ban đầu (7.3).

Vì vậy đối với bất kỳ bộ số nào bạn có thể xác định hệ tọa độ của riêng mình, nghĩa là tách biệt giá trị của giá trị riêng (hay còn gọi là phương sai) và tính tọa độ của vectơ riêng bằng cách căn giữa và chuẩn hóa các số ban đầu. Mát mẻ.

Một bài tập dành cho những người thích “cảm nhận bằng tay”. Xây dựng SCS cho tập hợp (1, 2, 3, 4).

Trả lời.

Giá trị riêng (phương sai): 1,25.
Vectơ riêng: (-1.342, -0.447, 0.447, 1.342).

8. Định tâm và trực chuẩn hóa tọa độ đa chiều

Điều gì sẽ xảy ra nếu thay vì một tập hợp số, chúng ta có một tập hợp các vectơ - cặp, bộ ba và các chiều khác của số. Nghĩa là, một điểm (nút) được chỉ định không phải bởi một tọa độ mà bởi một số tọa độ. Làm thế nào để xây dựng SSC trong trường hợp này?

Có, bạn có thể xây dựng một ma trận bình phương khoảng cách, sau đó xác định ma trận độ lệch và tính phổ cho nó. Nhưng chúng tôi đã biết về điều này cách đây không lâu. Thông thường họ đã làm (và làm) khác nhau.

Hãy để chúng tôi giới thiệu một ký hiệu cho các thành phần của tập hợp. Chúng ta được cho các điểm (nút, biến, vectơ, bộ dữ liệu) và mỗi điểm được đặc trưng bởi các thành phần số. Xin lưu ý rằng chỉ mục thứ hai là số thành phần (cột ma trận) và chỉ mục đầu tiên là số điểm (nút) của tập hợp (hàng ma trận).

Chúng tôi đã thu được ma trận dữ liệu tập trung (CDM).
Bước tiếp theo Nó giống như việc chúng ta cần tính toán phương sai cho từng thành phần và chuẩn hóa chúng. Nhưng chúng tôi sẽ không làm điều này. Bởi vì mặc dù theo cách này chúng ta thực sự có được các vectơ chuẩn hóa, nhưng chúng ta cần các vectơ này độc lập, nghĩa là trực giao. Hoạt động chuẩn hóa không xoay các vectơ (mà chỉ thay đổi độ dài của chúng), mà chúng ta cần xoay các vectơ vuông góc với nhau. Làm thế nào để làm nó?

Câu trả lời đúng (nhưng hiện tại vô dụng) là tính toán các vectơ riêng và số (phổ). Vô ích vì chúng tôi chưa xây dựng được ma trận để có thể đọc được phổ. Ma trận dữ liệu trung tâm (CDD) của chúng tôi không phải là hình vuông—bạn không thể tính giá trị riêng của nó. Theo đó, chúng ta cần xây dựng một số loại Ma trận vuông. Điều này có thể được thực hiện bằng cách nhân MCD với chính nó (bình phương).

Nhưng ở đây - chú ý! Một ma trận không vuông có thể được bình phương theo hai cách - bằng cách nhân ma trận ban đầu với ma trận đã chuyển vị. Và ngược lại - bằng cách nhân số đã chuyển đổi với số ban đầu. Kích thước và ý nghĩa của hai ma trận kết quả là khác nhau.

Nhân MCD với giá trị được chuyển đổi, chúng ta thu được ma trận tương quan:

Từ định nghĩa này(có những cái khác) theo đó các phần tử của ma trận tương quan là tích vô hướng của các vectơ có tâm. Theo đó, các phần tử của đường chéo chính phản ánh bình phương độ dài của các vectơ này.
Các giá trị ma trận không được chuẩn hóa (thường chúng được chuẩn hóa, nhưng với mục đích của chúng tôi thì điều này là không cần thiết). Kích thước của ma trận tương quan trùng với số lượng điểm nguồn (vectơ).

Bây giờ chúng ta sắp xếp lại các ma trận nhân với (8.1) và nhận được ma trận hiệp phương sai(một lần nữa, chúng ta bỏ qua số nhân 1/(1-n), thường được sử dụng để chuẩn hóa các giá trị hiệp phương sai):

Ở đây các thành phần (không phải vectơ) được nhân lên. Theo đó, số chiều của ma trận hiệp phương sai bằng số thành phần ban đầu. Đối với các cặp số, ma trận hiệp phương sai có kích thước 2x2, đối với bộ ba - 3x3, v.v.

Tại sao kích thước của ma trận tương quan và hiệp phương sai lại quan trọng? Bí quyết là vì ma trận tương quan và ma trận hiệp phương sai đến từ tích của cùng một vectơ nên chúng có cùng một tập giá trị riêng, giống nhau. thứ hạng(số chiều độc lập) của ma trận. Theo quy luật, số lượng vectơ (điểm) vượt xa số lượng thành phần. Do đó, thứ hạng của ma trận được đánh giá bằng thứ nguyên của ma trận hiệp phương sai.

Các phần tử hiệp phương sai đường chéo phản ánh phương sai của các thành phần. Như chúng ta đã thấy ở trên, phương sai và giá trị riêng có liên quan chặt chẽ với nhau. Do đó, chúng ta có thể nói rằng, theo phép tính gần đúng đầu tiên, các giá trị riêng của ma trận hiệp phương sai (và do đó là mối tương quan) bằng các phần tử đường chéo (và nếu không có độ phân tán giữa các thành phần thì chúng bằng nhau trong bất kỳ phép tính gần đúng nào).

Nếu nhiệm vụ chỉ đơn giản là tìm phổ của ma trận (giá trị riêng), thì sẽ thuận tiện hơn khi giải nó cho ma trận hiệp phương sai, vì theo quy luật, thứ nguyên của chúng nhỏ. Nhưng nếu chúng ta cũng cần tìm vectơ riêng (xác định hệ tọa độ của riêng chúng ta) cho tập hợp ban đầu, thì chúng ta cần làm việc với ma trận tương quan, vì nó phản ánh phép nhân của vectơ. Có thể thuật toán tối ưu là sự kết hợp của đường chéo của hai ma trận - đầu tiên chúng tôi tìm thấy các giá trị riêng cho hiệp phương sai và sau đó, dựa trên chúng, xác định các vectơ riêng của ma trận tương quan.

Chà, vì chúng ta đã đi xa đến mức này, hãy đề cập rằng phương pháp thành phần chính khét tiếng bao gồm tính toán phổ của ma trận hiệp phương sai/tương quan cho một tập hợp dữ liệu vectơ nhất định. Các thành phần phổ tìm thấy nằm dọc theo trục chính của ellipsoid dữ liệu. Điều này xuất phát từ sự xem xét của chúng tôi vì các trục chính là những trục mà độ phân tán (tán xạ) của dữ liệu là tối đa và do đó giá trị của phổ là tối đa.

Đúng, cũng có thể có những phương sai âm, và khi đó sự tương tự với một ellipsoid (giả-ellipsoid?) không còn rõ ràng nữa.

9. Ma trận độ lệch khoảng cách là ma trận tương quan vectơ

Tất cả điều này đều ổn, nhưng sự biến đổi của độ lệch có liên quan gì đến nó?

Hãy xem xét một tình huống trong đó chúng ta biết không phải một tập hợp các số (vectơ) đặc trưng cho một số điểm (nút), mà là một tập hợp khoảng cách giữa các điểm (và giữa tất cả). Thông tin này có đủ để xác định SCS (hệ tọa độ riêng) của tập hợp không?

Chúng tôi đã đưa ra câu trả lời trong phần đầu tiên - vâng, hoàn toàn. Ở đây chúng tôi sẽ chỉ ra rằng ma trận độ lệch của các bình phương khoảng cách được xây dựng bằng công thức (1.3") và ma trận tương quan của các vectơ tâm (8.1) do chúng tôi xác định ở trên là cùng một ma trận.

Làm sao chuyện này lại xảy ra? Bản thân bạn cũng bị sốc. Để xác minh điều này, bạn cần thay thế biểu thức cho phần tử của ma trận khoảng cách bình phương

Về công thức chuyển đổi độ lệch:

Lưu ý rằng giá trị trung bình của ma trận khoảng cách bình phương phản ánh phương sai của tập hợp ban đầu (giả sử rằng khoảng cách trong tập hợp là tổng của các thành phần bình phương):

Thay (9.1) và (9.3) vào (9.2), sau khi rút gọn đơn giản, chúng ta thu được biểu thức của ma trận tương quan (8.1):

Vì vậy, chúng tôi tin rằng bằng cách áp dụng phép toán độ lệch cho ma trận khoảng cách Euclide, chúng tôi nhận được ma trận đã biết các mối tương quan. Thứ hạng của ma trận tương quan trùng với thứ hạng của ma trận hiệp phương sai (số thành phần của không gian Euclide). Chính hoàn cảnh này cho phép chúng ta xây dựng phổ và hệ tọa độ của riêng mình cho các điểm ban đầu dựa trên ma trận khoảng cách.

Đối với ma trận khoảng cách tùy ý (không nhất thiết phải là Euclide), thứ hạng tiềm năng (số chiều) nhỏ hơn một số so với số vectơ ban đầu. Tính toán phổ (hệ tọa độ riêng) cho phép bạn xác định các thành phần chính (chính) ảnh hưởng đến khoảng cách giữa các điểm (vectơ).

Ví dụ, ma trận khoảng cách giữa các thành phố rõ ràng là phi Euclide - không có thành phần nào (đặc điểm của các thành phố) được chỉ định. Tuy nhiên, phép biến đổi độ lệch giúp xác định phổ của ma trận đó và tọa độ của chính thành phố.

Nhưng không phải trong bài viết này. Đó là tất cả bây giờ, cảm ơn bạn đã dành thời gian.

Các biến thể trong ước tính tham số cuối cùng sẽ quyết định độ chính xác của phương trình hồi quy bội. Để đo lường chúng một cách đa chiều Phân tích hồi quy xem xét cái gọi là ma trận hiệp phương sai của vectơ ước lượng tham số E n , là ma trận tương tự của độ phân tán của một biến:

TRONG nhìn chung tuyến tính đa chiều mô hình hồi quy sự phụ thuộc của y vào các biến giải thích,..., có dạng:

Để ước tính các tham số chưa biết, một mẫu ngẫu nhiên có khối lượng n được lấy từ biến ngẫu nhiên có chiều (k+1) (y,…,).

Ở dạng ma trận, mô hình trông như sau:

  • - vectơ cột giá trị thực của biến phụ thuộc thứ nguyên n;
  • - ma trận giá trị các biến giải thích thứ nguyên n*(k+1);
  • - vectơ cột của các tham số chưa biết cần ước lượng, thứ nguyên (k+1);
  • - vectơ cột của các lỗi ngẫu nhiên có chiều n với kỳ vọng toán học ME=0 và ma trận hiệp phương sai tương ứng, trong khi

Ma trận đơn vị kích thước (nxn).

Ước tính các tham số chưa biết được tìm thấy bằng phương pháp bình phương tối thiểu, giảm thiểu tổng bình phương vô hướng trên các thành phần của vectơ b.

chúng ta nhận được tổng bình phương vô hướng

Điều kiện để biến số lượng kết quả đến mức tối thiểu là hệ phương trình thông thường:

, (j=0,1,2,…,k).

Kết quả của sự khác biệt, chúng tôi nhận được:

Khi thay vectơ tham số chưa biết bằng ước lượng thu được bằng phương pháp bình phương tối thiểu, ta thu được biểu thức sau:

Các ước tính thu được của vectơ b là không chệch và hiệu quả.

Ma trận hiệp phương sai của vectơ b có dạng:

phương sai còn lại ở đâu.

Ma trận hiệp phương sai có thể có kích thước bất kỳ. Gọi là những số có lỗi. Hãy tính phương sai và hiệp phương sai

Từ đó chúng ta cũng có thể xây dựng ma trận hiệp phương sai

Ma trận này có tính chất đối xứng trong đó “T” là dấu chuyển vị - thay thế các hàng của ma trận bằng các cột hoặc ngược lại.

Các phần tử của đường chéo chính của ma trận này biểu thị phương sai của vectơ ước lượng b. Các phần tử còn lại là giá trị của các hệ số hiệp phương sai:

Vì vậy việc đánh giá là hàm tuyến tính vào biến phụ thuộc. Cô bé có phân phối bình thường với kỳ vọng và phương sai toán học.

Ước tính không chệch của phương sai dư được xác định theo công thức:

trong đó n là cỡ của quần thể mẫu;

k là số lượng biến giải thích.

Để kiểm tra tầm quan trọng của phương trình hồi quy, hãy sử dụng phép thử F của phân tích phương sai dựa trên sự phân tách tổng cộng bình phương độ lệch thành các phần thành phần:

đâu là tổng bình phương độ lệch (từ 0) do hồi quy;

Tổng độ lệch bình phương của các giá trị thực của biến phụ thuộc so với giá trị được tính toán, tức là. tổng bình phương độ lệch so với mặt phẳng hồi quy, do ảnh hưởng của các yếu tố ngẫu nhiên không được tính đến trong mô hình.

Để kiểm tra giả thuyết, số lượng được sử dụng

có phân phối Fisher-Snedesign F với bậc tự do và . Nếu thì phương trình hồi quy có ý nghĩa, tức là có ít nhất một hệ số hồi quy trong phương trình khác 0.

Nếu phương trình hồi quy có ý nghĩa thì tầm quan trọng của các hệ số hồi quy riêng lẻ sẽ được kiểm tra. Để kiểm tra giả thuyết không, giá trị được sử dụng

có phân phối Fisher-Snedesign F với bậc tự do và; - phần tử tương ứng của đường chéo chính của ma trận hiệp phương sai.

Một hệ số hồi quy được coi là có ý nghĩa nếu. Đối với các hệ số hồi quy đáng kể, khoảng tin cậy có thể được xây dựng bằng công thức

Bảng phân phối Sinh viên ở đâu cho mức ý nghĩa và số bậc tự do.

Trong phân tích hồi quy nhiều bước, ba cách tiếp cận được biết đến nhiều nhất:

  • 1. Phương pháp tìm kiếm ngẫu nhiên có thích ứng. Nó được thực hiện bằng cách xây dựng một số phương trình hồi quy dựa trên nguyên tắc được phát triển chính thức bao gồm các yếu tố và sau đó chọn phương trình tốt nhất theo một tiêu chí nhất định.
  • 2. Phương pháp đưa biến vào, dựa trên việc xây dựng phương trình hồi quy cho một nhân tố có ý nghĩa và cộng tuần tự tất cả các biến có ý nghĩa thống kê khác bằng cách tính hệ số tương quan từng phần và F-test khi kiểm tra mức ý nghĩa của nhân tố đưa vào mô hình
  • 3. Phương pháp loại trừ nhân tố bằng tiêu chí t. Phương pháp này bao gồm việc xây dựng các phương trình hồi quy cho số lượng biến giải thích tối đa có thể và loại trừ các yếu tố không có ý nghĩa thống kê sau đó.

Thành phần vectơ và các phần tử ngoài đường chéo là hiệp phương sai giữa các thành phần.

Ma trận hiệp phương sai của vectơ ngẫu nhiên là ma trận đa chiều tương tự phương sai của biến ngẫu nhiên đối với vectơ ngẫu nhiên. Ma trận hiệp phương sai của hai vectơ ngẫu nhiên là ma trận đa chiều tương tự hiệp phương sai giữa hai biến ngẫu nhiên.

Trong trường hợp vectơ ngẫu nhiên phân phối chuẩn, ma trận hiệp phương sai, cùng với kỳ vọng toán học của vectơ này, xác định hoàn toàn sự phân bố của nó (bằng cách tương tự với thực tế là kỳ vọng và phương sai toán học của một biến ngẫu nhiên phân phối chuẩn hoàn toàn xác định phân bố của nó)

Các định nghĩa

  • Cho phép texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(X):\Omega \to \mathbb(R)^n , Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(Y):\Omega \to \mathbb(R)^m- hai vectơ chiều ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): n Và Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): m tương ứng. Hãy để các biến ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m có một khoảnh khắc thứ hai hữu hạn, đó là Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): X_i,Y_j \in L^2. Khi đó ma trận hiệp phương sai vector Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(X),\mathbf(Y) gọi điện
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \Sigma = \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathbb(E)\left[(\mathbf(X) - \ mathbb( E)\mathbf(X))(\mathbf(Y) - \mathbb(E)\mathbf(Y))^(\top)\right], Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): \Sigma = (\sigma_(ij)) , Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \sigma_(ij) = \mathrm(cov)(X_i,Y_j) \equiv \mathbb(E)\left[(X_i - \mathbb(E)X_i) (Y_j - \ mathbb(E)Y_j)\right],\; i=1,\ldots, n,\; j = 1,\ldots, m , Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbb(E)- gia trị được ki vọng .

Tính chất của ma trận hiệp phương sai

  • Công thức rút gọn để tính ma trận hiệp phương sai:
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X)) = \mathbb(E)\left[\mathbf(X) \mathbf(X)^(\top)\right ] - \mathbb(E)[\mathbf(X)] \cdot \mathbb(E)\left[\mathbf(X)^(\top)\right] . Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X)) \ge 0 .
  • Thay đổi quy mô:
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp về cách thiết lập.): \mathrm(cov)\left(\mathbf(a)^(\top) \mathbf(X)\right) = \mathbf(a)^(\top) \ mathrm(cov)(\mathbf(X)) \mathbf(a),\; \forall \mathbf(a) \in \mathbb(R)^n .
  • Nếu vectơ ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc Và Không thể phân tích biểu thức (Tệp thực thi texvc không tương quan ( Không thể phân tích biểu thức (Tệp thực thi texvc ), Cái đó
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X) + \mathbf(Y)) = \mathrm(cov)(\mathbf(X)) + \mathrm(cov)( \mathbf (Y)) .
  • Ma trận hiệp phương sai biến đổi affine:
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)\left(\mathbf(A) \mathbf(X) + \mathbf(b)\right) = \mathbf(A) \mathrm(cov) (\ mathbf(X)) \mathbf(A)^(\top) ,

Ở đâu Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(A)- ma trận kích thước tùy ý Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README - trợ giúp thiết lập.): n \times n, MỘT Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(b)\in \mathbb(R)^n .

  • Sắp xếp lại các đối số:
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathrm(cov)(\mathbf(Y),\mathbf(X))^ (\ đứng đầu)
  • Ma trận hiệp phương sai có tính cộng đối với từng đối số:
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X)_1 + \mathbf(X)_2,\mathbf(Y)) = \mathrm(cov)(\mathbf(X) _1, \mathbf(Y)) + \mathrm(cov)(\mathbf(X)_2,\mathbf(Y)) , Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X),\mathbf(Y)_1 + \mathbf(Y)_2) = \mathrm(cov)(\mathbf(X) ,\ mathbf(Y)_1) + \mathrm(cov)(\mathbf(X),\mathbf(Y)_2) .
  • Nếu như Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(X) Và Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathbf(Y) thì độc lập
Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem math/README để được trợ giúp thiết lập.): \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathbf(0) .

Ma trận hiệp phương sai có điều kiện

Ma trận hiệp phương sai của một vectơ ngẫu nhiên là đặc tính phân bố của nó. Trong trường hợp phân phối chuẩn (nhiều biến), giá trị kỳ vọng của vectơ và ma trận hiệp phương sai của nó hoàn toàn xác định phân phối của nó. Đặc trưng có điều kiện phân phối một vectơ ngẫu nhiên được cung cấp đặt giá trị một vectơ ngẫu nhiên khác lần lượt là kỳ vọng toán học có điều kiện (hàm hồi quy) và ma trận hiệp phương sai có điều kiện.

Cho các vectơ ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc Và Không thể phân tích biểu thức (Tệp thực thi texvc có sự phân phối chuẩn chung với các kỳ vọng toán học Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): \mu_X, \mu_Y, ma trận hiệp phương sai Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): V_X, V_Y và ma trận hiệp phương sai Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): C_(XY). Điều này có nghĩa là vectơ ngẫu nhiên kết hợp Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): \boldsymbol Z = \begin(bmatrix) \boldsymbol X \\ \boldsymbol Y \end(bmatrix) tuân theo phân phối chuẩn đa biến với vectơ kỳ vọng toán học Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): \boldsymbol \mu_(Z) = \begin(bmatrix) \boldsymbol \mu_X \\ \boldsymbol \mu_Y \end(bmatrix), và ma trận hiệp phương sai có thể được biểu diễn dưới dạng ma trận khối sau

Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): \boldsymbol V_Z = \begin(bmatrix) \boldsymbol V_X & \boldsymbol C_(XY) \\ \boldsymbol C_(YX) & \boldsymbol V_(Y) \end(bmatrix )Ở đâu Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): C_(YX)=C^T_(XY)

Khi đó vectơ ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): Y cho một giá trị vectơ ngẫu nhiên nhất định Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): X có phân phối chuẩn (có điều kiện) với kỳ vọng có điều kiện và ma trận hiệp phương sai có điều kiện sau

Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem toán/README - trợ giúp thiết lập.): E(Y|X=x)=\mu_Y+C_(YX)V^(-1)_X(x-\mu_X), \qquad V(Y|X= x )=V_Y-C_(YX)V^(-1)_XC_(XY)

Đẳng thức đầu tiên xác định hàm hồi quy tuyến tính (sự phụ thuộc của kỳ vọng toán học có điều kiện của vectơ Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): Y từ một giá trị x cho trước của một vectơ ngẫu nhiên Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): X) và ma trận Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): C_(XY)V^(-1)- ma trận hệ số hồi quy.

Ma trận hiệp phương sai có điều kiện là ma trận hiệp phương sai của các sai số ngẫu nhiên của hồi quy tuyến tính của các thành phần vectơ Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): Y sang vectơ Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): X .

Nếu như Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): Y- một biến ngẫu nhiên thông thường (vectơ một thành phần), ma trận hiệp phương sai có điều kiện là phương sai có điều kiện (về cơ bản - lỗi ngẫu nhiên hồi quy Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): Y sang vectơ Không thể phân tích biểu thức (Tệp thực thi texvc không tìm thấy; Xem phần toán/README để được trợ giúp thiết lập.): X)

Viết nhận xét về bài viết “Ma trận hiệp phương sai”

Ghi chú

Đoạn trích mô tả ma trận hiệp phương sai

Đôi mắt tím quan sát tôi rất kỹ trong vài giây, rồi một câu trả lời bất ngờ xuất hiện:
– Anh cũng nghĩ vậy – em vẫn đang ngủ… Nhưng anh không thể đánh thức em được – người khác sẽ đánh thức em mất. Và nó sẽ không như bây giờ.
- Và khi? Và những người khác sẽ là ai?..
– Bạn bè của bạn… Nhưng bây giờ bạn không biết họ.
- Làm sao tôi biết họ là bạn, và chính là họ? – Tôi hỏi, vẻ bối rối.
“Bạn sẽ nhớ,” Veya mỉm cười.
- Liệu tôi có nhớ không?! Làm sao tôi có thể nhớ được một thứ chưa tồn tại?…” Tôi chết lặng nhìn cô ấy.
- Nó tồn tại, chỉ là không có ở đây thôi.
Cô ấy có nụ cười rất ấm áp khiến cô ấy xinh đẹp đến khó tin. Dường như mặt trời tháng Năm đã ló ra từ sau đám mây và chiếu sáng mọi thứ xung quanh.
– Bạn có cô đơn ở đây trên Trái đất không? – Tôi không thể tin được.
- Dĩ nhiên là không. Có rất nhiều người trong chúng ta, chỉ khác nhau thôi. Và chúng ta đã sống ở đây rất lâu rồi, nếu đó là điều bạn muốn hỏi.
-Cậu đang làm gì ở đây? Và tại sao bạn lại đến đây? – Tôi không thể dừng lại.
– Chúng tôi giúp đỡ khi cần thiết. Tôi không nhớ họ đến từ đâu, tôi không có ở đó. Tôi chỉ đang quan sát tình trạng của bạn bây giờ... Đây là nhà của tôi.
Cô gái đột nhiên trở nên rất buồn. Và tôi muốn giúp đỡ cô ấy bằng cách nào đó, nhưng thật tiếc là điều đó vẫn chưa nằm trong khả năng nhỏ bé của tôi...
– Cậu thực sự muốn về nhà phải không? – Tôi hỏi kỹ.
Veya gật đầu. Đột nhiên hình dáng mong manh của cô ấy lóe lên rực rỡ... và chỉ còn lại tôi - cô gái “ngôi sao” biến mất. Điều đó rất, rất không trung thực!.. Cô ấy không thể đứng dậy và bỏ đi!!! Điều này lẽ ra không bao giờ xảy ra!... Sự oán giận thực sự của một đứa trẻ, món đồ chơi yêu thích nhất của nó đột nhiên bị lấy đi, đang hoành hành trong tôi... Nhưng Veya không phải là một món đồ chơi, và thành thật mà nói, lẽ ra tôi phải biết ơn điều đó. cô ấy vì thực tế là cô ấy đã thực sự đến với tôi. Nhưng trong tâm hồn “đau khổ” của tôi lúc đó một “cơn bão cảm xúc” thực sự đang phá hủy những hạt logic còn sót lại, và sự bối rối hoàn toàn ngự trị trong đầu tôi… Vì vậy, không có tư duy “logic” nào trong đó cả. khoảnh khắc này không còn nghi ngờ gì nữa, và tôi “đau lòng” trước sự mất mát khủng khiếp của mình, hoàn toàn “nhấn chìm” vào đại dương “tuyệt vọng đen tối”, nghĩ rằng vị khách “ngôi sao” của mình sẽ không bao giờ quay lại với mình nữa… Tôi muốn nhiều hơn thế nữa hỏi cô ấy! Và cô ấy đột nhiên lấy nó và biến mất... Và rồi đột nhiên tôi cảm thấy rất xấu hổ... Nếu mọi người hỏi cô ấy nhiều như tôi muốn hỏi, cô ấy sẽ không còn thời gian để sống!.. Ý nghĩ này phần nào khiến tôi bình tĩnh lại ngay lập tức . Lẽ ra tôi nên đơn giản chấp nhận với lòng biết ơn tất cả những điều tuyệt vời mà cô ấy đã cho tôi thấy (ngay cả khi tôi chưa hiểu mọi thứ), và đừng càu nhàu với số phận vì sự thiếu “sẵn sàng” như mong muốn, thay vì chỉ di chuyển sự lười biếng của mình. “sự phức tạp” và tìm ra câu trả lời cho những câu hỏi đang dày vò tôi. Tôi nhớ đến bà của Stella và nghĩ rằng bà hoàn toàn đúng khi nói về sự nguy hiểm của việc nhận một thứ gì đó mà không có gì, bởi vì không gì có thể tệ hơn một người lúc nào cũng chỉ quen lấy đồ. Hơn nữa, dù có mất bao nhiêu đi nữa, anh ta cũng sẽ không bao giờ nhận được niềm vui khi tự mình đạt được điều gì đó và sẽ không bao giờ trải qua cảm giác thỏa mãn độc nhất vô nhị khi tự mình tạo ra thứ gì đó.
Tôi ngồi một mình rất lâu, chậm rãi “nhai” miếng ăn cho những suy nghĩ được giao, biết ơn về cô gái “ngôi sao” mắt tím tuyệt vời. Và cô ấy mỉm cười, biết rằng bây giờ tôi chắc chắn sẽ không bao giờ dừng lại cho đến khi tôi tìm ra những người bạn mà tôi không biết này là ai, và họ sẽ đánh thức tôi khỏi giấc mơ nào... Sau đó, tôi thậm chí không thể tưởng tượng được, rằng , cho dù tôi có cố gắng đến đâu, và dù tôi có cố gắng đến đâu, điều này sẽ chỉ xảy ra sau rất nhiều năm, và những “bạn bè” của tôi sẽ thực sự đánh thức tôi... Chỉ có điều đây sẽ không phải là điều tôi có thể làm được tưởng tượng thậm chí đoán...
Nhưng rồi mọi thứ dường như đều có thể xảy ra với tôi một cách trẻ con, và với tất cả lòng nhiệt thành bất diệt và sự kiên trì “sắt đá” của mình, tôi quyết định thử...
Dù tôi có muốn nghe tiếng nói hợp lý của logic đến mức nào đi nữa, bộ não nghịch ngợm của tôi vẫn tin rằng, mặc dù thực tế là Veya rõ ràng biết chính xác những gì cô ấy đang nói, nhưng tôi vẫn sẽ đạt được mục tiêu của mình và tìm được những người đó sớm hơn tôi đã hứa. (hoặc những sinh vật), những người được cho là sẽ giúp tôi thoát khỏi tình trạng “ngủ đông” khó hiểu của tôi. Lúc đầu, tôi quyết định thử đi ra ngoài Trái đất một lần nữa và xem ai sẽ đến với tôi ở đó... Đương nhiên, không thể nghĩ ra điều gì ngu ngốc hơn, nhưng vì tôi đã ngoan cố tin rằng rốt cuộc mình sẽ đạt được điều gì đó, Tôi lại phải lao đầu vào những “thí nghiệm” mới, có lẽ còn rất nguy hiểm…
Không hiểu sao lúc đó Stella tốt bụng của tôi gần như ngừng “bước đi”, và không hiểu vì lý do gì, cô ấy đang “thả rông” trong thế giới đầy màu sắc của mình, không muốn tiết lộ cho tôi biết lý do thực sự khiến cô ấy buồn. Nhưng bằng cách nào đó, tôi đã thuyết phục được cô ấy đi “đi dạo” với tôi lần này, khiến cô ấy quan tâm đến sự nguy hiểm của chuyến phiêu lưu mà tôi đang lên kế hoạch, và cũng bởi thực tế là tôi vẫn còn hơi ngại khi thử “xa” như vậy. chỉ đạt được” các thí nghiệm.
Tôi đã cảnh báo bà tôi rằng tôi sẽ thử một điều gì đó “rất nghiêm túc”, bà chỉ bình tĩnh gật đầu và chúc bà may mắn (!)... Tất nhiên, điều này khiến tôi phẫn nộ “đến tận xương tủy”, nhưng tôi đã quyết định không để cho cô ấy thấy sự oán giận của mình, và bĩu môi như một con gà tây Giáng sinh, tôi tự thề với mình rằng, dù có phải trả giá bao nhiêu đi chăng nữa, hôm nay sẽ có chuyện xảy ra!... Và tất nhiên, nó đã xảy ra... chỉ là không đúng như những gì tôi mong đợi .
Stella đã đợi sẵn cho tôi, sẵn sàng cho “những chiến công khủng khiếp nhất”, và chúng tôi cùng nhau tập hợp lại, lao “vượt quá giới hạn”...
Lần này mọi chuyện trở nên dễ dàng hơn đối với tôi, có lẽ vì đây không phải là lần đầu tiên, và cũng có thể vì chính tinh thể màu tím đó đã được “phát hiện”… Tôi được mang đi như một viên đạn vượt quá tầm trí tuệ của Trái đất, và Nó Lúc đó tôi mới nhận ra rằng mình đã làm quá sức một chút... Stella, theo thỏa thuận chung, đang đợi ở “ranh giới” để bảo hiểm cho tôi nếu cô ấy thấy có điều gì đó không ổn… Nhưng nó đã qua rồi “ sai rồi” ngay từ đầu, và lúc này tôi đang ở đâu, tôi vô cùng hối tiếc vì cô ấy đã không thể liên lạc với tôi được nữa.

Momen tương quan của các biến ngẫu nhiên X và Y là kỳ vọng toán học của tích các giá trị này:

Đối với các đại lượng rời rạc:

Đối với liên tục:

Khoảnh khắc tương quan đặc trưng cho sự hiện diện (vắng mặt) của mối liên hệ giữa các giá trị của X và Y.

Tính chất của hiệp phương sai

Đặt X, Y là hai biến ngẫu nhiên được xác định trên cùng một không gian xác suất. Khi đó hiệp phương sai của chúng được xác định như sau:

1) hiệp phương sai là đối xứng

cov(X,Y)=cov(Y,X)

2) Do tính tuyến tính của kỳ vọng toán học, hiệp phương sai có thể được viết là:

3) Hiệp phương sai của một biến ngẫu nhiên với chính nó bằng phương sai:

4) Nếu X, Y độc lập các biến ngẫu nhiên thì

Ma trận hiệp phương sai là ma trận bao gồm các hiệp phương sai theo cặp của các phần tử của một hoặc hai vectơ ngẫu nhiên.

Ma trận hiệp phương sai của vectơ ngẫu nhiên là ma trận vuông đối xứng, trên đường chéo là phương sai của các thành phần vectơ và các phần tử ngoài đường chéo là hiệp phương sai giữa các thành phần.

3.10 Hệ số tương quan. Của cải. Sự phụ thuộc tương quan tuyến tính.

Hệ số tương quan là thước đo sự phụ thuộc tuyến tính của hai biến ngẫu nhiên.

Trong đó K xy biểu thị hiệp phương sai và D là viết tắt của phương sai.

Của cải:

2) Hệ số tương quan là +- 1 khi và chỉ nếu X và Y phụ thuộc tuyến tính:

3) Nếu X,Y là các biến ngẫu nhiên độc lập thì q X,Y = 0. Nói chung, điều ngược lại là không đúng.

Mối tương quan giữa x và y được gọi là tuyến tính nếu cả hai đường hồi quy (đối với y và y đối với x) đều thẳng.

3.11 Phân phối chuẩn hai biến. Trung tâm phân tán. Công thức xác suất

chạm vào hình chữ nhật.

Một vectơ ngẫu nhiên hai chiều có phân phối chuẩn nếu mật độ của nó là

Các giá trị trung bình (kỳ vọng toán học) M[x]=a M[Y]=b xác định điểm (a,b), được gọi là tâm phân bố xác suất chung hoặc tâm phân tán.

Công thức xác suất trúng...

3.12 Thảm có điều kiện. Kỳ vọng. Hồi quy. Hệ số hồi quy tuyến tính.

Kỳ vọng có điều kiện là giá trị trung bình của một biến ngẫu nhiên so với phân bố có điều kiện.

Hàm g(X) = α + βХ được gọi là xấp xỉ tốt nhất của Y theo nghĩa phương pháp bình phương tối thiểu nếu kỳ vọng toán học M(Y - g(X))2 lấy giá trị thấp nhất có thể có; hàm g(X) được gọi là hồi quy bình phương trung bình của Y trên X.

Hệ số hồi quy tuyến tính biểu thị tốc độ thay đổi của biến phụ thuộc đối với một yếu tố nhất định, với các yếu tố khác cố định (trong mô hình tuyến tính, tốc độ này không đổi):

5.1 Bất đẳng thức Chebyshev

Cho biến ngẫu nhiên

được xác định trên không gian xác suất

và kỳ vọng toán học và phương sai của nó là hữu hạn. Sau đó

Trong đó a lớn hơn 0.

Cụ thể, một biến ngẫu nhiên có phương sai hữu hạn lệch khỏi giá trị trung bình hơn 2 lần độ lệch chuẩn với xác suất nhỏ hơn 25%. Nó lệch khỏi giá trị trung bình 3 lần độ lệch chuẩn với xác suất nhỏ hơn 11,2%.

3.3. Kỳ vọng toán học và hiệp phương sai của vectơ và ma trận

Khi làm việc với các mô hình tuyến tính, sẽ thuận tiện hơn khi biểu diễn dữ liệu dưới dạng vectơ hoặc ma trận. Các phần tử của một số vectơ hoặc ma trận thống kê mô hình tuyến tính là các biến ngẫu nhiên. Định nghĩa của một biến ngẫu nhiên đã được đưa ra. Giá trị của biến này phụ thuộc vào kết quả ngẫu nhiên của thí nghiệm.

Cuốn sách này thảo luận về một loại vectơ biến phản ứng ngẫu nhiên trong đó các phần tử có thể tương quan với nhau và các biến ảnh hưởng đến chúng là có thể kiểm soát được và không ngẫu nhiên. Trong một mô hình tuyến tính cụ thể, các biến ảnh hưởng đến phản hồi đều có các giá trị xác định được chọn hoặc tính toán. Như vậy, trong các mô hình tuyến tính đang xét có hai vectơ biến ngẫu nhiên:

Tại= và e=.

Giá trị Tôi biến thứ y Tôi (Tôi=1, 2, …, N) phản ứng được quan sát là kết quả của việc thực hiện Tôi-kinh nghiệm thứ của thí nghiệm và các giá trị của biến e Tôi các lỗi ngẫu nhiên không được quan sát nhưng có thể được ước tính từ các giá trị quan sát được của biến phản hồi và giá trị của các biến ảnh hưởng đến nó.

Khi xem xét mô hình tuyến tính, vectơ và ma trận của các biến ngẫu nhiên được sử dụng rộng rãi nên trước hết cần khái quát hóa các ý tưởng toán học về kỳ vọng, hiệp phương sai và phân tán cho chúng.

Kỳ vọng toán học

Kỳ vọng toán học của một vectơ Tại kích thước P x1 biến ngẫu nhiên y 1, y 2, ..., y Pđược định nghĩa là một vectơ của các giá trị mong đợi của chúng:

E(Tại)=E= = =y, (3.3.1)

Ở đâu E(y Tôi)=yTôi hóa ra ở dạng E(y Tôi)=, sử dụng hàm tôi(ừ tôi) mật độ xác suất của phân bố vô điều kiện của biến y Tôi.

Nếu như X Và Tại P x1, thì theo (3.3.1) và (3.2.7), kỳ vọng toán học của tổng của chúng bằng tổng các kỳ vọng toán học của chúng:

E(X+Tại)=E(X)+E(Tại). (3.3.2)

Hãy để bạn ij (Tôi=1, 2, ..., tôi; j=1, 2, ..., P) một tập hợp các biến ngẫu nhiên với các giá trị kỳ vọng E(y ij). Bằng cách biểu diễn các biến ngẫu nhiên và giá trị kỳ vọng của chúng dưới dạng ma trận, chúng ta có thể định nghĩa một toán tử kỳ vọng ma trận tổng quát Y=(y ij) kích thước tôi X P theo cách sau:

Sự định nghĩa 3.3.1 . Kỳ vọng của một ma trận Y các biến ngẫu nhiên bằng ma trận kỳ vọng toán học của các phần tử của nó

E(Y)=[E(y ij)].

Bằng cách tương tự với biểu thức (3.3.1), các giá trị mong đợi của ma trận Y các biến ngẫu nhiên được trình bày dưới dạng ma trận các giá trị kỳ vọng:

E(Y)==. (3.3.3)

Một vectơ có thể được coi là một ma trận, do đó Định nghĩa 3.3.1 và định lý sau đây cũng đúng cho vectơ.

Định lý 3.3.1. Nếu ma trận A=(a ij) kích thước tôi X tôi, B=(b ij) kích thước N X P, C=(c ij) kích thước tôi X P– tất cả đều có các giá trị số không đổi làm phần tử và Y– ma trận kích thước tôi X N các biến ngẫu nhiên thì

E(AYB+C)=MỘTE(Y)B+C. (3.3.4)

Bằng chứngđược đưa ra trong các sách [Seber (1980) p.19; Seber, Lee (2003) tr.5]

Ở đó người ta cũng chứng minh rằng nếu ma trận MỘT Và TRONG kích thước tôi X N, có các phần tử là các giá trị số không đổi và X Và Tại- vectơ có kích thước thay đổi ngẫu nhiên P x1 thì

E(Ah+Bù)=MỘTE(X)+BE(Tại).

Nếu như f(Y) – hàm ma trận tuyến tính Y, thì giá trị kỳ vọng của nó được tìm thấy theo công thức E[f(Y)]=f[E(Y)]. Ví dụ, nếu các ma trận MỘT kích thước R X tôi, B kích thước P X R Và VỚI kích thước R X R- tất cả đều có giá trị số không đổi là phần tử và ma trận Y kích thước T X P các biến ngẫu nhiên thì

E[theo dõi(AYB+C)]=theo dõi[E(AYB+C)], bởi vì theo dõi ma trận - toán tử tuyến tính

=theo dõi[MỘTE(Y)B+C], bởi vì AYB+C- hàm ma trận tuyến tính Y

=theo dõi[MỘTE(Y)B]+theo dõi(C). (3.3.5)

Hiệp phương sai và phương sai

Tương tự, chúng ta có thể khái quát hóa các khái niệm về hiệp phương sai và độ phân tán của vectơ. Nếu vectơ của biến ngẫu nhiên X kích thước tôi x1 và Tại kích thước N x1 thì hiệp phương sai của các vectơ này được xác định như sau.

Sự định nghĩa 3.3. 2 . Hiệp phương sai của vectơ X Và Tại biến ngẫu nhiên là ma trận hiệp phương sai hình chữ nhật của các phần tử của chúng

C(X, Tại)=[C(X Tôi, y j)].

Định lý 3.3.2. Nếu vectơ ngẫu nhiên X Và Tại có vectơ kỳ vọng toán học E(x)=x Và E(Tại)=y, thì hiệp phương sai của chúng

C(X, Tại)=E[(x–x)(y–y)T].

Bằng chứng:

C(X, Tại)=[C(X Tôi, y j)]

={E[(X Tôi–x Tôi)(y j–y j)]) [theo (3.2.9)]

=E[(x–x)(y–y)T]. [như được định nghĩa trong 3.3.1]

Chúng ta hãy áp dụng định lý này để tìm ma trận hiệp phương sai vectơ X kích thước 3x1 và Tại kích thước 2x1

C(X, Tại)=E[(x–x)(y–y) T]

=E

=E

=.

Sự định nghĩa 3.3. 3 . Nếu nhưX=Tại, thì ma trận hiệp phương sai C(Tại, Tại) được viết dưới dạng D(Tại)=E[(y–y)(y–y) T ] và gọi điện ma trận phương sai và hiệp phương sai vectơ Tại. Như vậy,

D(Tại)=E[(y–y)(y–y) T ]=[ C(y Tôi, y j)]

=. (3.3.4)

Và kể từ khi C(y Tôi, y j)=C(y j, y Tôi), sau đó ma trận(3.3.4)đối xứng và hình vuông.

Ma trận phương sai và hiệp phương sai của một vectơ Tạiđược biểu thị bằng giá trị kỳ vọng của sản phẩm ( y–y)(y–y) T . Theo (A.2.13), sản phẩm ( ừ tôi–yTôi)(năm tháng–yj) là ( ij)phần tử thứ của ma trận ( y–y)(y–y) T . Do đó, theo (3.2.9) và (3.3.4), kỳ vọng toán học E[(ừ tôi–yTôi)(năm tháng–yj)]=s ij là ( ij) phần tử thứ E[(y–y)(y–y)T]. Từ đây

E[(y–y)(y–y) T ]= . (3.3.5)

Phương sai s 11 , s 22 , ..., s trang các biến y 1, y 2, ..., y P và hiệp phương sai của chúng ij, cho tất cả Tôi≠j, có thể được biểu diễn thuận tiện bằng ma trận phương sai và hiệp phương sai, đôi khi được gọi là ma trận hiệp phương sai và được ký hiệu là chữ viết hoa S những trường hợp thấp hơn:

S=D(Tại)= (3.3.6)

Trong ma trận S Tôi- dòng i chứa phương sai của biến y Tôi và hiệp phương sai của nó với từng biến khác của vectơ Tại. Để phù hợp với ký hiệu s ij, chúng tôi sử dụng cho phương sai s ii=s Tôi 2 ở đâu Tôi =1, 2, ..., N. Trong trường hợp này, sự phân tán nằm dọc theo đường chéo của ma trận S và hiệp phương sai chiếm vị trí bên ngoài đường chéo. Lưu ý sự khác biệt về ý nghĩa giữa các ký hiệu D(Tại)=S cho vectơ và VỚI(y Tôi, y j)=s ij cho hai biến.

Ma trận S phương sai và hiệp phương sai là đối xứng, vì s ij=s kỷ[cm. (3.2.9)]. Trong nhiều ứng dụng người ta giả định rằng ma trận S tích cực nhất định. Điều này thường đúng nếu các biến ngẫu nhiên liên tục được xem xét và không có mối quan hệ tuyến tính giữa chúng. Nếu giữa các biến có phụ thuộc tuyến tính, thì ma trận S sẽ xác định không âm.

Ví dụ: Hãy tìm ma trận phương sai và hiệp phương sai của vectơ Tại kích thước 3x1

D(Tại)=E[(y–y)(y–y) T]

=E

=E

=
.

=.

Như sau từ Định nghĩa 3.3.3,

D(Tại)=E[(Tại–y)(y–y) T ], (3.3.7)

mà sau một phép biến đổi tương tự như phép biến đổi được thực hiện trong (3.2.4) sẽ dẫn đến biểu thức

D(y)=E(ừ T)– ừ T . (3.3.8)

Hai biểu thức cuối cùng là sự tổng quát hóa tự nhiên của các kết quả một chiều được cho bởi các biểu thức (3.2.2) và (3.2.4).

Ví dụ 3.3.1. Nếu như MỘT- bất kỳ vectơ nào Giá trị kiểu số cùng kích cỡ P x1, giống như vectơ Tại, Cái đó

D(y–MỘT)=D(y).

Điều này xuất phát từ thực tế là y Tôi–tôi–E(y Tôi–tôi)=y Tôi–tôi–E(y Tôi)+tôi= y Tôi–E(y Tôi), Vì thế

C(y Tôi–tôi, y j–một j)=C(y Tôi, y j).

Nhớ lại rằng ma trận đối xứng MỘT là xác định dương nếu với mọi vectơ Tại≠0 dạng bậc hai Tại T ồ> 0. Trong phần tiếp theo, định lý sau sẽ được sử dụng thường xuyên.

Định lý 3.3.3. Nếu như Tại- vectơ của các biến ngẫu nhiên trong đó không có biến nào là tổ hợp tuyến tính của các biến khác, nghĩa là không có vectơ MỘT≠0 và những con số b như vậy mà MỘT T Tại=b cho bât ki ai Tại, Cái đó D(Tại)=S là ma trận xác định dương.

Bằng chứngĐịnh lý này được đưa ra trong [Seber (1980) p.22].

Phương sai tổng quát và vector chuẩn hóa

Ma trận S chứa các phương sai và hiệp phương sai của tất cả P biến vectơ ngẫu nhiên Tại và trình bày một cách toàn diện sự biến đổi đầy đủ của chúng. Một thước đo tổng quát đặc trưng cho sự biến thiên của các biến ngẫu nhiên của một vectơ Tại, có thể đóng vai trò là định thức của ma trận S:

Phương sai tổng quát =det( S). (3.3.9)

Là một thống kê phương sai tổng quát, phương sai mẫu tổng quát được sử dụng, được xác định bởi định thức của ma trận S=Y T ( TÔI–E/N)Y/(N–1) các biến thể và hiệp phương sai của giá trị mẫu của biến vectơ Tại, được biểu diễn bằng ma trận Y=[y 1 , y 2 , …, y k], trong đó các cột của nó bao gồm các vectơ giá trị của các biến vectơ Tại :

Phương sai mẫu tổng quát =det( S). (3.3.10)

Nếu phát hiện( S) nhỏ thì giá trị của các biến vectơ Tại nằm gần các giá trị vectơ trung bình của chúng hơn if det( S) đã lớn. Giá trị nhỏ det( S) cũng có thể chỉ ra rằng các biến y 1 , y 2 ,..., y P vectơ Tại có mối tương quan chặt chẽ với nhau và có xu hướng chiếm một không gian con nhỏ hơn P phép đo tương ứng với một hoặc hơn các giá trị riêng nhỏ.

Để có được thước đo hữu ích về sự khác biệt giữa các vectơ Tại Và y cần phải tính đến phương sai và hiệp phương sai của các biến vectơ Tại. Đối với một biến ngẫu nhiên chuẩn hóa thu được theo công thức z=(у– y)/s và có giá trị trung bình bằng 0 và phương sai bằng 1, chênh lệch chuẩn hóa giữa các vectơ Tại Và yđược định nghĩa là

Sự khác biệt được chuẩn hóa =( Tại–y) T S –1 (Tại–y). (3.3.11)

Sử dụng ma trận S–1 trong biểu thức này chuẩn hóa (biến đổi) các biến vectơ Tại sao cho các biến chuẩn hóa có trung bình bằng 0 và phương sai bằng 1, đồng thời trở nên không tương quan. Điều này xảy ra vì ma trận S tích cực nhất định. Theo Định lý A.6.5 nó ma trận nghịch đảo cũng xác định dương. Nhờ vào (A.12.18), ma trận S –1 =S –1/2 S–1/2. Từ đây

(Tại–y) T S –1 (Tại–y)=(Tại–y) T S –1/2 S –1/2 (Tại–y)

=[S –1/2 (Tại–y)] T [ S –1/2 (Tại–y)]

=z T z,

Ở đâu z=S –1/2 (Tại–y) là một vectơ của các biến ngẫu nhiên được chuẩn hóa. Kỳ vọng toán học của một vectơ z hóa ra

E(z)=E[S –1/2 (Tại–y)]=S –1/2 [E(Tại)–y]=0

và phương sai của nó

D(z)=D[S –1/2 (Tại–y)]=S –1/2 D(Tại–y)S –1/2 =S –1/2 SS –1/2 =S –1/2 S 1/2 S 1/2 S –1/2 =TÔI.

Do đó, theo đoạn 2 của Định lý 4.5.2 của chương tiếp theo, vectơ S –1/2 (Tại–y) có phân phối chuẩn N(0 , TÔI).

Đối với chênh lệch chuẩn hóa, dưới dạng tham số, có một thống kê tương ứng, cụ thể là khoảng cách chuẩn hóa mẫu, được xác định bởi công thức ( Tại -) T S –1 (Tại –) và thường được gọi là khoảng cách Mahalanobis. Một số P hyperellipsoid chiều ( Tại -) T S –1 (Tại –)=MỘT 2, vector tập trung và dựa trên S–1 để chuẩn hóa khoảng cách đến tâm, chứa các giá trị mẫu của các biến vectơ Tại. Hyperellipsoid ( Tại -) T S –1 (Tại –) có trục tỉ lệ căn bậc hai giá trị riêng của ma trận S. Có thể chứng minh rằng thể tích của hyperellipsoid tỷ lệ với 1/2. Nếu tối thiểu giá trị riêng ma trận S bằng 0 thì không có trục theo hướng này và hyperellipsoid nằm ở ( P–1) không gian con chiều P-không gian chiều. Do đó khối lượng của nó là P không gian chiều bằng 0. Giá trị riêng bằng 0 biểu thị sự dư thừa của các biến vectơ Tại. Để loại bỏ điều này, cần phải loại bỏ một hoặc nhiều biến là tổ hợp tuyến tính của các biến khác.