Proprietățile matricei de covarianță. Matricea deviației distanței este o matrice de corelație vectorială. Coeficient de corelație. Proprietăți. Corelație liniară

Am vorbit despre esența transformării deviației și aplicarea acesteia la matricea distanțelor pătrate. În al doilea, aruncăm puțină ceață pe spectrele seturilor geometrice simple.

În acest articol vom încerca să dezvăluim sensul transformării abaterii, spre care ne întoarcem sarcini aplicate legate de prelucrarea și analiza datelor. Să arătăm cum este legată transformarea abaterii unei matrice de distanță cu statistici - cu dispersie, corelație și covarianță.

7. Centrarea și normalizarea coordonatelor unidimensionale

Vom face încălzirea pe ceva simplu și ușor de înțeles pentru toată lumea - centrarea și normalizarea datelor. Să avem o serie de numere. Apoi operația de centrare se reduce la găsirea mediei (centroidul mulțimii)

Și construirea unui nou set ca diferență între numerele originale și centroidul lor (medie):

Centrarea este primul pas către sistemul de coordonate nativ (CCS) al mulțimii inițiale, deoarece suma coordonatelor centrate este 0. Al doilea pas este normalizarea sumei pătratelor coordonatelor centrate la 1. Pentru a efectua această operație , trebuie să calculăm această sumă (mai precis, media):

Acum putem construi SCS-ul setului original ca un set de valori proprii Sși numere normalizate (coordonate):

Distanțele pătrate dintre punctele mulțimii inițiale sunt definite ca diferențele dintre pătratele componentelor vectorului propriu înmulțite cu valoarea proprie. Să remarcăm că valoarea proprie S s-a dovedit a fi egală cu varianța mulțimii inițiale (7.3).

Prin urmare orice set de numere vă puteți defini propriul sistem de coordonate, adică izolați valoarea valorii proprii (aka varianță) și calculați coordonatele vectorului propriu prin centrarea și normalizarea numerelor originale. Misto.

Un exercițiu pentru cei cărora le place să „simtă cu mâinile”. Construiți SCS pentru mulțime (1, 2, 3, 4).

Răspuns.

Valoare proprie (varianta): 1,25.
Vector propriu: (-1,342, -0,447, 0,447, 1,342).

8. Centrarea şi ortonormalizare coordonate multidimensionale

Ce se întâmplă dacă, în loc de un set de numere, ni se oferă un set de vectori - perechi, tripleți și alte dimensiuni ale numerelor. Adică, un punct (nod) este specificat nu de o coordonată, ci de mai multe. Cum se construiește un SSC în acest caz?

Da, puteți construi o matrice de distanțe pătrate, apoi puteți determina matricea de deviație și puteți calcula spectrul pentru aceasta. Dar noi am aflat despre asta nu cu mult timp în urmă. De obicei, au făcut (și fac) diferit.

Să introducem o notație pentru componentele mulțimii. Ni se dau puncte (noduri, variabile, vectori, tupluri) și fiecare punct este caracterizat de componente numerice. Vă rugăm să rețineți că cel de-al doilea indice este numărul componentei (coloanele matricei), iar primul indice este numărul punctului (nodul) setului (rândurile matricei).

Am primit o matrice de date centrată (DCM).
Urmatorul pas Este ca și cum ar trebui să calculăm varianța pentru fiecare componentă și să le normalizăm. Dar nu vom face asta. Pentru că, deși în acest fel obținem cu adevărat vectori normalizați, avem nevoie ca acești vectori să fie independenți, adică ortonormal. Operația de normalizare nu rotește vectorii (ci modifică doar lungimea lor), dar trebuie să rotim vectorii perpendicular unul pe celălalt. Cum să o facă?

Răspunsul corect (dar inutil în prezent) este calcularea vectorilor proprii și a numerelor (spectrul). Inutil pentru că nu am construit o matrice pentru care să poată fi citit spectrul. Matricea noastră de date centrată (CDD) nu este pătrată – nu puteți calcula valorile proprii. În consecință, trebuie să construim un fel de matrice pătrată. Acest lucru se poate face prin înmulțirea MCD-ului cu el însuși (la pătrat).

Dar aici - atenție! O matrice nepătrată poate fi pătrată în două moduri - prin înmulțirea originalului cu cel transpus. Și invers - prin înmulțirea celui transpus cu cel original. Dimensiunea și semnificația celor două matrice rezultate sunt diferite.

Înmulțind MCD-ul cu cel transpus, obținem matricea de corelație:

Din această definiție(mai sunt și altele) rezultă că elementele matricei de corelație sunt produse scalare ale vectorilor centrați. În consecință, elementele diagonalei principale reflectă pătratul lungimii acestor vectori.
Valorile matricei nu sunt normalizate (de obicei sunt normalizate, dar pentru scopurile noastre acest lucru nu este necesar). Dimensiunea matricei de corelație coincide cu numărul de puncte sursă (vectori).

Acum rearanjam matricele înmulțite în (8.1) și obținem matricea de covarianță(din nou, omitem multiplicatorul 1/(1-n), care este de obicei folosit pentru a normaliza valorile covarianței):

Aici componentele (nu vectorii) sunt multiplicate. În consecință, dimensiunea matricei de covarianță este egală cu numărul de componente originale. Pentru perechi de numere, matricea de covarianță are o dimensiune de 2x2, pentru tripleți - 3x3 etc.

De ce este importantă dimensiunea matricelor de corelație și covarianță? Trucul este că, deoarece matricele de corelație și covarianță provin din produsul aceluiași vector, ele au același set de valori proprii, același rang(număr de dimensiuni independente) ale matricei. De regulă, numărul de vectori (puncte) depășește cu mult numărul de componente. Prin urmare, rangul matricelor este judecat după dimensiunea matricei de covarianță.

Elementele de covarianță diagonală reflectă varianța componentelor. După cum am văzut mai sus, varianța și valorile proprii sunt strâns legate. Prin urmare, putem spune că, la o primă aproximare, valorile proprii ale matricei de covarianță (și, prin urmare, corelația) sunt egale cu elementele diagonale (și dacă nu există dispersie intercomponentă, atunci ele sunt egale în orice aproximare).

Dacă sarcina este de a găsi pur și simplu spectrul de matrice (valori proprii), atunci este mai convenabil să-l rezolvi pentru matricea de covarianță, deoarece, de regulă, dimensiunea lor este mică. Dar dacă trebuie să găsim și vectori proprii (definim propriul nostru sistem de coordonate) pentru mulțimea originală, atunci trebuie să lucrăm cu matricea de corelație, deoarece aceasta reflectă multiplicarea vectorilor. Este posibil ca algoritmul optim să fie o combinație de diagonalizări a două matrice - mai întâi am găsit valorile proprii pentru covarianță și apoi, pe baza acestora, am determinat vectorii proprii ai matricei de corelație.

Ei bine, din moment ce am ajuns până aici, să menționăm că notoria metodă a componentelor principale constă în calcularea spectrului matricei de covarianță/corelație pentru un set dat de date vectoriale. Componentele spectrului găsite sunt situate de-a lungul axelor principale ale elipsoidului de date. Acest lucru rezultă din considerația noastră deoarece axele principale sunt acele axe pentru care dispersia (împrăștierea) datelor este maximă și, prin urmare, valoarea spectrului este maximă.

Adevărat, pot exista și variații negative, iar atunci analogia cu un elipsoid (pseudo-elipsoid?) nu mai este evidentă.

9. Matricea deviației distanței este o matrice de corelație vectorială

Toate acestea sunt în regulă, dar ce legătură are transformarea abaterii cu asta?

Să considerăm o situație în care cunoaștem nu o mulțime de numere (vectori) care caracterizează unele puncte (noduri), ci o mulțime de distanțe între puncte (și între toate). Sunt suficiente aceste informații pentru a determina SCS (sistemul propriu de coordonate) al setului?

Am dat răspunsul în prima parte - da, complet. Aici vom arăta că matricea de deviație a distanțelor pătrate construită folosind formula (1.3") și matricea de corelație a vectorilor centrați (8.1) definită de noi mai sus sunt aceeași matrice.

Cum sa întâmplat asta? Tu însuți ești șocat. Pentru a verifica acest lucru, trebuie să înlocuiți expresia cu elementul matricei distanțelor pătrate

La formula de conversie a abaterii:

Rețineți că media matricei distanțelor pătrate reflectă varianța mulțimii inițiale (presupunând că distanțele din mulțime sunt suma componentelor pătrate):

Înlocuind (9.1) și (9.3) în (9.2), după reduceri simple ajungem la expresia pentru matricea de corelație (8.1):

Deci, suntem convinși că prin aplicarea operației de abatere la matricea distanței euclidiene obținem matrice cunoscută corelații. Rangul matricei de corelație coincide cu rangul matricei de covarianță (numărul de componente ale spațiului euclidian). Această circumstanță este cea care ne permite să construim un spectru și propriul nostru sistem de coordonate pentru punctele inițiale pe baza matricei distanțelor.

Pentru o matrice de distanță arbitrară (nu neapărat euclidiană), rangul potențial (numărul de dimensiuni) este cu unul mai mic decât numărul de vectori originali. Calculul spectrului (sistemul propriu de coordonate) vă permite să determinați componentele principale (principale) care afectează distanțele dintre puncte (vectori).

Matricea distanțelor dintre orașe, de exemplu, este evident non-euclidiană - nu sunt specificate componente (caracteristicile orașelor). Transformarea deviației face totuși posibilă determinarea spectrului unei astfel de matrice și a coordonatelor proprii ale orașelor.

Dar nu în acest articol. Asta e tot deocamdată, mulțumesc pentru timpul acordat.

Variațiile în estimările parametrilor vor determina în cele din urmă acuratețea ecuației regresie multiplă. Pentru a le măsura într-un mod multidimensional analiza regresiei luați în considerare așa-numita matrice de covarianță a vectorului estimărilor parametrilor E n , care este o matrice analogă a dispersiei unei variabile:

ÎN vedere generala liniară multidimensională model de regresie dependența lui y de variabilele explicative,..., are forma:

Pentru a estima parametrii necunoscuți, un eșantion aleator de volum n este prelevat dintr-o variabilă aleatoare (k+1)-dimensională (y,…,).

Sub formă de matrice, modelul arată astfel:

• - vector coloană a valorilor reale ale variabilei dependente de dimensiunea n;
• - matricea valorilor variabilelor explicative de dimensiunea n*(k+1);
• - vector coloană a parametrilor necunoscuți de estimat, dimensiunea (k+1);
• - vector coloană de erori aleatoare de dimensiune n cu așteptare matematică ME=0 și, respectiv, matrice de covarianță, în timp ce

Matricea unitară a dimensiunii (nxn).

Estimările parametrilor necunoscuți se găsesc folosind metoda celor mai mici pătrate, minimizând suma scalară a pătratelor peste componentele vectorului b.

obținem suma scalară a pătratelor

Condiția pentru a transforma suma rezultată la minim este sistemul de ecuații normale:

, (j=0,1,2,…,k).

Ca rezultat al diferențierii obținem:

Când înlocuim vectorul parametrilor necunoscuți în cu estimări obținute prin metoda celor mai mici pătrate, obținem următoarea expresie:

Estimările rezultate pentru vectorul b sunt imparțial și eficiente.

Matricea de covarianță a vectorului b are forma:

unde este varianța reziduală.

Matricea de covarianță poate fi de orice dimensiune. Fie numerele ale căror erori sunt. Să calculăm varianțele și covarianțele

Din ele putem construi și o matrice de covarianță

Această matrice are proprietatea de simetrie unde „T” este semnul transpoziției - înlocuind rândurile matricei cu coloane sau invers.

Elementele diagonalei principale a acestei matrice reprezintă varianțele vectorului estimărilor b. Elementele rămase sunt valorile coeficienților de covarianță:

Deci evaluarea este funcție liniară asupra variabilei dependente. Ea are distributie normala cu așteptări și variații matematice.

Estimarea imparțială a varianței reziduale este determinată de formula:

unde n este dimensiunea populației eșantionului;

k este numărul de variabile explicative.

Pentru a verifica semnificația ecuației de regresie, utilizați testul F de analiză a varianței bazat pe descompunere valoare totală abateri la pătrat în părți componente:

unde este suma abaterilor pătrate (de la zero) datorate regresiei;

Suma abaterilor pătrate ale valorilor reale ale variabilei dependente față de cele calculate, adică suma abaterilor pătrate față de planul de regresie, datorită influenței unor factori aleatori neluați în considerare în model.

Pentru a testa ipoteza, se folosește cantitatea

care are o distribuţie Fisher-Snedecor F cu grade de libertate şi. Dacă, atunci ecuația de regresie este semnificativă, i.e. există cel puțin un coeficient de regresie în ecuație care este diferit de zero.

Dacă ecuația de regresie este semnificativă, se verifică semnificația coeficienților individuali de regresie. Pentru a testa ipoteza nulă, se folosește valoarea

care are o distributie Fisher-Snedecor F cu grade de libertate si; - elementul corespunzător al diagonalei principale a matricei de covarianță.

Un coeficient de regresie este considerat semnificativ dacă. Pentru coeficienți de regresie semnificativi, intervalele de încredere pot fi construite folosind formula

unde este tabelul de distribuție Student pentru nivelul de semnificație și numărul de grade de libertate.

În analiza regresiei în mai multe etape, trei abordări sunt cele mai bine cunoscute:

• 1. Metoda de căutare aleatorie cu adaptare. Se realizează prin construirea mai multor ecuații de regresie bazate pe un principiu dezvoltat formal de includere a factorilor și apoi selectarea celei mai bune ecuații în funcție de un anumit criteriu.
• 2. Metoda de includere a variabilelor, bazată pe construirea unei ecuații de regresie pentru un factor semnificativ și adăugarea succesivă a tuturor celorlalte variabile semnificative statistic prin calcularea coeficienților de corelație parțială și testul F la verificarea semnificației factorului introdus în model
• 3. Metoda de eliminare a factorilor folosind criteriul t. Aceasta metoda constă în construirea ecuaţiilor de regresie pentru numărul maxim posibil de variabile explicative şi excluderea ulterioară a factorilor nesemnificativi statistic.

Componenta vectorială și elementele în afara diagonalei sunt covarianțele dintre componente.

Matricea de covarianță a unui vector aleatoriu este un analog multidimensional al varianței unei variabile aleatorii pentru vectori aleatori. Matricea de covarianță a doi vectori aleatori este un analog multidimensional al covarianței dintre două variabile aleatorii.

În cazul unui vector aleatoriu distribuit normal, matricea de covarianță, împreună cu așteptarea matematică a acestui vector, determină complet distribuția acestuia (prin analogie cu faptul că așteptarea matematică și varianța unei variabile aleatoare distribuite normal determină complet distribuția sa)

Definiții

• Lăsa texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(X):\Omega \to \mathbb(R)^n , Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(Y):\Omega \to \mathbb(R)^m- doi vectori de dimensiune aleatorie Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): nȘi Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): m respectiv. Să fie și variabile aleatoare Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor la configurare.): X_i,Y_j,\; i=1,\ldots, n,\; j = 1,\ldots, m au un al doilea moment finit, adică Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor la configurare.): X_i,Y_j \in L^2. Apoi matricea de covarianță vectorială Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(X),\mathbf(Y) numit

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \Sigma = \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathbb(E)\left[(\mathbf(X) - \mathbb( E)\mathbf(X))(\mathbf(Y) - \mathbb(E)\mathbf(Y))^(\sus)\dreapta], Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): \Sigma = (\sigma_(ij)) , Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \sigma_(ij) = \mathrm(cov)(X_i,Y_j) \equiv \mathbb(E)\left[(X_i - \mathbb(E)X_i) (Y_j - \ mathbb(E)Y_j)\dreapta],\; i=1,\ldots, n,\; j = 1,\ldots, m , Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbb(E)- valorea estimata .

Proprietățile matricelor de covarianță

• O formulă scurtată pentru calcularea matricei de covarianță:

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \mathrm(cov)(\mathbf(X)) = \mathbb(E)\left[\mathbf(X) \mathbf(X)^(\top)\right ] - \mathbb(E)[\mathbf(X)] \cdot \mathbb(E)\left[\mathbf(X)^(\sus)\right] . Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathrm(cov)(\mathbf(X)) \ge 0 .

• Schimbarea scalei:

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor la configurare.): \mathrm(cov)\left(\mathbf(a)^(\top) \mathbf(X)\right) = \mathbf(a)^(\top) \ mathrm(cov)(\mathbf(X)) \mathbf(a),\; \forall \mathbf(a) \in \mathbb(R)^n .

• Dacă vectori aleatori Nu se poate analiza expresia (Fișier executabil texvc Și Nu se poate analiza expresia (Fișier executabil texvc necorelat ( Nu se poate analiza expresia (Fișier executabil texvc ), Acea

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathrm(cov)(\mathbf(X) + \mathbf(Y)) = \mathrm(cov)(\mathbf(X)) + \mathrm(cov)( \mathbf (Y)) .

• Matricea de covarianță a transformării afine:

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathrm(cov)\left(\mathbf(A) \mathbf(X) + \mathbf(b)\right) = \mathbf(A) \mathrm(cov) (\ mathbf(X)) \mathbf(A)^(\top) ,

Unde Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \mathbf(A)- matrice de dimensiuni arbitrare Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; A se vedea math/README - ajutor la configurare.): n \times n, A Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(b)\in \mathbb(R)^n .

• Rearanjarea argumentelor:

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathrm(cov)(\mathbf(Y),\mathbf(X))^ (\ top)

• Matricea de covarianță este aditivă pentru fiecare argument:

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \mathrm(cov)(\mathbf(X)_1 + \mathbf(X)_2,\mathbf(Y)) = \mathrm(cov)(\mathbf(X) _1, \mathbf(Y)) + \mathrm(cov)(\mathbf(X)_2,\mathbf(Y)) , Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor de configurare.): \mathrm(cov)(\mathbf(X),\mathbf(Y)_1 + \mathbf(Y)_2) = \mathrm(cov)(\mathbf(X) ,\ mathbf(Y)_1) + \mathrm(cov)(\mathbf(X),\mathbf(Y)_2) .

• Dacă Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(X)Și Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathbf(Y) sunt independente, atunci

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \mathrm(cov)(\mathbf(X),\mathbf(Y)) = \mathbf(0) .

Matricea de covarianță condiționată

Matricea de covarianță a unui vector aleatoriu este o caracteristică a distribuției sale. În cazul unei distribuții normale (multivariate), valoarea așteptată a unui vector și matricea sa de covarianță determină complet distribuția acestuia. Caracteristici condiţional distribuția unui vector aleatoriu furnizat valoarea stabilită Un alt vector aleator este, respectiv, așteptarea condiționată (funcția de regresie) și matricea de covarianță condiționată.

Să fie vectori aleatori Nu se poate analiza expresia (Fișier executabil texvc Și Nu se poate analiza expresia (Fișier executabil texvc au o distribuție normală comună cu așteptările matematice Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor la configurare.): \mu_X, \mu_Y, matrice de covarianță Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor la configurare.): V_X, V_Yși matricea de covarianță Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor pentru configurare.): C_(XY). Aceasta înseamnă că vectorul aleator combinat Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați math/README pentru ajutor pentru configurare.): \boldsymbol Z = \begin(bmatrix) \boldsymbol X \\ \boldsymbol Y \end(bmatrix) respectă o distribuție normală multivariată cu un vector de așteptare matematică Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; A se vedea math/README - ajutor la configurare.): \boldsymbol \mu_(Z) = \begin(bmatrix) \boldsymbol \mu_X \\ \boldsymbol \mu_Y \end(bmatrix),și o matrice de covarianță care poate fi reprezentată ca următoarea matrice de bloc

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): \boldsymbol V_Z = \begin(bmatrix) \boldsymbol V_X & \boldsymbol C_(XY) \\ \boldsymbol C_(YX) & \boldsymbol V_(Y) \end(bmatrix ) Unde Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor cu configurare.): C_(YX)=C^T_(XY)

Apoi vectorul aleatoriu Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): Y pentru o valoare vectorială aleatoare dată Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): X are o distribuție normală (condițională) cu următoarea așteptare condiționată și matrice de covarianță condiționată

Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Vezi matematică/README - ajutor la configurare.): E(Y|X=x)=\mu_Y+C_(YX)V^(-1)_X(x-\mu_X), \qquad V(Y|X= x )=V_Y-C_(YX)V^(-1)_XC_(XY)

Prima egalitate definește funcția de regresie liniară (dependența așteptării matematice condiționate a vectorului Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): Y dintr-o valoare dată x a unui vector aleatoriu Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): X), și matricea Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor pentru configurare.): C_(XY)V^(-1)- matricea coeficienților de regresie.

Matricea de covarianță condiționată este matricea de covarianță a erorilor aleatoare ale regresiilor liniare ale componentelor vectoriale Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): Y a vector Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): X .

Dacă Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): Y- o variabilă aleatoare obișnuită (vector cu o singură componentă), matricea de covarianță condiționată este varianța condiționată (în esență - eroare aleatorie regresie Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematica/README pentru ajutor de configurare.): Y a vector Nu se poate analiza expresia (Fișier executabil texvc nu a fost găsit; Consultați matematică/README pentru ajutor de configurare.): X)

Scrieți o recenzie despre articolul „Matricea de covarianță”

Note

Extras care caracterizează matricea de covarianță

Ochii violet m-au studiat cu mare atenție timp de câteva secunde, apoi a venit un răspuns neașteptat:
– M-am gândit așa – încă dormi... Dar eu nu te pot trezi – te vor trezi alții. Și nu va fi acum.
- Și atunci când? Și cine vor fi acești alții?...
– Prietenii tăi... Dar acum nu-i cunoști.
- De unde să știu că sunt prieteni și că ei sunt? – am întrebat eu, nedumerită.
— Îți vei aminti, a zâmbit Veya.
- Îmi voi aminti?! Cum pot să-mi amintesc ceva care încă nu există?... M-am uitat la ea, uluit.
- Există, doar că nu aici.
Avea un zâmbet foarte cald care o făcea incredibil de frumoasă. Părea de parcă soarele de mai ieșise din spatele unui nor și luminase totul în jur.
– Ești singur aici pe Pământ? — Nu-mi venea să cred.
- Desigur că nu. Suntem mulți, doar diferiți. Și locuim aici de foarte mult timp, dacă asta ai vrut să întrebi.
-Ce faci aici? Și de ce ai venit aici? — Nu m-am putut opri.
– Ajutăm atunci când este nevoie. Nu-mi amintesc de unde au venit, nu am fost acolo. Mă uitam doar cum ești acum... Aceasta este casa mea.
Fata a devenit brusc foarte tristă. Și am vrut să o ajut cumva, dar, spre marele meu regret, nu era încă în mica mea putere...
— Chiar vrei să mergi acasă, nu-i așa? – am întrebat eu cu grijă.
Veya dădu din cap. Deodată silueta ei fragilă a fulgerat strălucitor... și am rămas singur - fata „vedetă” a dispărut. A fost foarte, foarte necinstit!... Nu se putea ridica și pleca!!! Asta nu ar fi trebuit să se întâmple niciodată!... Adevărata resentimente a unui copil, căruia i s-a luat brusc cea mai preferată jucărie, făcea furie în mine... Dar Veya nu era o jucărie și, să fiu sincer, ar fi trebuit să-i fiu recunoscător. ea pentru faptul că de fapt a venit la mine. Dar în sufletul meu „suferint” în acel moment, o adevărată „furtună emoțională” distrugea boabele de logică rămase, iar în capul meu domnea o confuzie completă... Prin urmare, nicio gândire „logică” în acest moment nu era nicio îndoială, iar eu, „frânt” de pierderea mea cumplită, „cufundat” complet în oceanul „deznădejdii negre”, gândindu-mă că oaspetele meu „vedetă” nu se va mai întoarce niciodată la mine... Îmi doream mult mai mult intreab-o! Și ea deodată a luat-o și a dispărut... Și apoi deodată m-am simțit foarte rușinat... Dacă toată lumea ar întreba-o cât de mult aș vrea eu, n-ar mai avea timp de trăit!.. Gândul ăsta m-a liniștit cumva imediat. . Ar fi trebuit să accept pur și simplu cu recunoștință toate lucrurile minunate pe care ea a reușit să mi le arate (chiar dacă nu am înțeles totul încă), și să nu mor de soartă pentru insuficiența „gata” dorită, în loc să-mi mișc doar leneșul. „convoluții” și să găsesc răspunsurile la întrebările care mă chinuiau. Mi-am adus aminte de bunica Stelei și am crezut că are perfectă dreptate când a vorbit despre pericolele de a primi ceva degeaba, pentru că nimic nu poate fi mai rău decât o persoană care este obișnuită să ia lucrurile tot timpul. În plus, oricât ar lua, nu va primi niciodată bucuria de a fi realizat el însuși ceva și nu va experimenta niciodată sentimentul unic de satisfacție de a fi creat el însuși ceva.
Am stat multă vreme singură, „mestecând” încet hrana de gândire dată mie, gândindu-mă recunoscător la uimitoarea fată „stea” cu ochi mov. Și ea a zâmbit, știind că acum cu siguranță nu mă voi opri niciodată până nu voi afla cine sunt acești prieteni pe care nu-i cunosc și din ce fel de vis ar trebui să mă trezească... Atunci nici nu mi-am putut imagina că , oricât m-aș strădui, și oricât m-aș strădui, asta se va întâmpla abia după mulți, mulți ani, iar „prietenii” mei chiar mă vor trezi... Numai că asta nu va fi deloc ceea ce aș putea vreodată. Imaginați-vă chiar și ghiciți...
Dar apoi totul mi s-a părut copilăresc de posibil și cu toată ardoarea mea nemuritoare și perseverența „de fier” am decis să încerc...
Indiferent cât de mult mi-aș fi dorit să ascult vocea rezonabilă a logicii, creierul meu obraznic a crezut că, în ciuda faptului că Veya se pare că știa exact despre ce vorbește, îmi voi atinge scopul și îmi voi găsi oamenii aceia mai devreme decât mi s-a promis. (sau creaturi) care ar fi trebuit să mă ajute să scap de o „hibernare a urșilor” de neînțeles de-a mea. La început, m-am hotărât să încerc din nou să trec dincolo de Pământ și să văd cine o să vină la mine acolo... Desigur, era imposibil să mă gândesc la ceva mai prostesc, dar din moment ce mă încăpățânam să cred că voi realiza ceva până la urmă, A trebuit să merg cu capul din nou în noi „experimente” poate chiar foarte periculoase...
Dintr-un motiv oarecare, buna mea Stella aproape că s-a oprit în „mersul” în acel moment și, dintr-un motiv necunoscut, „s-a moștenit” în lumea ei colorată, nevrând să-mi dezvăluie adevăratul motiv al tristeții ei. Dar am reușit cumva să o conving să meargă la o „plimbare” cu mine de data aceasta, devenind-o interesată de pericolul aventurii pe care o plănuiam și de faptul că încă îmi era puțin frică să încerc așa „departe”. atingând” experimente singure.
Am avertizat-o pe bunica că voi încerca ceva „foarte serios”, la care ea doar dădu din cap cu calm și i-a urat noroc (!)... Desigur, asta m-a revoltat „până la oase”, dar hotărând. ca să nu-i arăt resentimentele mele, și făcându-mi ca un curcan de Crăciun, mi-am jurat că, indiferent cât m-ar costa, ceva se va întâmpla azi!... Și bineînțeles, s-a întâmplat... doar că nu tocmai ce mă așteptam. .
Stella mă aștepta deja, pregătită pentru „cele mai groaznice fapte”, iar noi, împreună și adunați, ne-am repezit „dincolo de limită”...
De data aceasta mi s-a dovedit mult mai ușor, poate pentru că nu a fost prima dată, și poate și pentru că a fost „descoperit” același cristal violet... Am fost purtat ca un glonț dincolo de nivelul mental al Pământului, și atunci mi-am dat seama că am exagerat puțin... Stella, conform acordului general, aștepta la „limită” să mă asigure dacă a văzut că ceva nu a mers prost... Dar deja trecuse” greșit” de la bun început, iar acolo unde mă aflam în momentul de față, ea, spre marele meu regret, nu a mai putut ajunge la mine.

Momentul de corelație al variabilelor aleatoare X și Y este așteptarea matematică a produsului acestor valori:

Pentru cantități discrete:

Pentru continuu:

Momentul de corelare caracterizează prezența (absența) unei conexiuni între valorile lui X și Y.

Proprietățile covarianței

Fie X,Y două variabile aleatoare definite pe același spațiu de probabilitate. Apoi covarianța lor este definită după cum urmează:

1) covarianța este simetrică

cov(X,Y)=cov(Y,X)

2) Datorită liniarității așteptării matematice, covarianța poate fi scrisă ca:

3) Covarianța unei variabile aleatoare cu ea însăși este egală cu varianța:

4) Dacă X,Y independent variabile aleatorii, atunci

O matrice de covarianță este o matrice compusă din covarianțe perechi ale elementelor unuia sau doi vectori aleatori.

Matricea de covarianță a unui vector aleatoriu este o matrice pătrată simetrică, pe diagonala căreia sunt varianțele componentelor vectoriale, iar elementele în afara diagonalei sunt covarianțele dintre componente.

3.10 Coeficient de corelație. Proprietăți. Dependența de corelație liniară.

Coeficientul de corelație este o măsură a dependenței liniare a două variabile aleatoare.

Unde K xy denotă covarianță și D reprezintă varianță.

Proprietăți:

2) Coeficientul de corelație este +- 1 dacă și numai dacă X și Y sunt dependente liniar:

3) Dacă X,Y sunt variabile aleatoare independente, atunci q X,Y = 0. Reversul, în general, nu este adevărat.

Corelația dintre x și y se numește liniară dacă ambele drepte de regresie (pentru y și y pentru x) sunt drepte.

3.11 Distribuție normală bivariată. Centrul de dispersie. Formula probabilității

lovește dreptunghiul.

Un vector aleator bidimensional are o distribuție normală dacă densitatea sa este

Valorile medii (așteptări matematice) M[x]=a M[Y]=b determină punctul (a,b), numit centrul distribuției comune de probabilitate sau centrul de dispersie.

Atingeți formula probabilității...

3.12 Mat condițional. Aşteptare. Regresia. Coeficientul de regresie liniară.

Așteptarea condiționată este valoarea medie a unei variabile aleatoare în raport cu distribuția condiționată.

Funcția g(X) = α + βX se numește cea mai bună aproximare a lui Y în sensul metodei celor mai mici pătrate dacă așteptarea matematică M(Y - g(X))2 ia cea mai mică valoare posibilă; funcția g(X) se numește regresia pătratică medie a lui Y pe X.

Coeficienții de regresie liniară arată rata de modificare a variabilei dependente pentru un anumit factor, cu alți factori fixați (într-un model liniar această rată este constantă):

5.1 Inegalitatea lui Cebyshev

Fie variabila aleatoare

definit pe spațiul de probabilitate

iar așteptările și varianța sa matematică sunt finite. Apoi

Unde a este mai mare decat 0.

În special, o variabilă aleatorie cu varianță finită se abate de la medie cu mai mult de 2 abateri standard cu o probabilitate mai mică de 25%. Se abate de la medie cu 3 abateri standard cu o probabilitate mai mică de 11,2%.

3.3. Așteptări și covarianțe matematice ale vectorilor și matricelor

Când lucrați cu modele liniare, este convenabil să reprezentați datele sub formă de vectori sau matrice. Elemente ale unor vectori sau matrici statistice modele liniare sunt variabile aleatorii. S-a dat definiția unei variabile aleatoare. Valoarea acestei variabile depinde de rezultatul aleatoriu al experimentului.

Această carte discută un tip de vector variabil de răspuns aleator în care elementele pot fi corelate, iar variabilele care le influențează sunt controlabile și non-aleatoare. Într-un anumit model liniar, variabilele care influențează răspunsul au valori deterministe selectate sau calculate. Astfel, în modelele liniare luate în considerare există doi vectori de variabile aleatoare:

la= și e=.

Valori i variabila y i (i=1, 2, …, n) răspunsul se observă ca urmare a efectuării i-a experiență a experimentului și valorile variabilei e i erorile aleatoare nu sunt observate, dar pot fi estimate din valorile observate ale variabilei răspuns și valorile variabilelor care o influențează.

Atunci când se consideră modele liniare, vectorii și matricele variabilelor aleatoare sunt utilizate pe scară largă, așa că în primul rând este necesar să se generalizeze ideile de așteptare matematică, covarianță și dispersie pentru ele.

Așteptări matematice

Așteptările matematice ale unui vector la dimensiuni P x1 variabile aleatoare y 1, y 2, ..., y P este definit ca un vector al valorilor lor așteptate:

E(la)=E= = =y, (3.3.1)

Unde E(y i)=yi rezultă în formă E(y i)=, folosind funcția f i(y eu) densitatea de probabilitate a distribuției necondiționate a variabilei y i.

Dacă XȘi la P x1, atunci, în virtutea (3.3.1) și (3.2.7), așteptările matematice ale sumei lor este egală cu suma așteptărilor lor matematice:

E(X+la)=E(X)+E(la). (3.3.2)

Lasă-te ij (i=1, 2, ..., m; j=1, 2, ..., P) un set de variabile aleatoare cu valori așteptate E(y ij). Exprimând variabile aleatoare și valorile așteptate ale acestora sub formă de matrice, putem defini un operator general de așteptare a matricei Y=(y ij) dimensiuni m X P in felul urmator:

Definiție 3.3.1 . Așteptarea unei matrice Y variabile aleatoare este egală cu matricea așteptărilor matematice ale elementelor sale

E(Y)=[E(y ij)].

Prin analogie cu expresia (3.3.1), valorile așteptate ale matricei Y variabilele aleatoare sunt prezentate ca o matrice de valori așteptate:

E(Y)==. (3.3.3)

Un vector poate fi considerat ca o matrice, prin urmare, Definiția 3.3.1 și următoarea teoremă sunt valabile și pentru vectori.

Teorema 3.3.1. Dacă matrice A=(a ij) dimensiuni l X m, B=(b ij) dimensiuni n X p, C=(c ij) dimensiuni l X p– toate au valori numerice constante ca elemente și Y– matricea dimensiunilor m X n variabile aleatorii, atunci

E(AYB+C)=AE(Y)B+C. (3.3.4)

Dovada dat în cărţile [Seber (1980) p.19; Seber, Lee (2003) p.5]

Se mai dovedeşte acolo că dacă matricele AȘi ÎN dimensiuni m X n, ale căror elemente sunt valori numerice constante, și XȘi la- vectori de mărimi ale variabilelor aleatoare P x1, atunci

E(Ah+Bu)=AE(X)+BE(la).

Dacă f(Y) – funcție matriceală liniară Y, atunci valoarea sa așteptată este găsită prin formula E[f(Y)]=f[E(Y)]. De exemplu, dacă matricele A dimensiuni R X m, B dimensiuni P X RȘi CU dimensiuni R X R- toate au valori numerice constante ca elemente, iar matricea Y dimensiuni T X P variabile aleatorii, atunci

E[urmări(AYB+C)]=urmări[E(AYB+C)], deoarece urmări matrice - operator liniar

=urmări[AE(Y)B+C], deoarece AYB+C- funcţia matriceală liniară Y

=urmări[AE(Y)B]+urmări(C). (3.3.5)

Covarianțele și variațiile

În mod similar, putem generaliza conceptele de covarianță și dispersie pentru vectori. Dacă vectori de variabile aleatoare X dimensiuni m x1 și la dimensiuni n x1, atunci covarianța acestor vectori este determinată după cum urmează.

Definiție 3.3. 2 . Covarianța vectorilor XȘi la variabile aleatoare este o matrice de covarianță dreptunghiulară a elementelor lor

C(X, la)=[C(X i, y j)].

Teorema 3.3.2. Dacă vectori aleatori XȘi la au vectori ai așteptărilor matematice E(X)=XȘi E(la)=y, apoi covarianța lor

C(X, la)=E[(X–X)(y–y)T].

Dovada:

C(X, la)=[C(X i, y j)]

={E[(X i-X i)(y j– y j)]) [în virtutea (3.2.9)]

=E[(X–X)(y–y)T]. [astfel cum este definit la 3.3.1]

Să aplicăm această teoremă pentru a găsi matricea de covarianță vectorială X dimensiuni 3x1 și la dimensiuni 2x1

C(X, la)=E[(X–X)(y–y) T]

=E

=E

=.

Definiție 3.3. 3 . DacăX=la, apoi matricea de covarianță C(la, la) scris sub forma D(la)=E[(y–y)(y–y) T ] și numit matricea de varianță și covarianțe vectoriale la. Prin urmare,

D(la)=E[(y–y)(y–y) T ]=[ C(y i, y j)]

=. (3.3.4)

Și de când C(y i, y j)=C(y j, y i), apoi matricea(3.3.4)simetrică și pătrată.

Matricea varianțelor și covarianțelor unui vector la reprezentată ca valoarea așteptată a produsului ( y–y)(y–y) T . În virtutea (A.2.13), produsul ( y eu–yi)(y j–yj) este ( ij)al-lea element al matricei ( y–y)(y–y) T . Astfel, în virtutea (3.2.9) și (3.3.4), așteptarea matematică E[(y eu–yi)(y j–yj)]=s ij este ( ij)-lea element E[(y–y)(y–y)T]. De aici

E[(y–y)(y–y) T ]= . (3.3.5)

Variante s 11 , s 22 , ..., s pp variabilele y 1, y 2, ..., y Pși covarianțele lor s ij, pentru toți i≠j, poate fi reprezentat convenabil printr-o matrice de varianțe și covarianțe, care este uneori numită matrice de covarianță și este notat majusculă S s minuscule:

S=D(la)= (3.3.6)

În matrice S eu- linia i conține varianța variabilei y iși covarianța acesteia cu fiecare dintre celelalte variabile ale vectorului la. Pentru a fi în concordanță cu notația s ij, folosim pentru varianțe s ii=s i 2 unde i =1, 2, ..., n. În acest caz, dispersiile sunt situate de-a lungul diagonalei matricei S iar covarianțele ocupă poziții în afara diagonalei. Observați diferența de sens dintre notații D(la)=S pentru vector şi CU(y i, y j)=s ij pentru două variabile.

Matrice S varianțele și covarianțele este simetrică, deoarece s ij=s ji[cm. (3.2.9)]. În multe aplicații se presupune că matricea S definit pozitiv. Acest lucru este de obicei adevărat dacă sunt luate în considerare variabile aleatoare continue și nu există relații liniare între ele. Dacă între variabile există dependențe liniare, apoi matricea S voi definit nenegativ.

De exemplu, să găsim matricea de varianțe și covarianțe ale vectorului la dimensiuni 3x1

D(la)=E[(y–y)(y–y) T]

=E

=E

=
.

=.

După cum rezultă din Definiția 3.3.3,

D(la)=E[(la–y)(y–y) T ], (3.3.7)

care după o transformare similară cu cea făcută în (3.2.4) duce la expresia

D(y)=E(da T)– da T . (3.3.8)

Ultimele două expresii sunt o generalizare naturală a rezultatelor unidimensionale date de expresiile (3.2.2) și (3.2.4).

Exemplul 3.3.1. Dacă A- orice vector valori numerice aceleasi marimi P x1, la fel ca vectorul la, Acea

D(y–A)=D(y).

Aceasta rezultă din faptul că y i–un i–E(y i–un i)=y i–un i–E(y i)+un i=y i–E(y i), Asa de

C(y i–un i, y j–un j)=C(y i, y j).

Reamintim că matricea simetrică A este pozitiv definit dacă pentru toți vectorii la≠0 formă pătratică la T Ay>0. În cele ce urmează, următoarea teoremă va fi folosită frecvent.

Teorema 3.3.3. Dacă la- un vector de variabile aleatoare în care niciuna dintre variabile nu este o combinație liniară a celorlalte, adică nu există niciun vector A≠0 si numere b astfel încât A T la=b pentru oricine la, Acea D(la)=S este o matrice definită pozitivă.

Dovada Această teoremă este dată în [Seber (1980) p.22].

Varianta generalizata și vector normalizat

Matrice S conţine varianţele şi covarianţele tuturor P variabile vectoriale aleatorii lași prezintă cuprinzător variația lor completă. O măsură generalizată care caracterizează variația variabilelor aleatoare ale unui vector la, poate servi ca determinant al matricei S:

Varianta generalizata =det( S). (3.3.9)

Ca statistică de varianță generalizată, se utilizează varianța generalizată a eșantionului, determinată de determinantul matricei S=Y T ( eu–E/n)Y/(n–1) variațiile și covarianțele valorilor eșantionului de variabile vectoriale la, reprezentată de matrice Y=[y 1 , y 2 , …, y k], unde coloanele sale sunt compuse din vectori de valori ale variabilelor vectoriale la :

Varianta generalizata a esantionului =det( S). (3.3.10)

Dacă det( S) este mic, atunci valorile variabilelor vectoriale la sunt situate mai aproape de valorile vectoriale medii decât dacă det( S) a fost mare. Valoare mică det( S) poate indica, de asemenea, că variabilele y 1 , y 2 ,..., y P vector la sunt puternic corelate reciproc și tind să ocupe un subspațiu mai mic decât P măsurători, care corespunde uneia sau Mai mult valori proprii mici.

Pentru a obține o măsură utilă a diferenței dintre vectori laȘi y este necesar să se ţină cont de varianţele şi covarianţele variabilelor vectoriale la. În ceea ce privește o variabilă aleatoare normalizată obținută prin formula z=(у– y)/s și având o medie egală cu 0 și o varianță egală cu 1, diferența normalizată dintre vectori laȘi y este definit ca

Diferența normalizată =( la–y) T S –1 (la–y). (3.3.11)

Utilizarea Matricei S–1 în această expresie normalizează (transformă) variabilele vectoriale la astfel încât variabilele normalizate au medii egale cu 0 și varianțe egale cu 1 și, de asemenea, devin necorelate. Acest lucru se întâmplă deoarece matricea S definit pozitiv. Prin teorema A.6.5 it matrice inversă este, de asemenea, definit pozitiv. În virtutea (A.12.18), matricea S –1 =S –1/2 S–1/2. De aici

(la–y) T S –1 (la–y)=(la–y) T S –1/2 S –1/2 (la–y)

=[S –1/2 (la–y)] T [ S –1/2 (la–y)]

=z T z,

Unde z=S –1/2 (la–y) este un vector de variabile aleatoare normalizate. Așteptările matematice ale unui vector z se dovedește

E(z)=E[S –1/2 (la–y)]=S –1/2 [E(la)–y]=0

și variația acesteia

D(z)=D[S –1/2 (la–y)]=S –1/2 D(la–y)S –1/2 =S –1/2 SS –1/2 =S –1/2 S 1/2 S 1/2 S –1/2 =eu.

Prin urmare, prin paragraful 2 al teoremei 4.5.2 din capitolul următor, vectorul S –1/2 (la–y) are o distribuție normală N(0 , eu).

Pentru diferența normalizată, ca parametru, există o statistică corespunzătoare, și anume distanța normalizată eșantion, definită prin formula ( la -) T S –1 (la –) și este adesea numită distanța Mahalanobis. niste P- hiperelipsoid dimensional ( la -) T S –1 (la –)=A 2, vector centrat și bazat pe S–1 pentru a normaliza distanța până la centru, conține valorile eșantionului variabilelor vectoriale la. hiperelipsoid ( la -) T S –1 (la –) are axe proporționale rădăcini pătrate valori proprii ale matricei S. Se poate demonstra că volumul unui hiperelipsoid este proporțional cu 1/2. Dacă minimul valoare proprie matrici S este egal cu zero, atunci nu există nicio axă în această direcție și hiperelipsoidul este situat în ( P–1)-subspațiu dimensional P-spaţiul dimensional. Prin urmare, volumul său este P-spațiul dimensional este egal cu 0. O valoare proprie zero indică redundanța variabilelor vectoriale la. Pentru a elimina acest lucru, este necesar să eliminați una sau mai multe variabile care sunt combinații liniare ale celorlalte.