Categorii de sisteme informatice. Publicaţii

2003 Întreprindere inteligentă

ERP + OLAP = sistem eficient de raportare

În ultimii ani au apărut destule publicații pe OLAP (istorie, descriere, tehnologie, soluții gata făcute), dar pentru majoritatea specialiștilor implicați în contabilitate, management și planificare, acest termen rămâne oarecum de neînțeles.

Scopul acestui articol este de a introduce experiența practică în implementarea unei soluții de întocmire a rapoartelor bazate pe tehnologiile OLAP la Mostransgaz LLC, cea mai mare întreprindere de transport intern de gaze.

Acest OLAP de neînțeles

OLAP (On-line Analytical Processing) este de obicei tradus ca procesare analitică a datelor. Și această definiție este înșelătoare pentru potențialii utilizatori ai tehnologiei. Există o credință puternică în Rusia că aceste sisteme sunt utilizate exclusiv de specialiști și analiști cu înaltă calificare pentru a efectua analize complexe. În Occident, ele sunt privite ca sisteme care simplifică înțelegerea datelor și schimbul acestora între toți angajații companiei. Am văzut din propria noastră experiență că abordarea occidentală a OLAP este corectă.

Pentru practicienii IT, OLAP este o tehnologie pentru crearea rapidă a rapoartelor interactive. De regulă, un raport OLAP poate fi dezvoltat practic fără programare, folosind metoda drag&drop. Proiectarea și programarea necesită doar etapa de extragere și pregătire a datelor pentru rapoartele din sistemele corporative ale întreprinderii. O serie de rapoarte pentru un anumit domeniu poate fi configurată în doar câteva ore.

Pentru utilizatorii finali, OLAP este un raport tabelar cu subtotaluri și totaluri finale. Este eliberat aproape instantaneu și îi puteți schimba independent forma: aranjarea coloanelor și rândurilor, ordinea filtrelor și sortarea etc. Acest lucru vă permite să priviți aceleași date din unghiuri diferite. De exemplu, după ce a primit o listă de creanțe, cercetați datele arhivate și evaluați dacă debitorul a avut probleme cu plățile în ultimul trimestru, în urmă cu șase luni sau în ultimul an? O analiză cuprinzătoare vă permite să evaluați rapid situația și să obțineți maximum de informații despre problemă pentru a schița modalitățile de rezolvare a acesteia.

Cum funcționează un sistem OLAP? Un client OLAP primește date de la sistemul informațional sursă și le organizează în structuri ierarhice în memoria computerului utilizatorului. Acest lucru vă permite să calculați rezultatele intermediare și finale (fapte) aproape instantaneu. Utilizatorul primește o interfață de raportare simplă și intuitivă. Acesta este un tabel în care, folosind mouse-ul, puteți schimba rânduri și coloane (dimensiuni) și le puteți trage în zona de filtrare, restrângând astfel datele și setând cele mai complexe combinații de filtre. Funcționalitatea sistemului vă permite să produceți zeci de soiuri ale aceluiași raport într-o singură sesiune.

Cu ajutorul unui instrument OLAP, sarcina tradițională a departamentului de automatizare - elaborarea de noi rapoarte în care unele date sunt afișate în contextul altora - se transformă în sarcina de a furniza utilizatorului date sursă. Economistul sau contabilul nu pierde timpul scriind memorii care cer un nou tip de raport sau așteaptă ca programatorii să-l proiecteze, să îl dezvolte și să îl testeze. Utilizatorul însuși construiește tipul dorit de raport, selectând câmpurile necesare din „blankul” configurat pentru acesta, modificându-le ordinea, setând filtre etc. Raportul creat poate fi ilustrat cu grafice și diagrame, tipărit pe hârtie sau încărcat în Excel .

Deci, un instrument OLAP oferă utilizatorului două avantaje principale:

• viteză mare și ușurință în configurarea unui nou raport
• viteză mare de lansare a raportului.

Intocmirea de rapoarte in sisteme ERP

Să ne întoarcem la definiția unui sistem ERP: Un sistem ERP (sistem de planificare a resurselor întreprinderii) este un sistem integrat complex care creează un mediu unificat pentru automatizarea planificării, contabilității, controlului și analizei tuturor operațiunilor majore de afaceri ale unei întreprinderi.

În mod tradițional, creatorii sistemelor ERP acordă cea mai mare atenție funcțiilor care vizează implementarea proceselor de afaceri ale întreprinderilor, fluxul de documente, contabilitate, planificare și alte domenii. Prin urmare, în primul rând, ele optimizează introducerea de noi acreditări în sistem. În același timp, posibilitatea de a utiliza datele acumulate, de a dezvolta un sistem de raportare încorporat și, cel mai important, de a converti cantități uriașe de date în informații pentru luarea deciziilor de management sunt relegate în plan secund.

Fără excepție, toate sistemele ERP au un subsistem de raportare. Dar rapoartele create cu ajutorul acestuia nu permit managementului întreprinderii să evalueze indicatorii de performanță financiară, să identifice cele mai profitabile produse și servicii, să analizeze costurile, conturile de încasat și de plătit etc. De obicei, ca parte a subsistemului de raportare, este furnizat un minim de bază de rapoarte pe secțiunile subiectului, de exemplu, disponibilitatea mărfurilor în depozite, o situație de amortizare a mijloacelor fixe, un registru de numerar, o situație a vânzărilor de servicii etc. Nomenclatura, nivelul de suficiență și profunzimea rapoartelor personalului sunt determinate de dezvoltatori fără a ține cont de nevoile unui anumit produs utilizator final. Ca urmare, rapoartele standard sunt destinate utilizatorilor de nivel „inferior”. Aceste rapoarte sunt emise din baza de date pe care rulează sistemul contabil. Viteza generării unor astfel de rapoarte depinde invers de filtre, grupări și compoziția informațiilor.

Puteți crea rapoarte suplimentare, inclusiv cele de management, folosind instrumentele de dezvoltare a rapoartelor furnizate ca parte a sistemului ERP. În unele sisteme, acesta este un designer „avansat” cu capacitatea de a proiecta vizual, în unele este un limbaj de programare încorporat.

În orice caz, configurarea unui nou raport este efectuată de programatori și durează de la câteva ore la câteva zile, în funcție de complexitate. Chiar și o modificare minoră în structura raportului cauzează costuri semnificative de resurse.

Astfel, există o serie de factori care împiedică primirea gratuită a informațiilor din sistemul contabil:

1. Set limitat de rapoarte de bază.
2. Necesitatea de a implica programatori pentru a configura rapoarte suplimentare.
3. Viteză redusă de generare a rapoartelor complexe dintr-un SGBD comun cu sistemul de introducere a datelor.
4. Cerințe de înaltă performanță pentru stațiile de lucru locale ale utilizatorilor atunci când se generează rapoarte complexe asupra acestora

O cale de ieșire din această situație poate fi o separare a platformei de contabilitate și raportare, în care sistemul de contabilitate este optimizat pentru a reflecta procesele de afaceri, iar sistemul de raportare este o suprastructură peste datele sistemului contabil și este conceput pentru a crea și a emite rapid o varietate. a rapoartelor.

Integrarea instrumentelor OLAP cu sistemul ERP

Să luăm în considerare o posibilă opțiune de implementare a separării contabilității și raportării folosind exemplul integrării unui sistem ERP și a instrumentelor OLAP. La Mostransgaz LLC, acest model a fost construit pe baza:

• Pachetul software „Galaktika” versiunea 5.84 utilizând modulele „Circuit operațional de contabilitate” și „Circuit de contabilitate”; dezvoltat de compania „Galaktika” (www.galaktika.ru);
• Instrumente OLAP ale platformei analitice Contour: Contour Standard versiunea 4.0, Contour Cube Designer versiunea 1.0 și Contour Cube Generator versiunea 1.0; dezvoltat de Intersoft Lab.

Modelul propus ar putea fi implementat folosind alte produse software cu conținut funcțional corespunzător. Alegerea acestor sisteme a fost dictată de disponibilitatea versiunilor achiziționate, de o combinație reușită a funcționalității acestora și de experiența suficientă în funcționarea lor.

Sistemul Galaktika rulează pe platforma Btrieve\Pervasive DBMS, care, cu costuri reduse de întreținere, asigură o viteză destul de acceptabilă pentru utilizatorii care efectuează operațiuni de introducere a datelor și emit rapoarte curente. Cu toate acestea, rapoartele pe o perioadă lungă de timp, precum și rapoartele bazate pe interogări non-standard, nu sunt executate suficient de rapid. Acest lucru i-a determinat pe managerii IT ai Mostransgaz LLC să utilizeze sistemele moderne OLAP ale Platformei analitice Kontur pentru a produce rapoarte.

CONTURUL PLATFORMEI ANALITICE

Standard de contur este un instrument pentru generarea de rapoarte tabelare arbitrare și analiza datelor din diverse sisteme informaționale. În acest sistem, puteți configura accesul direct la tabelele locale și bazele de date relaționale, puteți construi interogări SQL și puteți emite rapoarte OLAP în timp real. Raportul creat este salvat pentru operare off-line și transmitere către utilizatori la distanță sub formă de fișiere microcub.

Microcub este un container mobil pentru rapoarte OLAP și date pentru prezentare în rapoarte. Stochează date descărcate din sistemele corporative automatizate, algoritmi pentru calcularea indicatorilor calculați și formulare de raportare OLAP. Datele din microcub sunt pregătite pentru analiza multidimensională și obținerea promptă a indicatorilor în diferite secțiuni. Când sunt plasate într-un microcub, volumul informațiilor originale este comprimat de zeci de ori, ceea ce le permite să fie transmise prin protocoale de internet și trimise prin e-mail.

Contour Cube Designer concepute pentru proiectarea de microcuburi și scenarii pentru generarea acestora.

Generator de cuburi de contur utilizat pentru generarea în masă a microcuburilor conform scenariilor gata făcute.

Mai multe detalii despre tehnologia OLAP, capacitățile sale și exemplele specifice de utilizare pot fi citite în articolul lui V. Nekrasov „Mobile OLAP”, publicat în revista „Open Systems” nr. 5 (2003).

Diagrama soluției generale arată astfel:

Orez. 1. Schema generală de soluție

Utilizatorii Galaxy PC lucrează în mod normal, adică introduc date și emit rapoarte curente pentru a verifica corectitudinea tranzacțiilor finalizate.

În paralel, programatorul de sarcini cu o perioadă specificată de 30 de minute începe reîncărcarea datelor din baza de date Galaxy în depozitul de date intermediar. Supraîncărcarea are loc în fundal fără a deconecta utilizatorii. Depozitul de date intermediar este o copie a bazei de date a sistemului ERP. În acest caz particular, depozitul este implementat pe platforma Firebird, dar nu există restricții pentru alte DBMS-uri. Sarcina principală a creării unui strat intermediar de date este de a separa sistemul contabil și sistemul de raportare.

Datele din depozitul intermediar sunt folosite pentru a crea microcuburi - marturi de date pentru diferite domenii de raportare (de exemplu, „execuția contractelor pentru reparații majore” sau „compunerea costurilor cu locurile lor de origine”). Crearea de microcuburi și personalizarea rapoartelor OLAP este delegată analiștilor de servicii de tehnologie a informației.

Analistul de configurare de raportare în mediul vizual „Contour Cube Designer” proiectează structurile microcuburilor, compoziția informațiilor și aspectul rapoartelor OLAP. Toate setările sunt salvate ca fișiere script.

Conform unor scenarii gata făcute, modulul „Contour Cube Generator” generează microcuburi dintr-un depozit de date intermediar la fiecare 30 de minute.

Microcuburile gata făcute conțin metadate (setări pentru apariția rapoartelor, dimensiuni și filtre accesibile de utilizator etc.) și date (selecții dintr-un depozit de date intermediar).

Folosind clientul OLAP „Kontur Standard” microcuburile sunt disponibile pentru analiști, economiști, contabili și alți consumatori de raportare.

Exemple practice de utilizare a OLAP pentru raportare

Ce probleme ajută tehnologiile OLAP să rezolve utilizatorii sistemului ERP și cum? Instrumentele OLAP extrag date din baza de date a sistemului ERP și le prezintă în rapoarte interactive pentru diverși specialiști: contabili, economiști, manageri etc. Controlul mișcării activelor materiale între depozite, analiza comparativă a prețurilor de achiziție a furnizorilor, evaluarea vânzărilor pe regiune, analiza execuției bugetului - aceasta nu este o listă completă de domenii pentru utilizarea sistemelor OLAP într-o întreprindere. De fapt, integrarea ERP și OLAP duce automatizarea suportului pentru managementul întreprinderii la un nou nivel calitativ.

Să ne uităm la câteva exemple de utilizare a OLAP la Mostransgaz.

Prezentarea raportării standard în formă OLAP

Orice raportare de bază a sistemului ERP poate fi prezentată ca un tabel OLAP. Aceasta înseamnă că utilizatorul va putea controla forma și conținutul raportului folosind operațiuni standard OLAP: gruparea și analizarea datelor, filtrarea după dimensiuni și perioade etc. După fiecare operațiune, sistemul OLAP recalculează subtotalurile și totalurile finale și afișează instantaneu un nou raport.

Acest lucru oferă angajaților din diferite departamente acces gratuit la cantități uriașe de informații pentru analiză. De exemplu, toate „șahul de cont” standard pentru un an pot fi plasate într-o singură masă OLAP. Conturile corespunzătoare vor fi prezentate în coloanele și rândurile tabelului, iar sumele tranzacțiilor vor fi prezentate în celulele de la intersecția coloanelor și rândurilor. Folosind filtre, contabilul selectează conturile pentru a le prezenta în raport, analizează contul sintetic de interes, de exemplu 10 „Materiale” (vezi figura), până la nivelul subconturilor și primește imediat o tablă de șah pentru analitica acestui cont.

Orez. 2. Raport OLAP

Analiza creantelor si datoriilor

Problema clasică pe care o rezolvă sistemele OLAP este generarea de perioade principale din date. Aceasta înseamnă că, pe baza valorilor reale pentru fiecare dată, sistemul calculează automat valorile totale ale indicatorilor pentru perioade specificate: săptămână, deceniu, lună, trimestru, an.

Acest lucru ajută la rezolvarea multor sarcini de zi cu zi de contabilitate de afaceri. De exemplu, reduce semnificativ timpul petrecut în căutarea unei datorii care se apropie de termenul de prescripție, la crearea unei rezerve pentru creanțe îndoielnice și în alte cazuri de analiză a creanțelor și datoriilor. Pentru aceasta, soldurile contului 76 „Decontări cu debitori și creditori” sunt afișate într-un raport OLAP pe perioade de apariție a datoriei, de exemplu, pe an.

Mostransgaz are relații contractuale cu un număr foarte mare de contractori. În raportul OLAP, puteți vizualiza rapid datoria fiecărei contrapărți și puteți estima valoarea datoriei pentru diferite tipuri de activități în funcție de contraparte. Pentru a face acest lucru, raportului se adaugă două dimensiuni: „Contraparte” (obiectele contabilității analitice pentru contul 76) și „Pentru ce” (subiectele contractelor cu contrapărți pentru care a apărut datorii). Totalurile pentru noile măsurători sunt calculate automat (vezi figura).

Orez. 3. Raport OLAP

Caută contra datoriei

Pentru a căuta contradatorii în raportul OLAP, soldurile debitoare și creditoare pentru conturile 60 „Decontări cu furnizorii”, 62 „Decontări cu cumpărători și clienți” și 76 „Decontări cu debitori și creditori” sunt prezentate pe contrapărți (dimensiunea „Contraparte” ), contracte (dimensiunea „Pentru ce”) și documentele de plată în temeiul contractului (dimensiunea „Document”).

Comparând subtotalurile pentru debitul și creditul conturilor, contabilul vede datoria reciprocă cu o defalcare a „cu cine” („Contraparte”), „pentru ce” și „pentru ce documente”.

Orez. 4. Raport OLAP

Analiza datoriilor si TVA

Într-un tabel OLAP, folosind filtre după fapte și dimensiuni, este ușor să selectați un formular de raport convenabil pentru rezolvarea unei anumite probleme și să selectați datele pentru comparare. Puteți modifica scara (1xN) și formatul (valoare absolută/procent) prezentării datelor. Ultimele două funcții nu sunt necesare pentru toate sistemele OLAP, dar sunt extrem de convenabile pentru rezolvarea problemelor de contabilitate.

De exemplu, în raportul „Sold 2003 pe trimestre și date” (vezi figura) pentru a compara corectitudinea soldului la conturile de plătit în contul 60 „Decontări cu furnizorii” și taxa pe valoarea adăugată (TVA) în contul 19 „TVA la valorile achiziționate „Sunt instalate două filtre. Primul filtru este după dimensiunea „Cont” pentru a afișa datele în raport pentru doar două conturi - 19 și 60. Al doilea filtru este după fapte, include afișarea soldului contului „restrâns”. Ca urmare, coloanele adiacente din raport reflectă soldurile debitoare și creditoare ale conturilor selectate defalcate pe facturi (dimensiunea C/F), contracte și contrapărți.

Pentru a verifica corectitudinea alocării TVA (18/118, înainte de 2004 20/120), contabilul cu un singur buton transformă soldul în procente conform rândurilor din tabelul de fapte. Ca urmare, în coloanele alăturate pentru fiecare factură sunt afișate valoarea plății și TVA-ul alocat din aceasta. Dacă raportul 20/120 sau 18/118 este încălcat, atunci situația din documentul contabil necesită analize și analize suplimentare.

Orez. 5. raport OLAP

Analiza costurilor intreprinderii

Pentru a analiza costurile unei întreprinderi, raportul OLAP prezintă tranzacții pentru conturile de cost (20 „Producție principală” și 23 „Producție auxiliară”) în contextul obiectelor contabile analitice (dimensiunea „Articol de cost”) și grupările acestora („ Dimensiunea tip de activitate). Ca rezultat, folosind filtre, puteți obține grupări de articole de cost din diferite conturi sintetice într-un singur raport.

Pe lângă filtre, o caracteristică utilă a OLAP este sortarea dimensiunilor după valorile de fapt. Este convenabil pentru identificarea pozițiilor prioritare sau, dimpotrivă, cel mai puțin avantajoase: sucursale, contrapărți, tipuri de activități, produse etc. De exemplu, pentru a identifica cele mai costisitoare articole pentru o anumită perioadă, puteți sorta dimensiunea Element de cost în ordine crescătoare.

Prin gestionarea compoziției dimensiunilor raportului, puteți evalua costurile întreprinderii din diferite poziții. De exemplu, pentru a analiza costurile pe diviziile structurale ale unei întreprinderi, este suficient să adăugați dimensiunea „Sucursală” la raport (a se vedea figura).

Orez. 6. Raport OLAP

Analiza performanței lucrărilor de către antreprenori

Instrumentele OLAP „vorbesc” aceeași limbă utilizatorilor lor. Acest lucru se realizează prin crearea unui strat semantic, atunci când câmpurile din baza de date a sistemului ERP primesc nume în ceea ce privește domeniul de studiu. Ca urmare a redenumiri, coloanele, rândurile și numerele dintr-un tabel OLAP capătă un sens aplicat care este înțeles de utilizatorii finali ai rapoartelor.

Un bun exemplu este raportul cu privire la indexul cardului de construcție neterminată pentru anul 2003 (vezi figura). Acesta arată starea decontărilor cu contractanții (dimensiunea „Contraparte”), din care puteți evalua progresul lucrărilor la proiectele de construcții (dimensiunea „Construcții”). Sumele plătite sunt prezentate în contextul documentelor contabile: facturi (dimensiunea „Factură”) și documentele de plată corespunzătoare și certificatele de acceptare (dimensiunea „Numărul documentului”). Tabelul de fapte prezintă soldurile conturilor 08 „Investiții în active imobilizate” (fapt „Lucrare finalizată”), 19 „TVA la activele achiziționate” (fapt „TVA la muncă”) și 60 „Decontări cu furnizorii” (fapt „Plătit” ) De exemplu, tabelul arată că pentru lucrările la construcția unei clădiri rezidențiale cu 14 etaje pe autostrada Mozhaiskoye, antreprenorului ZhilStroyKomplekt i sa plătit un avans în valoare de 41.800 de ruble conform documentului de plată A08016. În certificatul de acceptare a lucrărilor nr. 34, s-a consemnat că lucrarea în valoare de 41.800 de ruble, nesupusă TVA, a fost îndeplinită, astfel, factura nr. 256 a fost închisă.

Calculul automat al subtotalurilor pentru diferite dimensiuni de tabel vă permite să obțineți instantaneu informații suplimentare - costurile totale pentru un proiect de construcție sau un anumit furnizor.

Orez. 7. Raport OLAP

Analiza profiturilor si pierderilor intreprinderii pe tip de activitate

Pentru „Declarația de profit și pierdere” contabilul întocmește diverse grupări pentru contul 99 „Profituri și pierderi”. Într-un sistem OLAP acestea pot fi obținute aproape instantaneu.

Într-un raport OLAP, tranzacțiile pentru contul 99 combinate în grupuri arată sursele de profit (în contextul dimensiunii „Sucursală”) și domeniile de afaceri profitabile (în contextul dimensiunii „Tip de activitate”). Pentru fiecare grup de tranzacții, valorile totale sunt calculate automat pentru a compara componentele profiturilor și pierderilor.

Dacă descompuneți în continuare datele după dată în perioade: după lună, trimestru (vezi figura), etc., puteți evalua dinamica profitului la o scară diferită.

Orez. 8. Raport OLAP

Câștiguri reale

Experiența acumulată în operarea unui sistem OLAP ca supliment peste ERP a arătat o serie de aspecte pozitive semnificative:

• Generarea de rapoarte analitice aprofundate pentru utilizatori se face instantaneu.
• Configurarea rapoartelor pentru utilizatori folosind instrumente de proiectare vizuală care fac parte din sistemul OLAP este mult mai rapidă decât programarea rapoartelor. Este posibil ca un analist care configurează rapoarte să nu aibă deloc abilități de programare.
• Când lucrează cu rapoarte OLAP, utilizatorul nu este limitat în posibilitățile de analiză și sinteză a datelor. Dacă este necesar, modifică independent prezentarea raportului fără a implica un programator.
• Dând aceleași dimensiuni nume diferite, puteți personaliza rapoartele pentru diferite niveluri de informații consumatorilor. În același timp, aceleași informații pot fi ascunse în spatele unor nume diferite în rapoarte.
• Datorită vitezei mari de obținere a diferitelor rapoarte, timpul total alocat analizei stării financiare a întreprinderii este redus.
• Costurile de dezvoltare și întreținere a unui sistem de raportare al întreprinderii sunt reduse și este asigurată independența față de furnizorul de sistem ERP pentru gama de rapoarte.

Autorul speră că tot ceea ce se spune în articol va fi util pentru serviciile IT și specialiștii în aplicații ai întreprinderilor și îi va ajuta să depășească bariera artificială din calea utilizării instrumentelor OLAP pentru întocmirea diferitelor rapoarte bazate pe sisteme ERP.

Sistemele informatice ale unei întreprinderi serioase, de regulă, conțin aplicații concepute pentru analiza complexă a datelor, dinamica acestora, tendințele etc. În consecință, managementul de vârf devine principalii consumatori ai rezultatelor analizei. O astfel de analiză este în cele din urmă menită să sprijine luarea deciziilor. Iar pentru a lua orice decizie de management este nevoie de informatiile necesare, de obicei cantitative. Pentru a face acest lucru, este necesar să colectați aceste date din toate sistemele informaționale ale întreprinderii, să le aduceți într-un format comun și abia apoi să le analizați. În acest scop, sunt create Data Warehouses.

Ce este un depozit de date?

De obicei - locul unde sunt colectate toate informațiile cu valoare analitică. Cerințele pentru astfel de magazine corespund definiției clasice a OLAP și vor fi explicate mai jos.

Uneori, Warehouse are un alt scop - integrarea tuturor datelor companiei, pentru a menține integritatea și relevanța informațiilor în cadrul tuturor sistemelor informaționale. Acea. depozitul acumulează nu numai informații analitice, ci aproape toate informațiile și le poate furniza sub formă de directoare înapoi către alte sisteme.

Un depozit de date tipic este de obicei diferit de o bază de date relațională tipică. În primul rând, bazele de date obișnuite sunt concepute pentru a ajuta utilizatorii să efectueze munca de zi cu zi, în timp ce depozitele de date sunt concepute pentru a lua decizii. De exemplu, vânzarea mărfurilor și emiterea facturilor se realizează folosind o bază de date concepută pentru procesarea tranzacțiilor, iar analiza dinamicii vânzărilor pe mai mulți ani, care permite planificarea lucrului cu furnizorii, se realizează cu ajutorul unui depozit de date.

În al doilea rând, în timp ce bazele de date tradiționale sunt supuse schimbărilor constante pe măsură ce utilizatorii lucrează, depozitul de date este relativ stabil: datele din acesta sunt de obicei actualizate conform unui program (de exemplu, săptămânal, zilnic sau orar, în funcție de nevoi). În mod ideal, procesul de îmbogățire este pur și simplu adăugarea de date noi într-o perioadă de timp, fără a modifica informațiile anterioare aflate deja în depozit.

Și în al treilea rând, bazele de date obișnuite sunt cel mai adesea sursa de date care ajung în depozit. În plus, depozitul poate fi completat din surse externe, cum ar fi rapoartele statistice.

Cum se construiește un depozit?

ETL– concept de bază: trei etape:

• Extracție – extragerea datelor din surse externe într-un format ușor de înțeles;
• Transformare – transformarea structurii datelor sursă în structuri convenabile pentru construirea unui sistem analitic;

Să mai adăugăm o etapă - curățarea datelor ( Curatenie) – procesul de filtrare a datelor irelevante sau de corectare a datelor eronate pe baza metodelor statistice sau expertizate. Pentru a nu genera mai târziu rapoarte precum „Vânzări pentru 20011”.

Să revenim la analiză.

Ce este analiza și de ce este necesară?

Analiza este studiul datelor în scopul luării deciziilor. Sistemele analitice se numesc sisteme suport de decizie ( DSS).

Aici merită să subliniem diferența dintre lucrul cu DSS și un set simplu de rapoarte reglementate și nereglementate. Analiza în DSS este aproape întotdeauna interactivă și iterativă. Acestea. analistul cercetează datele, compunând și ajustând interogări analitice și primește rapoarte, a căror structură poate fi necunoscută în prealabil. Vom reveni la aceasta mai detaliat mai jos când discutăm limbajul de interogare. MDX.

OLAP

Sistemele de sprijin pentru decizii au de obicei mijloacele de a furniza utilizatorului date agregate pentru diverse mostre din setul original într-o formă convenabilă pentru percepție și analiză (tabele, diagrame etc.). Abordarea tradițională a segmentării datelor sursă implică extragerea din datele sursă a unuia sau mai multor seturi de date multidimensionale (numite adesea hipercub sau metacub), ale căror axe conțin atribute, iar celulele conțin date cantitative agregate. (Astfel de date pot fi stocate și în tabele relaționale, dar în acest caz vorbim despre organizarea logică a datelor, și nu despre implementarea fizică a stocării acestora.) De-a lungul fiecărei axe, atributele pot fi organizate sub formă de ierarhii, reprezentând diferite niveluri de detaliu a acestora. Datorită acestui model de date, utilizatorii pot formula interogări complexe, pot genera rapoarte și pot obține subseturi de date.

Tehnologia pentru analiza complexă a datelor multidimensionale se numește OLAP (On-Line Analytical Processing). OLAP este o componentă cheie a depozitării tradiționale de date. Conceptul de OLAP a fost descris în 1993 de Edgar Codd, un renumit cercetător de baze de date și autor al modelului de date relaționale. În 1995, pe baza cerințelor stabilite de Codd, a fost formulat așa-numitul test FASMI (Fast Analysis of Shared Multidimensional Information), incluzând următoarele cerințe pentru aplicațiile de analiză multidimensională:

• furnizarea utilizatorului de rezultate de analiză într-un timp acceptabil (de obicei nu mai mult de 5 s), chiar și cu prețul unei analize mai puțin detaliate;
• capacitatea de a efectua orice analiză logică și statistică specifică unei aplicații date și de a o salva într-o formă accesibilă utilizatorului final;
• acces multiutilizator la date cu suport pentru mecanisme de blocare adecvate si mijloace de acces autorizate;
• reprezentarea conceptuală multidimensională a datelor, inclusiv suport complet pentru ierarhii și ierarhii multiple (aceasta este o cerință cheie a OLAP);
• capacitatea de a accesa orice informație necesară, indiferent de volumul și locația de stocare.

Trebuie remarcat faptul că funcționalitatea OLAP poate fi implementată în diverse moduri, de la cele mai simple instrumente de analiză a datelor din aplicații de birou până la sisteme analitice distribuite bazate pe produse server. Acestea. OLAP nu este o tehnologie, dar ideologie.

Înainte de a vorbi despre diferitele implementări OLAP, să aruncăm o privire mai atentă la ce sunt cuburile din punct de vedere logic.

Concepte multidimensionale

Pentru a ilustra principiile OLAP, vom folosi baza de date Northwind, care este inclusă cu Microsoft SQL Server și este o bază de date tipică care stochează informații comerciale pentru o companie de distribuție de alimente en-gros. Aceste date includ informații despre furnizori, clienți, o listă de bunuri furnizate și categoriile acestora, date despre comenzi și bunuri comandate, o listă a angajaților companiei.

cub

Să luăm de exemplu tabelul Facturi1, care conține comenzile companiei. Câmpurile din acest tabel vor fi după cum urmează:

• Data comandă
• O tara
• Oraș
• Numele clientului
• Companie de livrări
• numele produsului
• Cantitatea de mărfuri
• Pretul comenzii

Ce date agregate putem obține din această vedere? De obicei, acestea sunt răspunsuri la întrebări precum:

• Care este valoarea totală a comenzilor plasate de clienți dintr-o anumită țară?
• Care este valoarea totală a comenzilor plasate de clienți într-o anumită țară și livrate de o anumită companie?
• Care este valoarea totală a comenzilor plasate de clienți într-o anumită țară într-un anumit an și livrate de o anumită companie?

Toate aceste date pot fi obținute din acest tabel folosind interogări SQL destul de evidente cu grupare.

Rezultatul acestei interogări va fi întotdeauna o coloană de numere și o listă de atribute care o descriu (de exemplu, țara) - acesta este un set de date unidimensional sau, în limbaj matematic, un vector.

Să ne imaginăm că trebuie să obținem informații despre costul total al comenzilor din toate țările și distribuția acestora între companiile de livrare - vom obține un tabel (matrice) de numere, unde companiile de livrare vor fi enumerate în titlurile coloanei, țările pe rând titluri, iar în celule va exista o cantitate de comenzi. Acesta este un tablou de date bidimensional. Acest set de date se numește tabel pivot ( masă rotativă) sau tabel încrucișat.

Dacă vrem să obținem aceleași date, dar și pe an, atunci va apărea o altă modificare, adică. setul de date va deveni tridimensional (un tensor condiționat de ordinul 3 sau un „cub”) tridimensional.

Evident, numărul maxim de dimensiuni este numărul tuturor atributelor (Data, Țara, Client, etc.) care descriu datele noastre agregate (cantitatea de comenzi, numărul de produse etc.).

Așa ajungem la conceptul de multidimensionalitate și întruchiparea lui - cub multidimensional. Vom numi o astfel de masă „ tabel de fapte" Dimensiuni sau axe cuburilor ( dimensiuni) sunt atribute ale căror coordonate sunt exprimate prin valorile individuale ale acestor atribute prezente în tabelul de fapte. Acestea. de exemplu, dacă informațiile despre comenzi au fost menținute în sistem din 2003 până în 2010, atunci axa din acest an va consta din 8 puncte corespunzătoare. Dacă comenzile vin din trei țări, atunci axa țării va conține 3 puncte etc. Indiferent de câte țări sunt incluse în directorul de țări. Punctele de pe o axă sunt numite „membrii” ei ( Membrii).

În acest caz, datele agregate în sine vor fi numite „măsuri” ( Măsura). Pentru a evita confuzia cu „dimensiunile”, acestea din urmă sunt de preferință numite „axe”. Setul de măsuri formează o altă axă „Măsuri” ( Măsuri). Are atâția membri (puncte) câte măsuri (coloane agregate) există în tabelul de fapte.

Membrii dimensiunilor sau axelor pot fi combinați prin una sau mai multe ierarhii ( ierarhie). Să explicăm ce este ierarhia cu un exemplu: orașele din ordine pot fi unite în districte, districte în regiuni, regiuni ale unei țări, țări în continente sau alte entități. Acestea. există o structură ierarhică - continent- tara-regiune-raion-oras– 5 niveluri ( Nivel). Pentru o regiune, datele sunt agregate pentru toate orașele care sunt incluse în aceasta. Pentru o regiune din toate districtele care conțin toate orașele etc. De ce avem nevoie de mai multe ierarhii? De exemplu, pe axa datei comenzii putem dori să grupăm punctele (adică zile) într-o ierarhie An lună zi sau prin An-Săptămâna-Ziu: în ambele cazuri există trei niveluri. Evident, Săptămâna și Luna grupează zilele diferit. Există și ierarhii, numărul de niveluri în care nu este determinist și depinde de date. De exemplu, folderele de pe un disc de computer.

Agregarea datelor poate avea loc folosind mai multe funcții standard: sumă, minim, maxim, medie, numărare.

MDX

Să trecem la limbajul de interogare în date multidimensionale.
Limbajul SQL a fost conceput inițial nu pentru programatori, ci pentru analiști (și, prin urmare, are o sintaxă care seamănă cu limbajul natural). Dar cu timpul a devenit din ce în ce mai complicat și acum puțini analiști știu să-l folosească bine, dacă este deloc. A devenit un instrument pentru programatori. Limbajul de interogări MDX, despre care se zvonește că ar fi fost dezvoltat de fostul nostru compatriot Mosha (sau Mosha) Posumansky în sălbăticia Microsoft, a fost inițial destinat să se adreseze analiștilor, dar conceptele și sintaxa acestuia (care seamănă vag cu SQL și complet în zadarnic, adică pentru că doar încurcă), chiar mai complicat decât SQL. Cu toate acestea, elementele de bază sunt încă ușor de înțeles.

O vom analiza în detaliu deoarece este singura limbă care a primit statutul standard în cadrul standardului general de protocol XMLA și, în al doilea rând, pentru că există o implementare open-source a acestuia sub forma proiectului Mondrian de la companie. Pentaho. Alte sisteme de analiză OLAP (de exemplu, Oracle OLAP Option) folosesc de obicei propriile extensii ale sintaxei SQL, cu toate acestea, declară și suport pentru MDX.

Lucrul cu seturi de date analitice înseamnă doar să le citești și nu înseamnă să le scrii. Acea. MDX nu are clauze pentru modificarea datelor, ci doar o clauză de selecție - select.

În OLAP puteți face cuburi multidimensionale felii– adică când datele sunt filtrate de-a lungul uneia sau mai multor axe sau proiecții– când cubul „se prăbușește” de-a lungul uneia sau mai multor axe, agregând date. De exemplu, primul nostru exemplu cu cantitatea de comenzi din țări este o proiecție a cubului pe axa Țară. Interogarea MDX pentru acest caz va arăta astfel:

Selectați...Copii pe rânduri din
Ce este aici?

Selectați– cuvântul cheie este inclus în sintaxă numai pentru frumusețe.
este numele axei. Toate numele proprii în MDX sunt scrise între paranteze drepte.
este numele ierarhiei. În cazul nostru, aceasta este ierarhia Țară-Oraș
– acesta este numele membrului axei de la primul nivel al ierarhiei (adică țara) Toate – acesta este un meta-membru care unește toți membrii axei. Există un astfel de meta-termen în fiecare axă. De exemplu, în axa anului există „Toți anii”, etc.
Copii este o funcție de membru. Fiecare membru are mai multe funcții disponibile. Cum ar fi Parent. Nivel, Ierarhie, revenind respectiv strămoșul, nivelul din ierarhie și ierarhia însăși căreia îi aparține membrul în acest caz. Copii - Returnează un set de membri copii ai acestui membru. Acestea. în cazul nostru – țări.
pe rânduri– Indică modul de aranjare a acestor date în tabelul rezultat. În acest caz - în antetul liniilor. Valori posibile aici: pe coloane, pe pagini, pe paragrafe etc. De asemenea, este posibil să indicați pur și simplu prin index, începând de la 0.
din– aceasta este o indicație a cubului din care se face selecția.

Dacă nu avem nevoie de toate țările, ci doar de câteva anumite țări? Pentru a face acest lucru, putem specifica în mod explicit în cerere țările de care avem nevoie, în loc să selectăm totul folosind funcția Copii.

Selectați ( ..., ... ) pe rândurile din
Acoladele în acest caz sunt declarația setului ( A stabilit). Un set este o listă, o enumerare a membrilor dintr-o axă.

Acum să scriem o interogare pentru cel de-al doilea exemplu – rezultat în contextul unei persoane de livrare:

Selectați ...Copii pe rânduri .Membri pe coloane din
Adăugat aici:
– axa;
.Membri– o funcție de axă care returnează toți termenii de pe ea. Ierarhia și nivelul au aceeași funcție. Deoarece Există o singură ierarhie în această axă, atunci indicarea ei poate fi omisă, deoarece nivelul și ierarhia sunt, de asemenea, aceleași, atunci puteți afișa toți membrii într-o singură listă.

Cred că este deja evident cum putem continua acest lucru cu al treilea exemplu cu detalii de la an. Dar haideți mai bine să nu detaliem pe an, ci să filtram - de exemplu. construi o felie Pentru a face acest lucru, vom scrie următoarea interogare:

Selectați ..Copii pe rânduri .Membri pe coloane de unde (.)
Unde este filtrarea aici?

Unde- cuvânt cheie
este un membru al ierarhiei . Numele complet, inclusiv toți termenii, ar fi: .. , ci pentru că Deoarece numele acestui membru este unic în cadrul axei, toate clarificările intermediare ale numelui pot fi omise.

De ce termenul de dată este între paranteze? Parantezele sunt un tuplu ( tuplu). Un tuplu este una sau mai multe coordonate de-a lungul variat topoare De exemplu, pentru a filtra de-a lungul a două axe simultan, în paranteze enumerăm doi termeni din diferit măsurătorile separate prin virgule. Adică, tuplul definește o „felie” a cubului (sau „filtrare”, dacă o astfel de terminologie este mai apropiată).

Tuplul este folosit pentru mai mult decât pentru filtrare. Tuplurile pot fi, de asemenea, în anteturile de rând/coloană/pagină etc.

Acest lucru este necesar, de exemplu, pentru a afișa rezultatul unei interogări tridimensionale într-un tabel bidimensional.

Selectați combinarea încrucișată(...Copii, ..Copii) pe rânduri .Membri pe coloane de unde (.)
Unire încrucișată este o funcție. Returnează un set de tupluri (da, o mulțime poate conține tupluri!) rezultat din produsul cartezian a două mulțimi. Acestea. setul rezultat va conține toate combinațiile posibile de țări și ani. Antetele rândurilor vor conține astfel o pereche de valori: Țara-An.

Întrebarea este, unde este indicația ce caracteristici numerice ar trebui să fie afișate? În acest caz, se utilizează măsura implicită definită pentru acest cub, adică. Pretul comenzii. Dacă vrem să derivăm o altă măsură, atunci ne amintim că măsurile sunt membrii unei dimensiuni Măsuri. Și acționăm exact în același mod ca și cu celelalte axe. Acestea. filtrarea unei interogări după una dintre măsuri va afișa exact această măsură în celule.

Întrebare: Care este diferența dintre filtrarea în unde și filtrarea prin specificarea membrilor axei pe rânduri. Răspuns: practic nimic. Pur și simplu acolo unde este indicată o felie pentru acele axe care nu participă la formarea titlurilor. Acestea. aceeași axă nu poti fi prezent în același timp pe rânduri, si in Unde.

Membrii calculati

Pentru interogări mai complexe, puteți declara membri calculați. Membrii atât ai axei de atribut, cât și ai axei de măsură. Acestea. Puteți declara, de exemplu, o nouă măsură care va afișa contribuția fiecărei țări la suma totală de comenzi:

Cu membru. ca '.CurrentMember / ..', FORMAT_STRING='0,00%' selectați ...Copii pe rânduri de unde .
Calculul are loc în contextul unei celule în care sunt cunoscute toate atributele de coordonate ale acesteia. Coordonatele (membrii) corespunzătoare pot fi obținute prin funcția CurrentMember pentru fiecare dintre axele cubului. Aici trebuie să înțelegem că expresia .Membru Actual/..’ nu împarte un termen cu altul, ci împarte date agregate relevante felii cuburi! Acestea. felia pentru teritoriul actual va fi împărțită într-o felie pentru toate teritoriile, i.e. valoarea totală a tuturor comenzilor. FORMAT_STRING – setează formatul pentru afișarea valorilor, de ex. %.

Un alt exemplu de membru calculat, dar pe axa anilor:

Cu membru. la fel de '. - .’
Evident, raportul nu va conține o unitate, ci diferența secțiunilor corespunzătoare, i.e. diferența în cantitatea comenzilor în acești doi ani.

Afișare în ROLAP

Sistemele OLAP se bazează într-un fel sau altul pe un fel de sistem de stocare și organizare a datelor. Când vorbim despre RDBMS, vorbim despre ROLAP (vom lăsa MOLAP și HOLAP pentru studiu independent). ROLAP – OLAP pe o bază de date relațională, de ex. descrise sub forma unor tabele bidimensionale obișnuite. Sistemele ROLAP convertesc interogările MDX în SQL. Principala problemă de calcul pentru baze de date este agregarea rapidă. Pentru a agrega mai rapid, datele din baza de date sunt de obicei foarte denormalizate, de exemplu. nu sunt stocate foarte eficient în ceea ce privește spațiul pe disc ocupat și monitorizarea integrității bazei de date. În plus, conțin tabele auxiliare care stochează date parțial agregate. Prin urmare, pentru OLAP, de obicei este creată o schemă de bază de date separată, care reproduce doar parțial structura bazelor de date tranzacționale originale în ceea ce privește directoarele.

Navigare

Multe sisteme OLAP oferă instrumente de navigare interactive pentru o interogare deja generată (și datele selectate în consecință). În acest caz, se folosește așa-numita „găurire” sau „găurire”. O traducere mai adecvată în rusă ar fi cuvântul „aprofundare”. Dar aceasta este o chestiune de gust, în unele medii cuvântul „foraj” s-a blocat.

Burghiu– acesta este detalierea raportului prin reducerea gradului de agregare a datelor, combinată cu filtrarea de-a lungul unei alte axe (sau mai multor axe). Există mai multe tipuri de foraj:

• drill-down– filtrarea de-a lungul uneia dintre axele sursă ale raportului cu afișarea informațiilor detaliate despre descendenți din ierarhia membrului de filtrare selectat. De exemplu, dacă există un raport privind distribuția comenzilor defalcate pe țări și ani, atunci făcând clic pe anul 2007 se va afișa un raport defalcat pe aceleași țări și luni ale anului 2007.
• partea de foraj– filtrarea sub una sau mai multe axe selectate și eliminarea agregării de-a lungul uneia sau mai multor alte axe. De exemplu, dacă există un raport privind distribuția comenzilor defalcate pe țări și ani, atunci făcând clic pe anul 2007 se va afișa un alt raport defalcat, de exemplu, pe țări și furnizori cu filtrare până în 2007.
• jgheab de foraj– eliminarea agregării de-a lungul tuturor axelor și filtrarea simultană de-a lungul acestora – vă permite să vedeți datele sursă din tabelul de fapte din care a fost obținută valoarea din raport. Acestea. Când faceți clic pe valoarea unei celule, este afișat un raport cu toate comenzile care au oferit această sumă. Un fel de găurire instantanee chiar în „adâncimea” cubului.

Asta e tot. Acum, dacă decideți să vă dedicați Business Intelligence și OLAP, este timpul să începeți să citiți literatură serioasă.

Etichete:

• OLAP
• Mondrian
• Business Intelligence
• MDX

Adaugă etichete

OLAP(On-Line Analytical Processing) este o clasă de aplicații și tehnologii concepute pentru prelucrarea analitică operațională a datelor multidimensionale (colectare, stocare, analiză) pentru a analiza activitățile unei corporații și a prezice starea viitoare pentru a sprijini deciziile de management. Tehnologia OLAP este folosită pentru a simplifica munca cu date acumulate multifuncționale despre activitățile anterioare ale corporației și pentru a nu se bloca în volumul lor mare, precum și pentru a transforma un set de indicatori cantitativi în indicatori calitativi, permițând analiștilor, managerilor și managerilor să formeze propria viziune asupra datelor folosind acces rapid, uniform și prompt la diferite forme de prezentare a informațiilor. Astfel de formulare, obținute pe baza datelor primare, permit utilizatorului să-și formeze o imagine completă a activităților întreprinderii.

Funcționalitatea OLAP, ca sisteme care implementează data mining, constă în analiza dinamică multidimensională a datelor consolidate ale întreprinderii, menită să susțină următoarele tipuri analitice și de navigație de activități ale utilizatorilor:

• calcule și modelare aplicate dimensiunilor și/sau membrilor specifici acestora folosind informații despre ierarhii
• analiza tendințelor temporale și a interdependențelor indicatorilor (analiza tendințelor), luând în considerare ceea ce ajută la îmbunătățirea calității deciziilor operaționale și strategice luate
• generarea de secțiuni ale unei reprezentări multidimensionale pentru vizualizare pe ecran
• trecerea la niveluri mai profunde de detaliu
• acces la datele brute
• „rotația” reprezentărilor multidimensionale: dimensiuni în mișcare pentru a forma diferite forme de reprezentare a datelor pe ecranul computerului

Tehnologia OLAP

Tehnologia OLAP este o alternativă la metodele tradiționale de analiză a datelor bazate pe diverse sisteme pentru implementarea interogărilor SQL într-o bază de date relațională. Sistemele OLAP joacă un rol vital în analiza și planificarea întreprinderilor mari și reprezintă una dintre domeniile dezvoltării IT. Baza o constituie cerințele factorilor de decizie pentru informațiile furnizate, caracteristicile individuale predominante ale managementului afacerilor și mecanismul decizional adoptat. Din punctul de vedere al utilizatorului, principala diferență dintre un sistem OLAP și un depozit de date este: structurarea specifică subiectului a informațiilor (și anume, bazată pe subiect, nu tehnic). Când lucrează cu o aplicație OLAP, utilizatorul aplică categorii și indicatori familiari - tipuri de materiale și produse finite, regiuni de vânzări, volum de vânzări, cost, profit etc. Și pentru a crea orice interogare, chiar și destul de complexă, utilizatorul face nu trebuie să învețe SQL. În acest caz, un răspuns la cerere va fi primit în doar câteva secunde. În plus, atunci când lucrează cu un sistem OLAP, un economist poate folosi instrumente familiare, cum ar fi foi de calcul sau instrumente speciale de raportare.

Dezvoltarea solutiilor de management al intreprinderii

Dezvoltarea de solutii pentru managementul întreprinderii se încadrează în categoria zonelor care sunt cel mai greu de automatizat. Cu toate acestea, astăzi există o oportunitate de a ajuta managerul în dezvoltarea de soluții și, cel mai important, de a accelera semnificativ procesul de dezvoltare a soluțiilor, selecția și adoptarea acestora. De fapt, managerii de diferite grade primesc un instrument fundamental nou pentru luarea deciziilor manageriale mai eficiente și, cel mai important, accelerează semnificativ procesul de elaborare a deciziilor, selecția și adoptarea acestora.

Astăzi, problema înțelegerii și stabilirii relațiilor dintre datele agregate este cel mai bine rezolvată de produse care utilizează analiza operațională a datelor multidimensionale OLAP. Un sistem analitic corporativ construit pe baza tehnologiei OLAP permite diferitelor categorii de utilizatori ai companiei să lucreze cu informații analitice generalizate în timp real și să navigheze eficient în volume mari de date. Modulele OLAP interacționează rar cu alte sisteme de automatizare, deoarece bazele de date ale acestora din urmă au adesea un aspect destul de unic și un set de indicatori speciali.

Caracteristica principală a bazelor de date analitice (OLAP)– aceasta este capacitatea de a genera interogări nereglementate către baza de date analitică. Datele sunt încărcate în sistem din baza de date operațională a întreprinderii. Un sistem analitic corporativ poate consta din mai multe module, fiecare procesând mai multe matrice de informații necesare pentru a efectua o analiză cuprinzătoare a aspectului corespunzător al activităților întreprinderii. Modelul informațional, pe baza căruia este dezvoltat sistemul informațional, descrie complet toate aspectele domeniului subiectului și oferă claritate și acces ușor la datele necesare analizei.

Afișare externă a informațiilor din sistem

Afișarea externă a informațiilor din sistem este implementată sub forma unei foi de calcul sau a unui grafic folosind mecanismul secțiunilor bidimensionale ale unui cub de bază de date multidimensionale. Secțiunea transversală este definită de utilizator prin selectarea a două dimensiuni independente (marginile cubului), ale căror valori vor fi prezentate în rândurile și coloanele foii de calcul și fixând valorile tuturor celorlalte dimensiuni ale model informativ. Interfața sistemului propus constă din mai multe forme de ecran, fiecare dintre acestea incluzând o foaie de calcul sau un grafic.

OLAP (procesare analitică on-line) nu este un singur produs software, nu un limbaj de programare sau chiar o tehnologie specifică, ci un set de concepte, principii și cerințe care stau la baza produselor software care facilitează accesul analiștilor la date. Termenul OLAP este foarte popular în zilele noastre și un sistem OLAP este adesea, dar nu în întregime corect, numit orice sistem DSS bazat pe conceptul de depozit de date și care oferă timp scurt de execuție (On-Line) a interogărilor analitice, indiferent dacă este analiza multidimensională. sunt date utilizate.

Scopul cursului este de a studia tehnologia OLAP, conceptul de implementare și structura acesteia.

În lumea modernă, rețelele de calculatoare și sistemele de calcul fac posibilă analiza și procesarea unor cantități mari de date.

O cantitate mare de informații complică foarte mult căutarea soluțiilor, dar face posibilă obținerea unor calcule și analize mult mai precise. Pentru a rezolva această problemă, există o întreagă clasă de sisteme informaționale care efectuează analize. Astfel de sisteme se numesc sisteme de suport pentru decizii (DSS) (Decision Support System).

Pentru a efectua analize, DSS trebuie să acumuleze informații, având mijloace pentru introducerea și stocarea acesteia. În total, putem distinge trei sarcini principale rezolvate în DSS:

· introducere a datelor;

· stocare a datelor;

· analiza datelor.

Introducerea datelor în DSS este efectuată automat de la senzori care caracterizează starea mediului sau a procesului, sau de către un operator uman.

Dacă introducerea datelor este efectuată automat de la senzori, atunci datele sunt acumulate printr-un semnal de pregătire care apare atunci când apar informații sau prin sondaj ciclic. Dacă introducerea este efectuată de o persoană, atunci aceștia trebuie să ofere utilizatorilor mijloace convenabile pentru introducerea datelor, verificarea corectitudinii intrării, precum și efectuarea calculelor necesare.

La introducerea simultană a datelor de către mai mulți operatori, este necesar să se rezolve problemele de modificare și acces paralel al acelorași date.

DSS furnizează analistului date sub formă de rapoarte, tabele, grafice pentru studiu și analiză, motiv pentru care astfel de sisteme oferă funcții de suport decizional.

Subsistemele de introducere a datelor, numite OLTP (prelucrarea tranzacțiilor on-line), implementează procesarea operațională a datelor. Pentru implementarea acestora se folosesc sisteme convenționale de management al bazelor de date (DBMS).

Subsistemul de analiză poate fi construit pe baza:

· subsisteme de analiză de regăsire a informațiilor bazate pe SGBD relațional și interogări statice folosind limbajul SQL;

· subsisteme de analiză operaţională. Pentru implementarea unor astfel de subsisteme se utilizează tehnologia de prelucrare operațională a datelor analitice OLAP, folosind conceptul de reprezentare a datelor multidimensionale;

· subsisteme de analiză intelectuală. Acest subsistem implementează metode și algoritmi de DataMining.

Din punctul de vedere al utilizatorului, sistemele OLAP oferă instrumente pentru vizualizarea flexibilă a informațiilor în diverse secțiuni, obținerea automată a datelor agregate, efectuarea de operațiuni analitice de convoluție, drill-down și comparare în timp. Datorită tuturor acestora, sistemele OLAP reprezintă o soluție cu mari avantaje în domeniul pregătirii datelor pentru toate tipurile de raportare de afaceri, implicând prezentarea datelor în diverse secțiuni și diferite niveluri de ierarhie, precum rapoartele de vânzări, diverse forme de bugete și alții. Sistemele OLAP au mari avantaje ale unei astfel de reprezentări în alte forme de analiză a datelor, inclusiv în prognoză.

1.2 Definiție OLAP -sisteme

Tehnologia pentru analiza complexă a datelor multidimensionale se numește OLAP. OLAP este o componentă cheie a unei organizații de depozit de date.

Funcționalitatea OLAP poate fi implementată în diverse moduri, atât simple, precum analiza datelor în aplicații de birou, cât și mai complexe - sisteme analitice distribuite bazate pe produse server.

OLAP (On-LineAnalyticalProcessing) este o tehnologie pentru prelucrarea operațională a datelor analitice care utilizează instrumente și metode pentru colectarea, stocarea și analiza datelor multidimensionale pentru a sprijini procesele de luare a deciziilor.

Scopul principal al sistemelor OLAP este de a sprijini activitățile analitice și interogările arbitrare ale analiștilor utilizatori. Scopul analizei OLAP este de a testa ipotezele emergente.

OLAP este o tehnologie specială de raportare a afacerilor care vă permite să configurați rapid noi rapoarte, să primiți instantaneu un raport și să interacționați cu acesta în mod interactiv.

Termenul OLAP (On Line Analytical Processing) este de obicei tradus ca „analiza datelor online”. Analiza datelor operaționale este utilizatorul final care efectuează multe iterații de modificare a raportului în căutarea acelor forme de prezentare a datelor care îi dezvăluie cel mai clar esența problemei analizate în prezent.

raport OLAP

Cu toate acestea, OLAP nu este o tehnologie analitică complexă; dimpotrivă, OLAP oferă un formular de raport standardizat, simplificat, care conține cifre agregate în diferite secțiuni. Acest formular este cel mai potrivit pentru crearea unui sistem de raportare corporativă și este destinat maselor largi de angajați de birou și manageri de la diferite niveluri.

Din punctul de vedere al utilizatorului final, esența tehnologiei OLAP este că datele îi sunt furnizate într-un tabel dinamic, care le rezumă automat în diverse secțiuni și permite gestionarea interactivă atât a calculelor, cât și a formularului de raport.

Instrumentele de gestionare a rapoartelor sunt elementele tabelului în sine. Tragând coloane și rânduri, utilizatorul schimbă în mod independent tipul de raport și gruparea datelor, sistemul calculează instantaneu noi totale, însumând mii sau chiar milioane de rânduri.

Ramura	Post de buget	Produs	Sumă
	Veniturile din dobânzi
		Total	30 000 000
	Venituri fără dobânzi	Plățile clienților
		Operațiuni de schimb
		Total	10 000 000
	Total		40 000 000
	Veniturile din dobânzi
		Total	6 000 000
	Venituri fără dobânzi	Plățile clienților
		Operațiuni de schimb
		Total	3 000 000
	Total		9 000 000
Novosibirsk
Total			52 000 000

Orez. 1 raport OLAP

Raportul OLAP este reconstruit la primirea comenzilor utilizatorului într-o fracțiune de secundă, permițând utilizatorului să obțină multe altele dintr-un singur formular de raportare. Această viteză de raportare este asigurată de arhitectura specială a sistemelor OLAP, care este fundamental diferită de alte sisteme și tehnologii de raportare.

Orice date dintr-un raport OLAP sunt împărțite în două categorii - dimensiuni (rânduri sau date) și fapte sau măsuri (date numerice). Raportul constă din mai multe zone fixe - zona coloanelor, rândurilor, datelor și dimensiunilor inactive.

Zona de date afișează date detaliate, subtotaluri și totaluri finale. Ca urmare, indiferent de natura datelor, domeniul de subiect și grupul de utilizatori, există un set limitat de reguli prin care este generat raportul.

Acest lucru vă permite să creați mecanisme universale pentru calcule (motor OLAP), management și afișare a rapoartelor (tabel OLAP, diagramă OLAP, hartă OLAP).

Un raport OLAP poate fi sub formă de ecran sau de hârtie. Un raport OLAP sub formă de ecran vă permite să manipulați datele și să afișați formularul. Orice raport de ecran primit poate fi tipărit pe hârtie în aceeași formă în care a apărut pe ecran.

Pe lângă unul sau mai multe tabele, un raport OLAP poate conține și alte elemente vizuale - grafice, diagrame. Așa-numitele „semafoare” - diagrame ușor de înțeles - pot fi adăugate la celulele de raport. Acest lucru vă permite să înțelegeți datele dintr-o privire, motiv pentru care astfel de rapoarte sunt adesea create pentru managerii de top.

Caracteristicile raportului OLAP

Deci, raportul OLAP are o serie de caracteristici fundamentale, acestea sunt:

• raport care oferă utilizatorului o modalitate foarte interactivă de a lucra cu datele
• un raport agregat care vă permite să detaliați detaliile
• un raport care vă permite să schimbați cu ușurință secțiunile analitice prin modificarea ordinii câmpurilor
• un raport care vă permite să filtrați instantaneu datele după toate combinațiile posibile
• raport pe ecran cu posibilitatea de a imprima la o imprimantă
• raport personalizat de utilizator fără programare
• un raport care are o structură simplă, regulată

Interogări, rapoarte, analize

Rapoartele OLAP oferă utilizatorului o nouă calitate a lucrului cu datele. Utilizatorul poate rezuma, generaliza și detalia datele, muta rânduri și coloane, obținând instantaneu noi totaluri intermediare și finale pentru toate secțiunile, poate efectua multe alte operațiuni interactive cu raportul, analizând datele mai rapid și mai profund.