Scopurile analizei datelor. Sisteme de Business Intelligence (BI) pentru analiza afacerii Unele dintre avantajele utilizării soluțiilor BI

Descărcați versiunea completă GRATUITĂ a Tableau Desktop, timp de 14 zile și obțineți materiale de instruire GRATUITE Tableau BI

În ultimul timp s-a vorbit atât de mult despre analiza informațiilor și atât de mult încât se poate confunda în cele din urmă cu problema. Este bine că mulți sunt atenți la un subiect atât de urgent. Singurul lucru rău este că, până la acest termen, fiecare înțelege de ce are nevoie, adesea fără a avea o imagine generală a problemei. Fragmentarea acestei abordări este motivul neînțelegerii a ceea ce se întâmplă și a ceea ce trebuie făcut. Totul constă din piese slab conectate între ele și care nu au un nucleu comun. Probabil ați auzit foarte mult expresia „automatizare patchwork”. Mulți s-au confruntat deja cu această problemă de multe ori și pot confirma că principala problemă cu această abordare este că nu este aproape niciodată posibil să vedeți întreaga imagine. Situația este similară cu analiza.

Pentru a înțelege locul și scopul fiecărui mecanism de analiză, să luăm în considerare toate acestea pe deplin. El va începe de la modul în care o persoană ia decizii, deoarece nu suntem în măsură să explicăm cum se naște un gând, ne vom concentra asupra modului în care tehnologiile informaționale pot fi utilizate în acest proces. Prima opțiune - factorul de decizie (DM) folosește computerul doar ca mijloc de extragere a datelor și trage concluzii pe cont propriu. Pentru rezolvarea acestui tip de sarcini, se utilizează sisteme de raportare, analize de date multidimensionale, diagrame și alte metode de vizualizare. A doua opțiune: programul nu numai că extrage date, ci și efectuează diferite tipuri de preprocesare, de exemplu, curățare, netezire și așa mai departe. Și datelor prelucrate în acest mod, aplică metode matematice de analiză - grupare, clasificare, regresie etc. În acest caz, factorul de decizie nu primește date brute, ci date prelucrate serios, adică o persoană lucrează deja cu modele pregătite de un computer.

Datorită faptului că, în primul caz, aproape tot ceea ce este de fapt legat de mecanismele de luare a deciziilor este atribuit unei persoane, problema cu selectarea unui model adecvat și alegerea metodelor de procesare este mutată în afara mecanismelor de analiză, adică, baza pentru luarea unei decizii este fie o instrucțiune (de exemplu, modul în care puteți implementa mecanisme de răspuns la abateri), fie intuiția. În unele cazuri, acest lucru este suficient, dar dacă factorii de decizie sunt interesați de cunoștințe suficient de profunde, ca să spunem așa, atunci mecanismele de extragere a datelor pur și simplu nu vor ajuta aici. Este necesară o prelucrare mai serioasă. Acesta este chiar al doilea caz. Toate mecanismele de pre-procesare și analiză aplicate permit factorilor de decizie să lucreze la un nivel superior. Prima opțiune este potrivită pentru rezolvarea sarcinilor tactice și operaționale, iar a doua este pentru replicarea cunoștințelor și rezolvarea problemelor strategice.

Cazul ideal ar fi să aplicăm ambele abordări analizei. Acestea vă permit să acoperiți aproape toate nevoile unei organizații în analiza informațiilor despre afaceri. Modificând metodele în funcție de sarcini, vom putea, în orice caz, să scoatem maximum din informațiile disponibile.

Schema generală de lucru este prezentată mai jos.

Adesea, atunci când se descrie un produs care analizează informații despre afaceri, sunt folosiți termeni precum gestionarea riscurilor, prognoză, segmentare a pieței ... Dar, în realitate, soluțiile pentru fiecare dintre aceste probleme sunt reduse la utilizarea uneia dintre metodele de analiză descrise mai jos. . De exemplu, prognoza este o problemă de regresie, segmentarea pieței este gruparea, gestionarea riscurilor este o combinație de grupare și clasificare, sunt posibile și alte metode. Prin urmare, acest set de tehnologii vă permite să rezolvați majoritatea problemelor de afaceri. De fapt, acestea sunt elemente atomice (de bază) din care este asamblată soluția unei anumite probleme.

Acum vom descrie separat fiecare fragment al circuitului.

Sursa principală de date ar trebui să fie bazele de date ale sistemelor de gestionare a întreprinderii, documentelor de birou, Internetului, deoarece este necesar să se utilizeze toate informațiile care pot fi utile pentru luarea unei decizii. Mai mult, vorbim nu numai despre informații interne pentru organizație, ci și despre date externe (indicatori macroeconomici, mediu competitiv, date demografice etc.).

Deși depozitul de date nu implementează tehnologii de analiză, este baza pe care să construim un sistem analitic. În absența unui depozit de date, colectarea și organizarea informațiilor necesare analizei va dura de cele mai multe ori, ceea ce va nega în mare măsură toate avantajele analizei. La urma urmei, unul dintre indicatorii cheie ai oricărui sistem analitic este abilitatea de a obține rapid rezultate.

Următorul element al schemei este stratul semantic. Indiferent de modul în care informațiile vor fi analizate, este necesar ca acestea să fie înțelese de către factorul de decizie, deoarece, în majoritatea cazurilor, datele analizate sunt localizate în baze de date diferite, iar factorul de decizie nu ar trebui să aprofundeze nuanțele de lucru cu un SGBD, atunci este necesar să se creeze un anumit mecanism care transformă termenii domeniu în apeluri către mecanisme de acces la baze de date. Această sarcină este realizată de stratul semantic. Este de dorit ca acesta să fie același pentru toate aplicațiile de analiză, deci este mai ușor să se aplice diferite abordări ale problemei.

Sistemele de raportare sunt concepute pentru a răspunde la întrebarea „ce se întâmplă”. Primul caz de utilizare: rapoartele regulate sunt utilizate pentru a monitoriza situația operațională și a analiza abaterile. De exemplu, sistemul pregătește zilnic rapoarte despre soldul stocului și, atunci când valoarea acestuia este mai mică decât vânzarea săptămânală medie, trebuie să răspundeți la aceasta pregătind o comandă de cumpărare, adică, în majoritatea cazurilor, acestea sunt standardizate tranzacții de afaceri. Cel mai adesea, unele dintre elementele acestei abordări sunt implementate într-o formă sau alta în companii (chiar dacă doar pe hârtie), dar aceasta nu ar trebui să fie permisă să fie singura abordare disponibilă pentru analiza datelor. Al doilea caz de utilizare pentru sistemele de raportare: gestionarea cererilor ad hoc. Atunci când un factor de decizie dorește să verifice orice gând (ipoteză), trebuie să se gândească, confirmând sau respingând ideea, deoarece aceste gânduri vin spontan și nu există o idee exactă despre ce fel de informații vor fi necesare, este necesar un instrument care să vă permită să obțineți rapid aceste informații într-o formă convenabilă. Datele extrase sunt prezentate de obicei fie în tabele, fie în grafice și diagrame, deși sunt posibile alte reprezentări.

Deși diferite abordări pot fi utilizate pentru a construi sisteme de raportare, cea mai comună astăzi este mecanismul OLAP. Ideea principală este de a reprezenta informații sub formă de cuburi multidimensionale, unde axele reprezintă dimensiuni (de exemplu, timp, produse, clienți), iar măsurile (de exemplu, valoarea vânzărilor, prețul mediu de achiziție) sunt plasate în celule. Utilizatorul manipulează măsurătorile și primește informații în secțiunea dorită.

Datorită ușurinței sale de înțelegere, OLAP a devenit răspândit ca motor de analiză a datelor, dar trebuie să înțelegeți că capacitățile sale în domeniul analizei mai profunde, de exemplu, prognozarea, sunt extrem de limitate. Principala problemă în rezolvarea problemelor de prognoză nu este capacitatea de a extrage datele de interes sub formă de tabele și diagrame, ci construirea unui model adecvat. Atunci totul este destul de simplu. Informațiile noi sunt introduse la intrarea modelului existent, trecute prin acesta, iar rezultatul este prognoza. Dar construirea unui model nu este deloc o sarcină banală. Desigur, puteți pune mai multe modele gata făcute și simple în sistem, de exemplu, regresie liniară sau ceva similar, destul de des fac acest lucru, dar acest lucru nu rezolvă problema. Problemele din lumea reală aproape întotdeauna depășesc astfel de modele simple. În consecință, un astfel de model va detecta doar dependențe explicite, a căror valoare de detecție este nesemnificativă, ceea ce este bine cunoscut oricum, sau va face predicții prea aspre, ceea ce este, de asemenea, complet neinteresant. De exemplu, dacă, atunci când analizați prețul acțiunilor la bursă, plecați de la simpla presupunere că mâine acțiunile vor costa la fel ca astăzi, atunci în 90% din cazuri veți ghici. Și cât de valoroase sunt astfel de cunoștințe? Doar restul de 10% sunt de interes pentru brokeri. În majoritatea cazurilor, modelele primitive dau rezultate de aproximativ același nivel.

Abordarea corectă a modelelor de construcție este de a le îmbunătăți pas cu pas. Începând cu primul model relativ relativ, este necesar să-l îmbunătățim pe măsură ce se acumulează date noi și modelul este aplicat în practică. De fapt, sarcina de a face prognoze și lucruri similare depășește mecanismele sistemelor de raportare, deci nu ar trebui să vă așteptați la rezultate pozitive în această direcție atunci când utilizați OLAP. Pentru a rezolva problemele unei analize mai profunde, se utilizează un set complet diferit de tehnologii, unite sub numele Discovery Knowledge in Database.

Descoperirea cunoștințelor în bazele de date (KDD) este procesul de transformare a datelor în cunoștințe. KDD include problemele de pregătire a datelor, selectarea caracteristicilor informative, curățarea datelor, aplicarea metodelor de Data Mining (DM), postprocesarea datelor, interpretarea rezultatelor obținute. Data Mining este un proces de descoperire necunoscut anterior, non-banal, practic util și disponibil pentru cunoștințe de interpretare în date „brute”, care este necesar pentru luarea deciziilor în diferite sfere ale activității umane.

Atractivitatea acestei abordări constă în faptul că, indiferent de aria subiectului, aplicăm aceleași operații:

1. Extrageți date. În cazul nostru, acest lucru necesită un strat semantic.
2. Date clare. Utilizarea datelor „murdare” pentru analiză poate nega complet mecanismele de analiză utilizate în viitor.
3. Transformați datele. Diverse metode de analiză necesită date special pregătite. De exemplu, undeva numai informațiile digitale pot fi utilizate ca intrări.
4. Efectuați, de fapt, analiza - Data Mining.
5. Interpretează rezultatele obținute.

Acest proces se repetă iterativ.

Data Mining, la rândul său, oferă o soluție la doar 6 sarcini - clasificare, grupare, regresie, asociere, secvență și analiză a varianței.

Acesta este tot ceea ce trebuie făcut pentru a automatiza procesul de extragere a cunoștințelor. Pași suplimentari sunt deja luați de un expert, care este, de asemenea, un factor de decizie.

Interpretarea rezultatelor procesării computerizate este responsabilitatea persoanei. Doar că diferite metode oferă hrană diferită pentru gândire. În cel mai simplu caz, acestea sunt tabele și diagrame, iar în cazul mai complex, modele și reguli. Este imposibil să excludem complet participarea umană, deoarece acest rezultat nu are niciun sens până când nu este aplicat unui anumit domeniu. Cu toate acestea, există posibilitatea de a reproduce cunoștințele. De exemplu, un factor de decizie, utilizând o metodă, a determinat care indicatori afectează bonitatea cumpărătorilor și a prezentat acest lucru sub forma unei reguli. Regula poate fi introdusă în sistemul de emitere a împrumuturilor și, astfel, reduce semnificativ riscurile de credit prin punerea în funcțiune a evaluărilor acestora. În același timp, nu este necesară o înțelegere profundă a motivelor acestei sau acelei concluzii de la persoana implicată în extragerea efectivă a documentelor. De fapt, acesta este transferul de metode, odată aplicate în industrie, în domeniul managementului cunoștințelor. Ideea principală este trecerea de la metode unice și neunificate la cele pipelined.

Tot ce este menționat mai sus este doar numele sarcinilor. Și pentru a rezolva fiecare dintre ele, puteți aplica diverse tehnici, de la metode statistice clasice la algoritmi de auto-învățare. Problemele reale de afaceri sunt aproape întotdeauna rezolvate prin una dintre metodele de mai sus sau prin combinarea lor. Aproape toate sarcinile - prognoză, segmentare a pieței, evaluarea riscurilor, evaluarea eficienței campaniilor publicitare, evaluarea avantajelor competitive și multe altele - sunt reduse la cele descrise mai sus. Prin urmare, având la dispoziție un instrument care rezolvă lista dată de sarcini, putem spune că sunteți gata să rezolvați orice problemă de analiză a afacerii.

Dacă ați acordat atenție, nu am menționat nicăieri despre ce instrument va fi utilizat pentru analiză, ce tehnologii, deoarece sarcinile în sine și metodele soluției lor nu depind de setul de instrumente. Aceasta este doar o descriere a unei abordări competente a problemei. Puteți folosi orice doriți, este important doar ca întreaga listă de sarcini să fie acoperită. În acest caz, putem spune că există o soluție cu adevărat completă. De foarte multe ori, mecanismele care acoperă doar o mică parte a sarcinilor sunt propuse ca o „soluție completă la problemele de analiză a afacerii”. Cel mai adesea, un sistem de analiză a informațiilor comerciale este înțeles doar ca OLAP, care este complet insuficient pentru o analiză completă. Sub un strat gros de sloganuri publicitare există doar un sistem de raportare. Descrierile eficiente ale unuia sau altului instrument de analiză ascund esența, dar este suficient să porniți de la schema propusă și veți înțelege starea reală a lucrurilor.

Business intelligence și analiza datelor. Consultanța eficientă este ceea ce este necesar pentru dezvoltarea calității oricărei afaceri. Rezolvarea problemelor și crizelor existente, prevenirea celor potențiale, găsirea modalităților de creștere a profiturilor și a eficienței în general: toate acestea vă oferă consultanță de înaltă calitate.

Procesul de consultanță este complex, în mai multe etape, pe mai multe niveluri, nu există o abordare clară și universală pentru absolut nicio afacere: contextul afacerii, nișa sa, industrie, publicul țintă, caracteristici și multe altele: toate acestea afectează modul în care procesele de afaceri vor fi să fie diagnosticat. Bineînțeles, etapa finală a consultării este precedată de multe alte pre-procese, cum ar fi pregătirea sarcinilor, descrierea proceselor de afaceri, analiza afacerii, diagnosticarea infrastructurii în general și a infrastructurii IT a organizației, în special, datele sunt analizate și pe pe baza acestui fapt sunt create o serie de recomandări ... Trebuie să spun că analiza de afaceri și analiza datelor sunt etapele cele mai importante în procesul de consultanță, acestea duc la concluziile adecvate, pe baza unei astfel de analize sunt create orice recomandări.

Analiza datelor și Business Intelligence: Cum se implementează?

Analiza calitativă, în acest caz, nu se poate face fără prezența unor indicatori cantitativi. Adică, este foarte de dorit ca un fel de automatizare să fie introdus în activitatea întreprinderii - procese de afaceri, relații cu clienții, furnizorii, intermediarii, astfel încât fluxul de lucru și toate celelalte procese să fie, de asemenea, automatizate. Cu o contabilitate de înaltă calitate a tuturor proceselor care au loc în cadrul întreprinderii, raportarea și analiza ulterioară sunt mult facilitate.

Cum puteți automatiza fluxul de lucru, gestionarea clienților și să facilitați raportarea?

Cea mai bună opțiune ar fi un software exclusiv conceput pentru a îndeplini o varietate de sarcini - de la FB Consult. Vi se oferă sisteme de management al clienților de înaltă calitate - diverse tipuri de CRM concepute pentru diverse sectoare de activitate, o soluție eficientă pentru controlul documentelor - DocsVision, precum și software adecvat pentru business intelligence și analiza datelor, inclusiv - și pentru identificarea tranzacțiilor financiare discutabile - QlikView ... Implementarea unor astfel de soluții va crește semnificativ eficiența afacerii dvs.

Lucru accesibil cu Big Data utilizând analize vizuale

Îmbunătățiți business intelligence și rezolvați sarcinile de rutină folosind informațiile ascunse în Big Data cu platforma TIBCO Spotfire. Este singura platformă care oferă utilizatorilor de afaceri o interfață intuitivă, ușor de utilizat, care permite întreaga gamă de tehnologii analitice pentru Big Data fără a fi nevoie de profesioniști IT sau de formare.

Interfața Spotfire face la fel de convenabil să lucrați atât cu seturi de date mici, cât și cu clustere multi-terabyte de date mari: citiri ale senzorilor, informații din rețelele sociale, puncte de vânzare sau surse de geolocalizare. Utilizatorii de toate nivelurile de calificare pot naviga cu ușurință în tablouri de bord semnificative și fluxuri de lucru analitice, pur și simplu utilizând vizualizări care reprezintă grafic agregarea a miliarde de puncte de date.

Analiza predictivă este învățarea la locul de muncă pe baza experienței partajate a companiei pentru a lua decizii mai informate. Folosind Spotfire Predictive Analytics, puteți descoperi noi tendințe de piață din informații de business intelligence și puteți lua măsuri pentru a minimiza riscul, ducând la decizii de management mai bune.

Prezentare generală

Conectivitate Big Data pentru analize de înaltă performanță

Spotfire oferă trei tipuri principale de analize, cu integrare perfectă cu Hadoop și alte surse mari de date:

1. Vizualizare date analitice la cerere: conectori de date încorporate, configurabile de utilizator, care simplifică vizualizarea datelor ultra-rapidă, interactivă
2. Analiza într-o bază de date (In-Database Analytics): integrare cu o platformă de calcul de distribuție care vă permite să faceți calcule de date de orice complexitate pe baza datelor mari.
3. Analiză în memorie: integrare cu o platformă de analiză statistică care extrage date direct din orice sursă de date, inclusiv surse de date tradiționale și noi.

Împreună, aceste metode de integrare reprezintă o combinație puternică de explorare vizuală și analize avansate.
Permite utilizatorilor de afaceri să acceseze, să agregeze și să analizeze date din orice sursă de date prin tablouri de bord și fluxuri de lucru puternice, ușor de utilizat.

Conectori de date mari

Conectorii de date mari Spotfire acceptă tot felul de acces la date: în surse de date, în memorie și la cerere. Conectorii de date încorporați de la Spotfire includ:

• Conectori de date certificați Hadoop pentru Apache Hive, Apache Spark SQL, Cloudera Hive, Cloudera Impala, Databricks Cloud, Hortonworks, MapR Drill și Pivotal HAWQ
• Alți conectori de date mari certificate includ Teradata, Teradata Aster și Netezza
• Conectori pentru date istorice și actuale din surse precum senzorii OSI PI

Calcul distribuit în sursă de date

În plus față de selecția vizuală convenabilă a operațiunilor Spotfire pentru interogările SQL care accesează datele distribuite între surse, Spotfire poate crea algoritmi statistici și de învățare automată care funcționează în interiorul surselor de date și returnează doar rezultatele necesare pentru a crea vizualizări în Spotfire.

• Utilizatorii lucrează cu tablouri de bord cu funcționalitate de selecție vizuală care accesează scripturi utilizând funcțiile încorporate ale limbajului TERR,
• Scripturile TERR inițiază funcționalități de calcul distribuite în interacțiune cu Map / Reduce, H2O, SparkR sau Fuzzy Logix,
• Aceste aplicații, la rândul lor, accesează sisteme extrem de eficiente precum Hadoop sau alte surse de date,
• TERR poate fi implementat ca un motor de analiză avansat în nodurile Hadoop care sunt conduse de MapReduce sau Spark. TERR poate fi utilizat și pentru nodurile de date Teradata.
• Rezultatele sunt vizualizate pe Spotfire.

TERR pentru analize avansate

TIBCO Enterprise Runtime for R (TERR) - TERR este un pachet de statistici la nivel de întreprindere care a fost dezvoltat de TIBCO pentru compatibilitate completă R, bazându-se pe mulți ani de experiență a companiei în sistemul analitic asociat cu S +. Acest lucru le permite clienților să dezvolte în continuare aplicații și modele nu numai folosind open source R, ci și să integreze și să își implementeze codul R pe o platformă comercială și fiabilă, fără a fi nevoie să le rescrieți codul. TERR are o eficiență mai mare și un management de memorie fiabil, oferă o viteză de procesare mai mare pentru volume mari de date comparativ cu limbajul R open source.

Combinând toate funcționalitățile

Combinarea funcționalității puternice menționate mai sus înseamnă că, chiar și pentru cele mai complexe sarcini care necesită analize extrem de fiabile, utilizatorii interacționează cu fluxuri de lucru interactive simple și ușor de utilizat. Aceasta permite utilizatorilor de afaceri să vizualizeze și să analizeze date și să partajeze rezultatele analizei, fără a fi nevoie să cunoască detaliile arhitecturii de date care stă la baza analizei de afaceri.

Exemplu: interfață Spotfire pentru configurarea, rularea și vizualizarea rezultatelor unui model care definește caracteristicile sarcinilor pierdute. Prin această interfață, utilizatorii de afaceri pot efectua calcule folosind TERR și H2O (un cadru de calcul distribuit) accesând datele de tranzacție și expediere stocate în clustere Hadoop.

Spațiu analitic pentru big data

Analitică avansată și predictivă

Utilizatorii folosesc tablourile de selecție vizuală Spotfire pentru a lansa un set bogat de funcții avansate care facilitează efectuarea de predicții, crearea de modele și optimizarea lor din mers. Folosind big data, analiza se poate face în interiorul sursei de date (In-Datasource), returnând doar informațiile agregate și rezultatele necesare pentru a crea vizualizări pe platforma Spotfire.

Învățare automată

O gamă largă de instrumente de învățare automată sunt disponibile în lista Spotfire cu caracteristici încorporate care pot fi utilizate cu un singur clic. Statisticienii au acces la codul programului scris în limbajul R și pot extinde funcționalitatea utilizată. Funcționalitatea de învățare automată poate fi partajată cu alți utilizatori pentru o reutilizare ușoară.

Următoarele metode de învățare automată sunt disponibile pentru variabilele categorice continue pe Spotfire și pe TERR:

• Regresie liniară și logistică
• Copaci de decizie, pădure aleatorie, Mașină de creștere a gradientului (GBM)
• Modele liniare generalizate (aditive) (Modele aditive generalizate)
• Rețele neuronale

Analiza continutului

Spotfire oferă analize și vizualizare a datelor, dintre care multe nu au fost utilizate până acum - este un text nestructurat care este stocat în surse precum documente, rapoarte, note de sistem CRM, jurnale de site-uri, publicații pe rețelele sociale și multe altele.

Analiza locației

Hărțile stratificate de înaltă rezoluție sunt o modalitate excelentă de a vizualiza datele mari. Funcționalitatea bogată a hărții Spotfire vă permite să creați hărți cu câte straturi de referință și funcționale aveți nevoie. Spotfire oferă, de asemenea, posibilitatea de a utiliza analize sofisticate în timp ce lucrați cu hărți. În plus față de hărțile geografice, sistemul creează hărți pentru a vizualiza comportamentul utilizatorilor, depozitelor, producției, materiilor prime și multor alți indicatori.

Ar putea fi util să citiți:

• Piața mondială a sistemelor electronice de gestionare a documentelor;
• Condiții, factori și criterii pentru implementarea cu succes a proiectului;
• De ce să automatizăm un proces de afaceri;
• Rețeaua socială corporativă închisă a companiei dvs. Contactați colegii, lucrați la documente, împărtășiți-vă ideile, cunoștințele și succesul!;
• Sisteme de Business Intelligence (BI) pentru analiza afacerii Unele dintre beneficiile utilizării soluțiilor BI;
• Crearea unui nou proiect în MS Project;
• Sistem automat de gestionare a documentelor;
• La aprobarea recomandărilor pentru menținerea unui registru al vânzătorilor și a unui registru al acordurilor privind furnizarea unui loc de tranzacționare pe piețele cu amănuntul situate în regiunea Moscovei \u003d\u003d Descrierea formularului \u003d\u003d;