Scopurile analizei datelor. Sisteme de Business Intelligence (BI) pentru analiza afacerilor Unele dintre beneficiile utilizării soluțiilor BI

Descărcați GRATUIT versiunea completă a Tableau Desktop, 14 zile și obțineți GRATUITE materiale de instruire Tableau BI

S-a vorbit atât de mult despre analiza informațiilor în ultima vreme și atât de mult încât se poate încurca în cele din urmă în problemă. Este bine că mulți sunt atenți la un subiect atât de urgent. Singurul lucru rău este că prin acest termen fiecare înțelege de ce are nevoie, de multe ori fără a avea o imagine generală a problemei. Fragmentarea în această abordare este motivul neînțelegerii a ceea ce se întâmplă și ce trebuie făcut. Totul este format din piese care sunt slab legate între ele și nu au un nucleu comun. Probabil că ați auzit des expresia „automatizare patchwork”. Mulți s-au confruntat deja cu această problemă de multe ori și pot confirma că principala problemă cu această abordare este că aproape niciodată nu este posibil să vedeți întreaga imagine. Situația este similară cu analiza.

Pentru a înțelege locul și scopul fiecărui mecanism de analiză, să luăm în considerare toate acestea în totalitate. Vom începe de la modul în care o persoană ia decizii, deoarece nu suntem capabili să explicăm cum se naște un gând, ne vom concentra asupra modului de utilizare tehnologia de informație... Prima opțiune - decidentul (DM) folosește computerul doar ca mijloc de extragere a datelor și trage singur concluziile. Pentru a rezolva acest tip de sarcini se folosesc sisteme de raportare, analiză multidimensională a datelor, diagrame și alte metode de vizualizare. A doua opțiune: programul nu numai că extrage date, dar efectuează și diferite tipuri de preprocesare, de exemplu, curățare, netezire și așa mai departe. Iar datelor prelucrate în acest fel se aplică metode matematice analiza - clustering, clasificare, regresie etc. În acest caz, decidentul nu primește date brute, ci date procesate serios, de exemplu. o persoană lucrează deja cu modele pregătite de un computer.

Datorită faptului că, în primul caz, aproape tot ceea ce are legătură cu mecanismele de luare a deciziilor este atribuit unei persoane, problema cu selecția unui model adecvat și alegerea metodelor de procesare este mutată în afara mecanismelor de analiză, adică , baza pentru luarea unei decizii este fie o instrucțiune (de exemplu cum puteți implementa mecanisme de răspuns la abateri), fie intuiția. În unele cazuri, acest lucru este suficient, dar dacă factorii de decizie sunt interesați de cunoștințe suficient de profunde, ca să spunem așa, atunci mecanismele de extracție a datelor pur și simplu nu vor ajuta aici. Este nevoie de o prelucrare mai serioasă. Acesta este chiar al doilea caz. Toate mecanismele de preprocesare și analiză aplicate permit factorilor de decizie să lucreze la un nivel superior. Prima opțiune este potrivită pentru rezolvarea sarcinilor tactice și operaționale, iar a doua este pentru replicarea cunoștințelor și rezolvarea problemelor strategice.

Cazul ideal ar fi aplicarea ambelor abordări la analiză. Acestea vă permit să acoperiți aproape toate nevoile unei organizații în analiza informațiilor de afaceri. Variind metodologia în funcție de sarcini, vom putea în orice caz să stoarcem la maximum din informațiile disponibile.

Schema generală de lucru este prezentată mai jos.

Adesea, atunci când descriem un produs care analizează informații de afaceri, se folosesc termeni precum managementul riscului, prognoză, segmentarea pieței... Dar, în realitate, soluțiile la fiecare dintre aceste probleme se reduc la utilizarea uneia dintre metodele de analiză descrise mai jos. . De exemplu, prognoza este o problemă de regresie, segmentarea pieței este gruparea, managementul riscului este o combinație de grupare și clasificare, sunt posibile și alte metode. Prin urmare, acest set de tehnologii vă permite să rezolvați majoritatea problemelor de afaceri. De fapt, ele sunt elemente atomice (de bază) din care este asamblată soluția unei anumite probleme.

Acum vom descrie separat fiecare fragment al circuitului.

Sursa primară de date ar trebui să fie bazele de date ale sistemelor de management al întreprinderii, documentele de birou, internetul, deoarece este necesar să se utilizeze toate informațiile care pot fi utile pentru luarea unei decizii. Mai mult, vorbim nu doar despre informații interne pentru organizație, ci și despre date externe ( indicatori macroeconomici, mediu competitiv, date demografice etc.).

Deși depozitul de date nu implementează tehnologii de analiză, acesta este baza pe care se construiește un sistem analitic. În absența unui depozit de date, colectarea și organizarea informațiilor necesare analizei va dura de cele mai multe ori, ceea ce va anula în mare măsură toate avantajele analizei. La urma urmei, unul dintre indicatori cheie orice sistem analitic este capacitatea de a obține rapid rezultate.

Următorul element al schemei este stratul semantic. Indiferent de modul în care vor fi analizate informațiile, este necesar ca acestea să fie înțelese de către decident, deoarece în majoritatea cazurilor datele analizate sunt situate în baze de date diferite, iar decidentul nu ar trebui să se aprofundeze în nuanțele lucrului cu un SGBD, atunci se cere crearea unui anumit mecanism care transformă domeniul termenilor în apeluri către mecanisme de acces la baze de date. Această sarcină este realizată de stratul semantic. Este de dorit ca acesta să fie același pentru toate aplicațiile de analiză, astfel încât este mai ușor să aplicați abordări diferite ale problemei.

Sistemele de raportare sunt concepute pentru a răspunde la întrebarea „ce se întâmplă”. Primul caz de utilizare: rapoartele periodice sunt folosite pentru a monitoriza situația operațională și a analiza abaterile. De exemplu, sistemul pregătește zilnic rapoarte privind soldul stocurilor, iar atunci când valoarea acestuia este mai mică decât media vânzării săptămânale, trebuie să răspundeți la aceasta prin pregătirea unei comenzi de cumpărare, adică, în majoritatea cazurilor, acestea sunt standardizate. tranzacții de afaceri. Cel mai adesea, unele elemente ale acestei abordări au fost implementate într-o formă sau alta în companii (chiar dacă doar pe hârtie), dar aceasta nu ar trebui lăsată să fie singura abordare disponibilă pentru analiza datelor. Al doilea caz de utilizare pentru sistemele de raportare: gestionarea cererilor ad-hoc. Când un factor de decizie dorește să testeze orice gând (ipoteză), el trebuie să obțină de gândit, confirmând sau infirmând ideea, deoarece aceste gânduri vin spontan și nu există o idee exactă despre ce fel de informații vor fi necesare, este nevoie de un instrument care vă permite să obțineți rapid aceste informații într-o formă convenabilă. Datele extrase sunt de obicei prezentate fie în tabele, fie în grafice și diagrame, deși sunt posibile alte reprezentări.

Deși pot fi utilizate abordări diferite pentru a construi sisteme de raportare, cel mai comun în prezent este mecanismul OLAP. Ideea principală este reprezentarea informațiilor sub formă de cuburi multidimensionale, unde axele reprezintă dimensiuni (de exemplu, timp, produse, clienți), iar măsurile (de exemplu, valoarea vânzărilor, prețul mediu de achiziție) sunt plasate în celule. Utilizatorul manipulează măsurătorile și primește informații în secțiunea dorită.

Datorită ușurinței sale de înțelegere, OLAP s-a răspândit ca motor de analiză a datelor, dar trebuie să înțelegeți că capacitățile sale în domeniul analizei mai profunde, de exemplu, prognoză, sunt extrem de limitate. Problema principală în rezolvarea problemelor de prognoză nu este capacitatea de a extrage datele de interes sub formă de tabele și diagrame, ci construirea unui model adecvat. Atunci totul este destul de simplu. Informații noi sunt transmise la intrarea modelului existent, trecute prin acesta, iar rezultatul este prognoza. Dar construirea unui model nu este deloc o sarcină banală. Desigur, puteți introduce mai multe modele gata făcute și simple în sistem, de exemplu, regresie liniară sau ceva similar, destul de des asta fac, dar acest lucru nu rezolvă problema. Sarcini reale aproape întotdeauna depășesc astfel de modele simple. În consecință, un astfel de model va detecta doar dependențe explicite, a căror valoare de detecție este nesemnificativă, ceea ce este binecunoscut oricum, sau va face predicții prea grosiere, ceea ce este, de asemenea, complet neinteresant. De exemplu, dacă, atunci când analizezi prețul acțiunilor la bursă, pornești de la simpla presupunere că mâine acțiunile vor costa la fel ca astăzi, atunci în 90% din cazuri vei ghici. Și cât de valoroasă sunt astfel de cunoștințe? Doar restul de 10% interesează brokerii. În cele mai multe cazuri, modelele primitive dau rezultate de aproximativ același nivel.

Abordarea corectă a construirii modelelor este să le îmbunătățim pas cu pas. Începând cu primul model, relativ grosier, este necesar să îl îmbunătățim pe măsură ce se acumulează date noi și modelul este aplicat în practică. De fapt, sarcina de a face previziuni și lucruri similare depășește mecanismele sistemelor de raportare, așa că nu ar trebui să vă așteptați la rezultate pozitive în această direcție atunci când utilizați OLAP. Pentru a rezolva problemele unei analize mai profunde, se folosește un set complet diferit de tehnologii, unite sub denumirea de Knowledge Discovery in Databases.

Knowledge Discovery in Databases (KDD) este procesul de transformare a datelor în cunoștințe. KDD include aspectele de pregătire a datelor, selectarea caracteristicilor informative, curățarea datelor, aplicarea metodelor de Data Mining (DM), post-procesare a datelor, interpretarea rezultatelor obținute. Data Mining este un proces de descoperire a cunoștințelor necunoscute anterior, nebanal, practic utile și disponibile pentru interpretare în date „brute”, necesare pentru luarea deciziilor în diverse sfere ale activității umane.

Atractivitatea acestei abordări constă în faptul că, indiferent de tematică, aplicăm aceleași operații:

1. Extrageți date. În cazul nostru, acest lucru necesită un strat semantic.
2. Date clare. Utilizarea datelor „murdare” pentru analiză poate anula complet mecanismele de analiză utilizate în viitor.
3. Transformați datele. Diverse metode de analiză necesită date special pregătite. De exemplu, undeva doar informațiile digitale pot fi folosite ca intrări.
4. Efectuați, de fapt, analiza - Data Mining.
5. Interpretați rezultatele obținute.

Acest proces se repetă în mod iterativ.

Data Mining, la rândul său, oferă o soluție pentru doar 6 sarcini - clasificare, grupare, regresie, asociere, secvență și analiza varianței.

Acesta este tot ceea ce trebuie făcut pentru a automatiza procesul de extragere a cunoștințelor. Alți pași sunt deja întreprinși de un expert, care este și un factor de decizie.

Interpretarea rezultatelor prelucrării computerizate este responsabilitatea persoanei. Doar metode diferite oferi diverse teme de gândire. În cel mai simplu caz, acestea sunt tabele și diagrame, iar în cazul mai complex, modele și reguli. Este imposibil să excludem complet participarea umană, deoarece acest rezultat sau acela nu are sens până când nu este aplicat unui anumit domeniu. Cu toate acestea, există o oportunitate de a reproduce cunoștințele. De exemplu, un factor de decizie, folosind o anumită metodă, a determinat care indicatori afectează bonitatea cumpărătorilor și a prezentat acest lucru sub forma unei reguli. Regula poate fi introdusă în sistemul de acordare a împrumuturilor și astfel reduce semnificativ riscurile de credit prin punerea în aplicare a evaluărilor acestora. În același timp, nu este necesară o înțelegere profundă a motivelor pentru cutare sau cutare concluzie de la persoana implicată în extragerea propriu-zisă a documentelor. De fapt, acesta este un transfer de metode aplicate cândva în industrie în domeniul managementului cunoștințelor. Ideea principală este de a trece de la metodele unice și neunificate la cele pipeline.

Tot ceea ce este menționat mai sus este doar numele sarcinilor. Și pentru a le rezolva pe fiecare dintre ele, puteți aplica diverse tehnici, de la metode statistice clasice până la algoritmi de auto-învățare. Problemele reale de afaceri sunt aproape întotdeauna rezolvate prin una dintre metodele de mai sus sau prin combinarea lor. Aproape toate sarcinile - prognoza, segmentarea pieței, evaluarea riscurilor, evaluarea performanței campanii de publicitate, nota avantaje competitiveși multe altele - rezumați-vă la cele descrise mai sus. Prin urmare, având la dispoziție un instrument care rezolvă lista de sarcini dată, putem spune că sunteți pregătit să rezolvați orice problemă de analiză a afacerii.

Dacă ai fost atent, nu am menționat nicăieri despre ce instrument va fi folosit pentru analiză, ce tehnologii, pentru că sarcinile în sine și metodele de soluționare a acestora nu depind de trusa de instrumente. Aceasta este doar o descriere a unei abordări competente a problemei. Puteți folosi orice doriți, important este doar ca întreaga listă de sarcini să fie acoperită. În acest caz, putem spune că există o soluție cu adevărat completă. Foarte des, mecanismele care acoperă doar o parte nesemnificativă a sarcinilor sunt propuse ca „soluție completă la problemele de analiză a afacerii”. Cel mai adesea, un sistem de analiză a informațiilor de afaceri este înțeles doar ca OLAP, care este complet insuficient pentru o analiză cu drepturi depline. Sub un strat gros de sloganuri publicitare există doar un sistem de raportare. Descrierile eficiente ale unuia sau altuia instrument de analiză ascund esența, dar este suficient să porniți de la schema propusă și veți înțelege starea reală a lucrurilor.

Business intelligence și analiza datelor. Consultanta eficienta este ceea ce este necesar pentru dezvoltarea calitatii oricarei afaceri. Rezolvarea problemelor și crizelor existente, prevenirea celor potențiale, găsirea modalităților de creștere a profiturilor și a eficienței în general: toate acestea vă asigură consultanță de înaltă calitate.

Procesul de consultanță este complex, în mai multe etape, pe mai multe niveluri, nu există o abordare clară și universală pentru absolut orice afacere: contextul de afaceri, nișa sa, industria, publicul țintă, caracteristicile și multe altele: toate acestea afectează modul în care procesele de afaceri vor fi diagnosticat. Desigur, etapa finală a consultanței este precedată de multe alte pre-procese, cum ar fi pregătirea sarcinilor, descrierea proceselor de afaceri, analiza de afaceri, diagnosticarea infrastructurii în general și a infrastructurii IT a organizației, în special, datele sunt analizate, și pe baza acesteia, se creează o serie de recomandări... Trebuie să spun că analiza de afaceri și analiza datelor sunt cele mai importante etape ale procesului de consultanță, duc la concluziile adecvate, tocmai pe baza unei astfel de analize se creează orice recomandări.

Analiza datelor și Business Intelligence: Cum se implementează?

Analiza calitativă, în acest caz, nu se poate face fără prezența unor metrici cantitative. Adică, este foarte de dorit ca în activitatea întreprinderii să fie introdus un fel de automatizare - procesele de afaceri, relațiile cu clienții, furnizorii, intermediarii, astfel încât fluxul de lucru și toate celelalte procese să fie și ele automatizate. Cu o contabilitate de înaltă calitate a tuturor proceselor care au loc în cadrul afacerii, raportarea și analizele ulterioare sunt mult facilitate.

Cum puteți automatiza fluxul de lucru, gestionarea clienților și să facilitați raportarea?

Cea mai bună opțiune ar fi o exclusivitate software conceput pentru a îndeplini o varietate de sarcini - de la FB Consult. Vi se oferă sisteme de management al clienților de înaltă calitate - diverse tipuri de CRM concepute pentru diverse sectoare de afaceri, o soluție eficientă pentru controlul documentelor - DocsVision, precum și software potrivit pentru business intelligence și analiza datelor, inclusiv - și pentru identificarea tranzacțiilor financiare îndoielnice - QlikView... Implementarea unor astfel de soluții va crește semnificativ eficiența afacerii dumneavoastră.

Lucru accesibil cu Big Data folosind analize vizuale

Îmbunătățiți business intelligence și rezolvați sarcinile de rutină folosind informații ascunse în Big Data cu platforma TIBCO Spotfire. Este singura platformă care oferă utilizatorilor de afaceri o interfață de utilizator intuitivă, ușor de utilizat, care permite întreaga gamă de tehnologii analitice pentru Big Data fără a fi nevoie de profesioniști IT sau de instruire.

Interfața Spotfire face la fel de convenabilă să lucrezi atât cu seturi de date mici, cât și cu grupuri de date mari de mai mulți terabyte: citiri ale senzorilor, informații din rețelele sociale, puncte de vânzare sau surse de geolocalizare. Utilizatorii de toate nivelurile de calificare pot naviga cu ușurință în tablouri de bord semnificative și fluxuri de lucru analitice pur și simplu utilizând vizualizări care reprezintă grafic agregarea a miliarde de puncte de date.

Analiza predictivă înseamnă învățarea la locul de muncă pe baza experienței comune a companiei pentru a lua decizii mai informate. Folosind Spotfire Predictive Analytics, puteți descoperi noi tendințe ale pieței din informații despre business intelligence și puteți lua măsuri pentru a minimiza riscurile, ceea ce duce la decizii de management mai bune.

Prezentare generală

Conectivitate Big Data pentru analize de înaltă performanță

Spotfire oferă trei tipuri principale de analize cu integrare perfectă cu Hadoop și alte surse mari de date:

1. Vizualizarea datelor de analiză la cerere: conectori de date încorporați, configurabili de utilizator, care simplifică vizualizarea ultra-rapidă și interactivă a datelor
2. Analiză într-o bază de date (In-Database Analytics): integrare cu o platformă de calcul de distribuție care vă permite să faceți calcule de date de orice complexitate pe baza datelor mari.
3. Analiză în memorie: Integrare cu o platformă de analiză statistică care extrage date direct din orice sursă de date, inclusiv surse de date tradiționale și noi.

Împreună, aceste metode de integrare reprezintă o combinație puternică de explorare vizuală și analiză avansată.
Permite utilizatorilor de afaceri să acceseze, să agreeze și să analizeze date din orice sursă de date prin tablouri de bord și fluxuri de lucru puternice și ușor de utilizat.

Conectori de date mari

Conectorii de date mari Spotfire acceptă toate tipurile de acces la date: în sursă de date, în memorie și la cerere. Conectorii de date încorporați de la Spotfire includ:

• Conectori de date certificate Hadoop pentru Apache Hive, Apache Spark SQL, Cloudera Hive, Cloudera Impala, Databricks Cloud, Hortonworks, MapR Drill și Pivotal HAWQ
• Alți conectori de date mari certificați includ Teradata, Teradata Aster și Netezza
• Conectori pentru date istorice și curente din surse precum senzorii OSI PI

Calcul distribuit în sursa de date

Pe lângă selecția vizuală convenabilă de către Spotfire a operațiunilor pentru interogările SQL care accesează date distribuite între surse, Spotfire poate crea algoritmi statistici și de învățare automată care funcționează în sursele de date și returnează numai rezultatele necesare pentru a crea vizualizări în Spotfire.

• Utilizatorii lucrează cu tablouri de bord cu funcționalitate de selecție vizuală care accesează scripturi folosind capabilitățile încorporate ale limbajului TERR,
• Scripturile TERR inițiază funcționalitatea de calcul distribuită în interacțiune cu Map/Reduce, H2O, SparkR sau Fuzzy Logix,
• Aceste aplicații, la rândul lor, accesează sisteme extrem de eficiente precum Hadoop sau alte surse de date,
• TERR poate fi implementat ca un motor de analiză avansat în nodurile Hadoop care sunt conduse de MapReduce sau Spark. TERR poate fi folosit și pentru nodurile de date Teradata.
• Rezultatele sunt vizualizate pe Spotfire.

TERR pentru analiză avansată

TIBCO Enterprise Runtime for R (TERR) - TERR este un pachet de statistici de nivel enterprise care a fost dezvoltat de TIBCO pentru compatibilitate completă cu R, valorificând mulți ani de experiență în sisteme analitice a companiei asociate cu S +. Acest lucru permite clienților să continue să dezvolte aplicații și modele nu numai folosind open source R, ci și să integreze și să implementeze codul lor R pe o platformă comercială, de încredere, fără a fi nevoie să-și rescrie codul. TERR are o eficiență mai mare și un management fiabil al memoriei, oferă mai mult de mare viteză prelucrarea datelor pe volume mari în comparație cu limbajul open source R.

Combinând toate funcționalitățile

Combinarea funcționalității puternice menționate mai sus înseamnă că, chiar și pentru cele mai complexe sarcini care necesită analize extrem de fiabile, utilizatorii interacționează cu fluxuri de lucru interactive simple și ușor de utilizat. Acest lucru permite utilizatorilor de afaceri să vizualizeze și să analizeze datele și să partajeze rezultatele analizei, fără a fi nevoie să cunoască detaliile arhitecturii de date care stau la baza analizei de afaceri.

Exemplu: interfață Spotfire pentru configurarea, rularea și vizualizarea rezultatelor unui model care definește caracteristicile sarcinilor pierdute. Prin această interfață, utilizatorii de afaceri pot efectua calcule folosind TERR și H2O (un cadru de calcul distribuit) prin accesarea datelor privind tranzacțiile și expedierea stocate în clustere Hadoop.

Spațiu analitic pentru big data

Analiză avansată și predictivă

Utilizatorii folosesc tablourile de bord de selecție vizuală Spotfire pentru a lansa un set bogat de funcții avansate care facilitează realizarea de predicții, crearea modelelor și optimizarea acestora din mers. Folosind big data, analiza se poate face în interiorul sursei de date (In-Datasource), returnând doar informațiile agregate și rezultatele necesare pentru a crea vizualizări pe platforma Spotfire.

Învățare automată

O gamă largă de instrumente de învățare automată sunt disponibile în lista Spotfire de funcții încorporate care pot fi utilizate cu un singur clic. Statisticienii au acces la codul programului scris în limbajul R și pot extinde funcționalitatea utilizată. Funcționalitatea de învățare automată poate fi partajată cu alți utilizatori pentru o reutilizare ușoară.

Următoarele metode de învățare automată sunt disponibile pentru variabilele categorice continue pe Spotfire și pe TERR:

• Regresie liniară și logistică
• Arbori de decizie, algoritm forestier aleatoriu, mașină de creștere a gradului (GBM)
• Modele liniare generalizate (aditive) ( Modele aditive generalizate)
• Rețele neuronale

Analiza continutului

Spotfire oferă analize și vizualizare a datelor, dintre care o parte semnificativă nu a fost folosită înainte - este text nestructurat care este stocat în surse precum documente, rapoarte, note. sisteme CRM, jurnalele site-ului, publicațiile în retele socialeși mult mai mult.

Analiza locației

Hărți stratificate Rezoluție înaltă sunt o modalitate excelentă de a vizualiza datele mari. Funcționalitatea bogată a hărților Spotfire vă permite să creați hărți cu atâtea straturi de referință și funcționale câte aveți nevoie. Spotfire permite, de asemenea, analize sofisticate în timp ce lucrați cu hărți. Pe lângă hărțile geografice, sistemul creează hărți pentru a vizualiza comportamentul utilizatorilor, al depozitelor, al producției, al materiilor prime și al multor alți indicatori.

Ar putea fi util să citiți:

• Tehnologia de producție publicitară de tranzit;
• Principalele tipuri de servicii solicitate pe piața internațională;
• Principalele tipuri de cumpărători Tipuri de clienți după strategia comportamentală;
• Analiza SWOT: exemple de analiză SWOT;
• Diferențierea produselor și puterea de negociere Diferențierea pieței;
• Analiza de marketing a pieței: tipuri, etape, metode;
• Etapele dezvoltării unei strategii de poziționare Esența principalelor etape ale procesului de poziționare;
• Și eficiența comunicativă a publicității Eficacitatea comunicativă a publicității;