Metode sociologice de cercetare de marketing. Enciclopedia metodelor de marketing ale cercetării în marketing social

Scopul acestei lucrări este de a studia teoria și metodologia metodelor sociologice în cercetarea de marketing, precum și de a lua în considerare tehnicile, procedeele și caracteristicile aplicării acestor metode în practică. Pentru a atinge acest obiectiv, este necesar să rezolvați următoarele sarcini:
Descrieți bazele teoretice ale cercetării de marketing, esența și conținutul acesteia;
Studierea fundamentelor teoretice ale metodelor de cercetare cantitativă și calitativă;
Descrieți tehnicile și procedurile de aplicare a metodelor cantitative și calitative;
Dezvăluie esența marketingului bancar;

Introducere …………………………………………………………………………………. 3
Capitolul I. Teoria și metodologia metodelor sociologice în cercetarea de marketing
1.1. Conceptul de cercetare de marketing ………………………………………… 7
1.2. Specificitatea metodelor cantitative ………………………………………… .. 13
1.3. Fundamentele teoretice ale metodelor calitative ……………………………… .. 21
Capitolul ӀΙ. Caracteristici și tehnici de aplicare a metodelor sociologice în cercetarea de marketing
2.1. Tehnici și proceduri de aplicare a metodelor cantitative și calitative …………………………………………………………………………………. 29
2.2. Conceptul și esența marketingului bancar. Aplicarea metodelor sociologice cercetare de piataîn practică, pe exemplul SA „Rosselkhozbank” ……………………………………………………………. 56
Concluzie ……………………………………………………………………… .... 62
Bibliografie …………………………………………

Alegerea unui anumit tip de cercetare este determinată în mare măsură de obiectivele cercetării și de sarcinile care sunt rezolvate în etapele individuale ale implementării acesteia. Anumite tipuri de cercetare de marketing sunt utilizate nu numai în etapa de identificare a problemelor și a obiectivelor cercetării, ci și în procesul de implementare a acestora. Masa 1.1 oferă un rezumat al datelor Experiență străină, care caracterizează obiectivele cercetării de marketing pentru domeniile lor individuale și metodele de implementare a acestora.

Înainte de a lua în considerare cele mai populare metode individuale de cercetare de marketing, vom oferi caracteristici generale metode care pot fi utilizate în colectarea și analizarea informațiilor de marketing.

Din tabelul de mai jos (deși nu se pretinde a fi o privire de ansamblu cuprinzătoare a tuturor metodelor), rezultă că cele mai utilizate metode de cercetare de marketing sunt metodele de analiză a documentelor, metodele de anchetă a consumatorilor (întregul ansamblu al cărora, într-o anumită măsură). de convenționalitate, pot fi numite metode de cercetare sociologică, deoarece au fost dezvoltate și utilizate pentru prima dată de sociologi), evaluări inter pares și metode experimentale.

Principala diferență dintre metodele de cercetare sociologică și evaluările experților este că primele se adresează respondenților în masă cu competențe și calificări foarte diferite, în timp ce evaluările experților vizează un număr limitat de specialiști profesioniști. Ceea ce unește aceste două grupe de metode, în primul rând, este că în ambele cazuri se folosesc aceleași metode de statistică matematică pentru prelucrarea datelor colectate.

Toate aceste grupuri de metode vor fi descrise mai detaliat în secțiunile ulterioare ale cărții.

O altă clasă de metode folosite în cercetările de marketing, dar slab reflectate în tabel. 1.1, reprezintă metode economice și matematice.

Există mai multe grupuri de metode economice și matematice utilizate în cercetarea de marketing:

  • 1. Metode statistice de prelucrare a informațiilor (determinarea estimărilor medii, a valorilor erorilor, gradul de acord al opiniilor respondenților etc. - sunt discutate în secțiunile ulterioare ale cărții).
  • 2 Metode multivariate (în primul rând factoriale și analize de cluster). Sunt folosite pentru a justifica solutii de marketing care se bazează pe numeroase variabile interdependente. De exemplu, determinarea volumului vânzărilor unui produs nou în funcție de nivelul său tehnic, preț, competitivitate, costuri de publicitate etc.
  • 3. Metode de regresie și corelare. Ele sunt folosite pentru a stabili relații între grupuri de variabile care descriu activități de marketing.
  • 4. Metode de simulare. Sunt utilizate atunci când variabilele care influențează situația de marketing (de exemplu, descrierea concurenței) nu pot fi determinate prin metode analitice.
  • 5. Metode ale teoriei statistice a deciziei (teoria jocurilor, teoria la coadă, programare stocastică) sunt folosite pentru a descrie stocastic reacția consumatorilor la o schimbare a situației pieței. Există două domenii principale de aplicare a acestor metode: pentru testarea statistică a ipotezelor despre structura pieței și a ipotezelor despre starea pieței, de exemplu, cercetarea gradului de loialitate față de o marcă, prognozarea cotei de piață.
  • 6. Metode deterministe de cercetare operațională (în primul rând programare liniară și neliniară). Aceste metode sunt folosite atunci când există multe variabile interdependente și este necesară găsirea soluției optime – de exemplu, opțiunea de a livra consumatorului un produs care să ofere profit maxim, de-a lungul unuia dintre canalele de distribuție posibile.
  • 7. Metodele hibride care combină caracteristicile deterministe și probabiliste (stochastice) (de exemplu, programarea dinamică și euristică) sunt utilizate în primul rând pentru a studia problemele mișcării mărfurilor.

Aceste șapte grupuri de metode cantitative cu siguranță nu își epuizează întreaga varietate.

Modelarea matematică în cercetarea de marketing este foarte dificilă (prin urmare, în Tabelul 1.1 practic nu este prezentată). Acest lucru se datorează:

  • - complexitatea obiectului de studiu, neliniaritatea proceselor de marketing, prezența efectelor de prag, de exemplu, nivelul minim de stimulente de vânzări, decalajele de timp (în special, reacția consumatorilor la publicitate nu este adesea observată imediat);
  • - efectul interacțiunii variabilelor de marketing, care în cea mai mare parte sunt interdependente și interdependente, de exemplu, prețul, sortimentul, calitatea, producția;
  • - dificultatea de a măsura variabilele de marketing. Este dificil de măsurat răspunsul consumatorilor la anumite stimulente, cum ar fi publicitatea. Prin urmare, se folosesc adesea metode indirecte, de exemplu, înregistrarea cazurilor de returnări de produse pentru a determina eficiența publicității;
  • - instabilitatea relaţiilor de marketing din cauza schimbărilor de gust, obiceiuri, rating etc.;
  • - incompatibilitatea relativă a personalului care se ocupă de marketing și aplicarea metodelor cantitative în cercetarea lor. Prima prioritate este acordată metodelor informale, a doua - modelării matematice.

Cele de mai sus se datorează în mare măsură faptului că marketingul se ocupă de comportamentul uman și nu de fenomene tehnice. În marketing, lucrurile se repetă rar; totul este diferit pentru diferite situații. Marketingul se concentrează pe consumatori specifici, iar consumatorii sunt diferiți.

În fața schimbării profunde și rapide Mediul extern un model matematic nu este capabil să prezică impactul unei schimbări care nu a fost inițial luată în considerare în el. Spre deosebire de un expert, un model matematic este incapabil de improvizație și nu se poate adapta la schimbările profunde ale mediului extern.

Amploarea aplicării anumitor metode în cercetarea de marketing este determinată și de capacitatea companiei de a le utiliza independent sau de a cumpăra rezultatele unei astfel de cercetări. Evident, organizațiile mari au mult mai multe astfel de oportunități decât întreprinderile mici. Prin urmare, metodele cantitative în cercetarea de marketing sunt utilizate în prezent mai des de către organizațiile cu departamente analitice adecvate pentru a determina parametri atât de importanți. activitati de piata cum ar fi cererea, volumul vânzărilor, cota de piață etc.

Metodele de cercetare de marketing sunt în primul rând împărțite în metode primare de colectare a datelor și metode secundare de colectare a datelor.

Date primare - informații colectate de cercetător special pentru a rezolva o anumită problemă.

Cel mai adesea, cercetarea de marketing este înțeleasă ca colectarea de informații primare. Metodele de colectare a datelor primare, la rândul lor, sunt împărțite în metode de colectare a datelor calitative, metode de colectare a datelor cantitative și așa-numitele metode mixte, prin internet.

Cercetarea calitativă răspunde la întrebările „cum” și „de ce”.

Acest tip de cercetare vă permite să obțineți date foarte detaliate despre comportamentul, opiniile, opiniile, atitudinile unui grup foarte mic de oameni. Datele obținute nu pot fi cuantificate (cu rare excepții), dar oferă o idee bună despre mentalitatea consumatorilor. Cercetarea calitativă este de neînlocuit atunci când se dezvoltă noi produse, campanii de publicitate, studierea imaginii companiilor, mărci comercialeși rezolvarea altor probleme similare.

Metode de bază ale cercetării calitative: focus grupuri, interviuri aprofundate, analiza protocolului.

Cercetarea cantitativă răspunde la întrebările „cine” și „cât”.

Acest tip de cercetare, spre deosebire de cercetarea calitativă, permite obținerea de informații exprimate cantitativ asupra unei game limitate de probleme, dar de la un număr mare de persoane, ceea ce permite prelucrarea prin metode statistice și diseminarea către toți consumatorii. Cercetarea cantitativă ajută la evaluarea nivelului de conștientizare al unei companii sau mărci, la identificarea principalelor grupuri de consumatori, a dimensiunii pieței etc.

Principalele metode de cercetare cantitativă sunt tipuri diferite sondaje și audituri de retail.

Metodele mixte sunt metode mixte de cercetare care îmbină cu succes avantajele metodelor calitative și cantitative.

Principalele tipuri de metode de amestecare sunt testele în sală, testele acasă și cumpărăturile misterioase.

Avantajele informațiilor primare sunt următoarele:

  • - colectare în conformitate cu un obiectiv clar stabilit,
  • - metodologia de colectare este cunoscută și controlată. Rezultatele sunt disponibile companiei și pot fi protejate de concurenți,
  • - fiabilitatea este cunoscută.

Dezavantajele sale includ:

  • - mult timp pentru colectare și procesare,
  • - cost ridicat,
  • - compania în sine nu este întotdeauna capabilă să colecteze toate datele necesare.

Date secundare - informații colectate vreodată pentru orice scop care nu are legătură cu sarcina curentă.

Cercetarea secundară se bazează de obicei pe informațiile deja disponibile și, prin urmare, se numește cercetare de birou.

Distingeți (în raport cu firma) sursele externe și interne pentru cercetarea secundară. Sursele interne de informare pot fi statisticile de marketing (caracteristicile cifrei de afaceri, volumul vânzărilor, volumul vânzărilor, importuri, exporturi, reclamații), date privind costurile de marketing (pe produs, publicitate, promovare, vânzări, comunicații), alte date (cu privire la performanța instalații, echipamente, liste de prețuri pentru materii prime și materiale, caracteristici ale sistemului de stocare, carduri de consum, etc.).

Sursele externe sunt:

  • - publicații ale organizațiilor oficiale naționale și internaționale;
  • - publicații agentii guvernamentale, ministere, comitete și organizații municipale;
  • - publicaţiile camerelor de comerţ şi ale asociaţiilor industriale;
  • - anuare de informatii statistice;
  • - rapoarte și publicații ale firmelor din industrie și ale societăților mixte;
  • - cărți, mesaje în reviste și ziare;
  • - publicații ale institutelor de învățământ, de cercetare, de design și ale organizațiilor științifice sociale, simpozioane, congrese, conferințe;
  • - liste de prețuri, cataloage, broșuri și alte publicații ale companiei.

Pentru a obține o imagine de ansamblu asupra informațiilor secundare, trebuie să:

  • 1. Identificați posibile surse de informații de care aveți nevoie. Aceste informații pot fi conținute atât în ​​surse interne, cât și în surse externe. Sursele interne de informații includ rapoartele interne ale companiei, conversațiile angajaților, rapoartele de vânzări, rapoartele contabile și financiare, reclamațiile și sugestiile clienților etc. Sursele externe de informații sunt mass-media, buletinele informative emise de diverse organizații, publicațiile firmelor de cercetare și consultanță, compilațiile statistice. ; multe informații valoroase sunt pe Internet - site-uri tematice și industriale, site-uri ale companiilor concurente.
  • 2. Studiază toate sursele de informații selectate, analizează conținutul acestora și selectează informațiile de care ai nevoie.
  • 3. Pregătiți un raport final.

Principalele avantaje ale informațiilor secundare - de regulă, este ieftină și poate fi accesată relativ ușor și rapid.

Principalele dezavantaje sunt legate de faptul că informațiile secundare au fost colectate pentru a rezolva o altă problemă. În consecință, este probabil să fie a) învechit, b) incomplet, c) să nu aibă legătură directă cu problema rezolvată, d) nesigur (acest lucru este valabil mai ales pentru sursele rusești de informații secundare, în care uneori valorile același parametru în surse diferite diferă cu aproape un ordin de mărime).

Cercetarea pe internet este relativ ieftină prin colectarea de informații primare.

Avantaje:

  • - viteza si profitabilitate.
  • - nu există diferențe în viteza cercetării în interiorul și în afara țării

Dezavantaje:

Este necesară o planificare atentă prealabilă.

Orice cercetare de teren presupune participarea unui cercetător la obținerea de informații primare. Ce informații și în ce volum ar trebui obținute este determinată de scopul formulat al studiului. Totuși, pentru a obține informatiile specificate se folosesc de obicei metodele prezentate în tabel. 1.2

Tabelul 1.2 Metode de colectare a informațiilor

Orez. 1.4

Recent, una dintre cele mai obișnuite modalități de a obține informațiile necesare a devenit o anchetă a unui anumit cerc de persoane direct legate de problema studiată. Efectuarea unui sondaj înseamnă identificarea pozițiilor existente ale respondenților cu privire la o anumită gamă de probleme legate de problema luată în considerare.

Sondajele vă permit să explorați o zonă relativ largă de probleme legate de marketing. Principala problemă a metodei anchetei este modul de limitare a obiectivelor anchetei, care determină strategia și interpretarea informațiilor primite. Strâns legată de scopul anchetei este problema determinării cercului de persoane care participă la sondaj (expert, comerciant, consumator etc.). Când organizați un sondaj, plătiți Atentie speciala tactici de anchetă (în special formularea întrebărilor), formulare de anchetă și metode de selectare a persoanelor intervievate.

Sondajele pot fi unice sau recurente. Sondajele recurente se numesc tablouri de bord. Acest termen provine din cuvântul englezesc panel, care înseamnă o listă în traducere. Cercetarea grupului este o anchetă a unui anumit cerc reprezentativ de oameni pentru o perioadă lungă de timp sau pentru o anumită perioadă de timp pe o anumită temă. Un panel poate fi fie un grup de persoane, fie o organizație. Această metodă este utilizată atunci când se studiază opiniile consumatorilor unui anumit grup de oameni pentru o anumită perioadă de timp, iar pe baza ei se studiază tendința de modificare a opiniilor consumatorilor, nevoile, obiceiurile, gusturile, etc. Cele mai importante forme ale panoului sunt - panoul de consumatori și panoul de antreprenori (Figura 1.5)

Atunci când utilizează metode de sondaj, cercetătorul se confruntă cu problema compunerii întrebărilor. Alegerea formei de întrebare este determinată de modul în care este stabilit scopul cercetării.

Pentru a colecta date primare, cercetătorii de marketing pot alege dintre două instrumente principale de cercetare: un chestionar și instrumente tehnice.


Figura 1.5

Chestionarul este cel mai comun instrument de cercetare în colectarea datelor primare. Un chestionar este o serie de întrebări la care persoana intervievată trebuie să răspundă. Chestionarul este un instrument foarte flexibil; întrebările pot fi adresate în multe moduri diferite. Chestionarul necesită dezvoltarea, testarea și eliminarea atentă a deficiențelor identificate înainte de utilizarea pe scară largă. Pe parcursul elaborării chestionarului, cercetătorul de marketing selectează întrebările care trebuie adresate, alege forma acestor întrebări, formularea și succesiunea acestora. Fiecare întrebare trebuie testată în ceea ce privește contribuția pe care o aduce la obținerea rezultatelor cercetării. Întrebările inactiv ar trebui să fie omise, deoarece întârzie procedura și pun pe nervi pe respondent. Chestionarul constă de obicei dintr-o introducere, o parte necesară și o parte principală.

Formularea intrebarilor chestionarului trebuie sa fie specifica, clara si lipsita de ambiguitate, cercetatorul trebuie sa foloseasca cuvinte simple, lipsite de ambiguitate, care sa nu afecteze raspunsul, chestionarul trebuie sa fie concis si sa contina numarul optim de intrebari. Chestionarul nu trebuie să fie monoton, plictisitor și obositor. Testarea chestionarului ar trebui să utilizeze terminologie general acceptată. Toate întrebările ar trebui grupate în anumite blocuri în conformitate cu logica studiului. Necesar de folosit Întrebări de control pentru a verifica consistența respondenților în răspunsuri. Greu și intrebari personale plasat la finalul chestionarului.

Sondajul nu poate fi început fără testarea adecvată a chestionarului. Este folosit pentru a evalua întrebările în sine și succesiunea lor. În timpul testării, se află dacă oamenii își amintesc cu adevărat datele pe care și-ar dori să le primească de la ei, dacă nu sunt stânjeniți de unele întrebări, dacă provoacă reticență în a răspunde sau incertitudine atunci când răspund. Includerea fiecărei întrebări în chestionar este justificată.

Chestionarele telefonice sunt folosite în cazurile în care este necesară colectarea de informații într-un timp scurt pe o piață geografică largă. Un sondaj telefonic trebuie efectuat în prealabil prin pregătirea întrebărilor. Caracteristicile unui sondaj telefonic sunt costul redus, viteza de lucru pe teren, capacitatea de a efectua cercetări pe eșantioane mari, un grad ridicat de standardizare și un volum mic al chestionarului. Durata - nu mai mult de 15 minute. Dezavantajele acestei metode sunt contactul mai puțin confidențial dintre intervievator și respondent, imposibilitatea utilizării materialelor vizuale.

În timpul sondajului, contactul direct al intervievatorului cu respondentul permite obținerea de informații mai fiabile, folosind materiale vizuale și includerea întrebărilor deschise în chestionar. Durata maximă a interviului este de 20-25 de minute. Metoda este cea mai eficientă în cazul celor ușor disponibile public țintă cercetare, potrivită pentru cercetări cu grupuri specifice de respondenți (de exemplu, tineri), greu de realizat în alte tipuri de anchete.

Testul In-Hall este metoda de colectare a datelor care oferă cercetătorilor cea mai mare oportunitate. Sondajul se desfășoară într-o încăpere special amenajată, care permite utilizarea diverselor echipamente, prezentarea unui număr mare de mostre respondenților etc. În cazul unui public țintă greu de atins (de exemplu, consumatori cu venituri mari, specialiști profesioniști, copii cu părinți etc.), este posibilă o selecție preliminară a respondenților.

„Grupurile focus” constă în desfășurarea unui interviu aprofundat de grup sub forma unei discuții de grup, în cadrul căreia sunt colectate informații subiective de la participanții săi cu privire la o serie de probleme desemnate. Numărul recomandat de focus grupuri atunci când studiați o anumită problemă este de 3-5. Focus grupurile sunt folosite atunci când este necesar să se obțină date detaliate de la consumatorii existenți sau potențiali despre percepția lor asupra obiectului de cercetare, asocierile și opiniile asociate cu acesta, precum și pentru a modela un posibil comportament al consumatorului. Fiecare dintre metodele de anchetă are laturile sale pozitive și negative. Tabelul 4.6 prezintă avantajele și dezavantajele metodelor individuale ale acestei forme de cercetare de marketing.

Eficacitatea anchetei depinde în mare măsură de definiția eșantionului. Aici devine necesar să se obțină informații despre parametrii „grupului” dintre membrii căruia se va desfășura cercetarea de marketing. De exemplu, un manager de marketing dorește să cunoască volumul de vânzări al produselor organizației sale în diferite tipuri. magazine cu amănuntul... Un astfel de „grup” în statistică se numește populație generală sau pur și simplu populație. Uneori, populația este suficient de mică pentru ca managerul să-și studieze toți membrii. De obicei, este imposibil să faci asta: să studiezi, de exemplu, părerea tuturor copiilor de la 3 la 5 ani cu privire la jucăriile de un anumit tip. Prin urmare, doar o parte a populației este studiată.

Pentru a determina eșantionul necesar și suficient, cercetătorul trebuie să evalueze cercul de respondenți care să corespundă întregii populații și să îndeplinească obiectivele cercetării. Atunci când se elaborează un plan de eșantionare, este necesar să se determine pe cine să intervievezi, câți oameni să intervievezi și cum să selectezi membrii eșantionului.

Tabelul 1.3 Avantaje și dezavantaje forme diferite sondaj


Se pot distinge următoarele etape ale dezvoltării unui plan de eșantionare:

  • 1. Determinarea populaţiei adecvate.
  • 2. Obținerea unei „liste” a populației.
  • 3. Proiectarea unui plan de probă.
  • 4. Definirea metodelor de accesare a colecţiei.
  • 5. Realizarea dimensiunii eșantionului cerut.
  • 6. Verificarea probei pentru conformitatea cu cerințele.
  • 7. Dacă este necesar, formarea unei noi probe.

În realitate, decizia asupra mărimii eșantionului este un compromis între ipotezele teoretice despre acuratețea rezultatelor sondajului și posibilitățile de implementare practică a acestora, în primul rând, ne referim la costurile de realizare a unui sondaj.

De remarcat că nu există o relație directă între dimensiunea eșantionului și reprezentativitatea rezultatelor obținute.

În practică, se folosesc mai multe abordări pentru a determina dimensiunea eșantionului. În primul rând, le vom descrie pe cele mai simple.

Abordarea arbitrară se bazează pe aplicarea „regula degetului mare”. De exemplu, se presupune fără dovezi că eșantionul ar trebui să fie de 5% din populație pentru a obține rezultate precise. Această abordare este simplă și ușor de implementat, dar nu se poate stabili acuratețea rezultatelor obținute. Cu o populație suficient de mare, poate fi și destul de scumpă.

Mărimea eșantionului poate fi stabilită pe baza unor condiții prestabilite. De exemplu, clientul unei cercetări de marketing știe că atunci când studiază opinia publică, eșantionul este de obicei de 1000-1200 de persoane, așa că recomandă cercetătorului să respecte această cifră. Dacă sondajele anuale sunt efectuate pe o anumită piață, atunci în fiecare an se utilizează un eșantion de aceeași dimensiune. Spre deosebire de prima abordare, aici, în determinarea mărimii eșantionului, se folosește o logică binecunoscută, care însă este foarte vulnerabilă.

De exemplu, efectuarea anumitor studii poate necesita mai puțină acuratețe decât atunci când studiem opinia publică, iar dimensiunea populației poate fi de multe ori mai mică decât atunci când studiem opinia publică. Astfel, această abordare nu ține cont de circumstanțele actuale și poate fi destul de costisitoare. În unele cazuri, costul sondajului este folosit ca argument principal în determinarea mărimii eșantionului. Astfel, bugetul cercetărilor de marketing prevede costurile anumitor sondaje, care nu trebuie depășite. Evident, nu se ține cont de valoarea informațiilor primite. Cu toate acestea, în unele cazuri, chiar și un eșantion mic poate da rezultate destul de precise.

Pare rezonabil să luăm în considerare costurile nu în termeni absoluti, ci în raport cu utilitatea informațiilor obținute în urma anchetelor. Clientul și cercetătorul ar trebui să ia în considerare diferite dimensiuni ale eșantionului și metode de colectare a datelor, costuri, să țină cont de alți factori

Mărimea eșantionului poate fi determinată pe baza analizei statistice. Această abordare se bazează pe determinarea dimensiunii minime a eșantionului pe baza anumitor cerințe pentru fiabilitatea și validitatea rezultatelor obținute. De asemenea, este utilizat pentru analizarea rezultatelor obținute pentru subgrupele individuale formate în eșantion pe gen, vârstă, nivel de educație etc. Cerințele pentru fiabilitatea și acuratețea rezultatelor pentru subgrupuri individuale dictează anumite cerințe pentru dimensiunea eșantionului în ansamblu.

Studiile de eșantionare sunt întotdeauna asociate cu o eroare sau o eroare de măsurare (Tabelul 1.4).

Tabelul 1.4 Dependența intervalului de eroare de dimensiunea eșantionului și nivelul de încredere

Intervalul de eroare trebuie luat în considerare la procesarea rezultatelor chestionarului.

Din punct de vedere al organizării procesului, există cel puțin trei abordări alternative ale colectării datelor: de către angajați serviciu de marketing, de către un grup special creat sau cu implicarea unor firme specializate în colectarea datelor. Procesul de colectare a informațiilor este de obicei cea mai costisitoare parte a cercetării. În plus, în timpul implementării sale pot apărea un număr destul de mare de erori.

În colectarea datelor pot apărea multe erori – altele decât erorile de eșantionare, care sunt, prin urmare, numite erori în afara eșantionului. Aceste erori includ selectarea eșantionului greșit pentru interviuri, nereținerea în considerare a opiniilor celor care au refuzat să fie intervievați sau nu au fost acasă și evaluări false date de intervievați în mod deliberat. Este posibilă falsificarea datelor primite de către intervievator. Se pot face erori la copierea informațiilor colectate din chestionare. Spre deosebire de erorile de eșantionare, erorile din afara eșantionului nu pot fi măsurate. Prin urmare, este important să aflați în prealabil cauzele posibile ale erorilor în afara eșantionului și să luați măsurile adecvate pentru a le preveni.

Experimentul este o altă metodă, cel mai important instrument de analiză și testare în sistemul de marketing. În funcție de condițiile de desfășurare, se disting un experiment de teren și de laborator. Scopul principal al experimentului este de a studia comportamentul unui obiect prin dinamica parametrilor de ieșire atunci când caracteristicile de intrare se modifică, care pot varia atât în ​​funcție de experimentator (laborator), cât și de mediu (câmp). De exemplu, o schimbare a structurii cumpărătorilor cu schimbări în mediile de publicitate și prețuri sau schimbări în comportamentul concurenților și comercianților.

Cea mai mare aplicație în practică se găsește într-un experiment de teren, care se desfășoară în condiții normale. mediul... Găsește aplicație pentru cercetare în marketingul de bunuri, bunuri de capital și bunuri de larg consum. Experimentul de laborator se desfășoară în condiții de testare special pregătite.

În funcție de atitudinea persoanei testate față de condițiile procesului de testare, se disting patru tipuri de experiment:

  • -experiment deschis, când persoana testată este conștientă de scopul, obiectivele și condițiile experimentului;
  • - un experiment într-o situație care nu este clară pentru persoana testată, când îi sunt cunoscute doar sarcinile și comportamentul său în experiment, dar nu se cunosc scopurile experimentului;
  • - experiment imaginar, când persoana testată cunoaște scopurile și obiectivele experimentului, dar nu cunoaște condițiile situației în care va fi desfășurat;
  • - un experiment pe termen nedeterminat, atunci când persoana testată nu este pe deplin conștientă de scopul, sarcina și condițiile experimentului.

În practică, există experimente care se desfășoară sub formă de diverse teste și sunt clasificate după diverse criterii, precum locul testării (piață, garsonieră, casă etc.), obiectul testării (testul produsului, prețul). test, etc.), personalitatea testatorului (consumator real, expert, consumator potențial etc.), durata testului (pe termen scurt, pe termen lung) etc.

Analiza datelor începe cu transformarea datelor originale (introducere în calculator, verificarea erorilor, codificare, reprezentare sub formă de matrice). Aceasta traduce o tonă de date brute în informații semnificative. În continuare, se efectuează o analiză statistică (se calculează mediile, frecvențele, coeficienții de regresie și corelație, se analizează tendințele etc.). Pentru aceasta se folosește un sistem de analiză a informațiilor de marketing.

Sistemul de analiză a informațiilor de marketing este un set de metode perfecte pentru analiza datelor de marketing și a problemelor de marketing. La baza oricărui sistem de analiză a informațiilor de marketing este o bancă statistică și o bancă de modele.

Banca statistica - agregat tehnici moderne prelucrarea statistică a informațiilor, permițând dezvăluirea cât mai completă a interdependențelor din setul de date și stabilirea gradului de fiabilitate statistică a acestora. Aceste tehnici includ analiza corelației, analiza factorilor, analiza de regresie etc.

Banca de modele este un set modele matematice facilitarea adoptării de către liderii pieţei a deciziilor optime de marketing. Aceste modele includ un model de preț, un model de dezvoltare buget de publicitate etc.

După colectarea informațiilor și prelucrarea acestora, se realizează un raport final asupra muncii depuse, unde sunt indicate concluziile studiului și sunt oferite recomandări clientului.

Metodele sociologice sunt folosite cu succes pentru a colecta date primare. Există trei metode principale de colectare a informațiilor primare: observație, experiment, anchetă.

Masa 2 prezintă avantajele și dezavantajele principalelor metode de cercetare sociologică utilizate în cercetarea de marketing.

Observația este o metodă de culegere a informațiilor prin fixarea funcționării obiectelor studiate fără ca cercetătorii să stabilească contacte cu acestea și în absența controlului asupra factorilor care le influențează comportamentul.

Observarea poate fi efectuată atât în ​​mod deschis, cât și pe ascuns. Deoarece cunoașterea obiectului cercetării despre găsirea lui sub observație poate afecta comportamentul acestuia și în acest caz poate fi considerată ca stabilirea contactului cu el, în practică, de regulă, se efectuează observații ascunse. În acest caz, camerele ascunse și oglinzile speciale sunt folosite ca instrumente de cercetare.

Tabelul 2. Avantajele și dezavantajele principalelor metode de cercetare sociologică

Avantaje

dezavantaje

Observare

Simplitate.

Ieftin relativ.

eliminarea distorsiunilor cauzate de contactele obiectelor cu cercetătorii

nu permite stabilirea fără ambiguitate a motivelor interne ale comportamentului obiectelor de observație și a proceselor lor decizionale și, prin urmare, ele pot fi interpretate greșit de către observatori.

Experiment

Caracter obiectiv. Capacitatea de a stabili relații cauzale între factorii de marketing și comportamentul obiectelor studiate

Dificultatea de a controla toți factorii de marketing in vivo. Dificultatea de a reproduce comportamentul normal al unui obiect socio-economic în condiții de laborator.

Mai costisitoare decât observarea, mai ales atunci când mai mulți factori de marketing trebuie investigați.

Arie de aplicare practic nelimitată.

Vă permite să obțineți date nu numai despre comportamentul actual al unui obiect, ci și despre comportamentul acestuia în trecut și despre intențiile în viitor.

Intensitate mare a muncii. Costuri semnificative ale efectuării sondajelor. Posibilă scădere a acurateții informațiilor primite din cauza răspunsurilor incorecte sau distorsionate.

Formulare de sondaj

Prin telefon

Eficiență ridicată. Ieftinitatea deținerii

Potrivit pentru colectarea atât a datelor reale, cât și a datelor care caracterizează relațiile. Control

Limitat la respondenții cu un telefon

Este dificil să menții interesul mai mult de 15 minute.

Este dificil să pui întrebări dificile.

Concizie forțată a conversației

Disponibil pentru grup mic cercetători.

Cost scăzut.

Ușurință de organizare.

Nu există nicio influență din partea intervievatorului.

Utilizarea ilustrațiilor

Eficiență scăzută.

Posibilitatea de a nu returna o parte semnificativă a chestionarelor trimise. Posibilitatea de auto-selectare a respondenților

Lipsa oportunității de a clarifica problema.

Capacitatea de a răspunde la întrebări de la persoanele greșite cărora le sunt adresate

Interviu personal

Procent relativ mic de refuzuri.

Precizie relativ ridicată a sondajului.

Aplicarea chestionarelor mai complexe și mai lungi. O oportunitate de a clarifica toate întrebările de neînțeles.

Efort organizatoric relativ mare și costuri materiale să o conducă.

Capacitatea intervievatorului de a influența opinia respondenților dacă are anumite preferințe.

Observația este utilizată în principal în cercetarea exploratorie, adică. cu caracter preliminar, vizând concretizarea problemelor cu care se confruntă cercetătorii.

Un experiment este o metodă de colectare a informațiilor despre comportamentul obiectelor studiate, care prevede stabilirea de către cercetători a controlului asupra tuturor factorilor care afectează funcționarea acestor obiecte.

Scopul unui studiu efectuat cu ajutorul unui experiment este, de regulă, de a stabili relații de cauzalitate între factorii de marketing și comportamentul obiectelor studiate.

Pentru a asigura fiabilitatea rezultatelor experimentului, valorile tuturor factorilor, cu excepția celui investigat, trebuie să rămână neschimbate. Dacă trebuie investigați mai mulți factori, pot fi necesare o serie de experimente.

În practică, această metodă este utilizată în cazurile în care se impune stabilirea cu un grad ridicat de fiabilitate a naturii relațiilor cauzale dintre factorii de marketing și comportamentul obiectului studiat.

Studiu. Un sondaj este înțeles ca o metodă de colectare a informațiilor prin stabilirea de contacte cu obiectele de cercetare. Ca instrument de cercetare, un chestionar este utilizat prin metoda sondajului, care este un chestionar care prevede fixarea răspunsurilor.

Sondajele practic nu au alternativă în cazurile în care o firmă are nevoie de informații despre cunoștințele, convingerile și preferințele consumatorilor, gradul de satisfacție al acestora, imaginea companiei etc. Aceasta, în primul rând, explică utilizarea pe scară largă a acestei metode în cercetările de marketing.

Deci, dacă un experiment este ales ca metodă, atunci cercetătorii trebuie să efectueze pregătirea lui minuțioasă, inclusiv stabilirea locului sau locațiilor desfășurării acestuia, durata, compoziția factorilor, marketingul și valorile acestora, care trebuie menținute neschimbate sau modificate într-un mod strict. mod definit pe parcursul experimentului.

Pregătirea observației prevede determinarea locurilor de observație, durata acesteia, măsuri de asigurare a secretului, instrucțiuni detaliate pentru observatori privind interpretarea diferitelor opțiuni posibile pentru comportamentul obiectelor studiate.

Pregătirea pentru a colecta informații folosind un sondaj implică rezolvarea următoarelor sarcini:

  • - alegerea metodei de comunicare cu publicul;
  • - intocmirea chestionarului;
  • - testarea si revizuirea chestionarului.

Există trei căi principale de comunicare între cercetător și subiect în timpul sondajului: prin telefon, prin poștă și în persoană. Fiecare dintre aceste metode de comunicare are anumite avantaje și dezavantaje. Anexa B discută principalele avantaje și dezavantaje.

Chestionarul este un instrument flexibil de anchetă, deoarece pentru a obține informațiile necesare se pot folosi întrebări care diferă ca formă, formulare, succesiune. Acest lucru le permite cercetătorilor să efectueze atât interviuri deschise, cât și ascunse.

Un sondaj deschis folosește o formulare a întrebării care reflectă în mod clar scopul său. Avantajul unui astfel de sondaj este capacitatea de a exclude interpretările respondenților la întrebări care nu corespund obiectivelor studiului. Principalul dezavantaj este dorința respondentului într-o serie de cazuri de a evita un răspuns sincer, în primul rând la întrebările de natură personală.

Interogarea ascunsă vă permite să evitați dezavantajul notat mai sus, să creșteți gradul de sinceritate al răspunsurilor, dar poate duce la părtiniri nedorite în răspunsuri din cauza interpretării incorecte a întrebării adresate de respondenți.

În funcție de formă, se disting două tipuri de întrebări: deschise și închise. Întrebările deschise au o formă care deschide respondentului libertate deplină în formularea răspunsului.

Întrebările închise oferă respondentului un set de răspunsuri alternative, dintre care trebuie să aleagă unul sau mai multe care reflectă cel mai bine poziția sa (de exemplu, „Indicați cele două caracteristici ale unui telefon mobil care sunt cele mai importante pentru dvs.: aspect, compatibilitate, fiabilitate, cost, disponibilitatea funcțiilor suplimentare etc.). Aceste întrebări pot fi fără ambiguitate (da sau nu) sau cu alegere multiplă.

Întrebările deschise sunt de preferat pentru cercetările preliminare care vizează clarificarea naturii problemei. Dezavantajul lor constă în faptul că pentru cercetător apar dificultăți în analiza răspunsurilor din cauza discrepanțelor în nuanțele cuvintelor și expresiilor și a imposibilității interpretării lor fără ambiguitate. Prin urmare, în practică, întrebările închise sunt cele mai frecvente în cercetările de marketing.

Formularea întrebărilor din chestionar trebuie să fie atent concepută și să îndeplinească cerințele stabilite.

Alegerea finală a metodei adecvate depinde în mare măsură de calificările și experiența cercetătorilor și de profunzimea cunoștințelor lor cu privire la metodele individuale de colectare a datelor.

1. Diferențele fundamentale între metodele cantitative și calitative de colectare a informațiilor primare

2. Tipuri de cercetare calitativă

Principalele categorii și concepte: cercetare cantitativa, cercetare calitativa, studii de caz, metoda etnografica, metoda istorica, metoda istoriei familiei, metoda biografica, metoda focus-grupului.

Informația sociologică și de marketing este un caz special de informație socială. Acestea sunt informații obținute prin intermediul sociologic și metode de marketing culegându-l şi interpretându-l în termeni de sociologie şi marketing.

V sociologie modernăși marketing pentru a obține informații primare, sunt utilizate metode calitative și cantitative de colectare a datelor.

Cronologic metode calitative au apărut mult mai târziu decât cele cantitative, în a doua jumătate a secolului al XX-lea. Diferența fundamentală dintre metodele calitative este posibilitatea practică de a obține un context subiectiv de opinii, judecăți, aprecieri ale respondenților, care sunt numiți informatori în cercetarea calitativă. În același timp, studiile calitative nu prevăd utilizarea unei populații mari chestionate, drept urmare excluzând posibilitatea extrapolării (transferării) datelor obținute către întreaga populație generală. De regulă, într-un studiu calitativ, populația chestionată este de 10-15 unități de analiză, dar selecția unităților de analiză se efectuează după toate regulile de formare a populației eșantionului.

Culegerea de informații se realizează în principal printr-un interviu narativ sau un eseu narativ (narațiune - cercetare textuală aprofundată), în cadrul căruia informatorii își exprimă judecățile subiective, opiniile, aprecierile. Subiectivitatea afirmațiilor este dictată de faptul că acest gen de sondaj nu este standardizat, adică informatorilor nu li se oferă întrebări cu scale însoțitoare. Informatorilor li se oferă numai direcții generale ale unei conversații sau ale unui eseu: fie sub forma unei probleme/teme, fie sub formă de întrebări generale, fie sub formă de grupuri (o listă de itemi despre care este de dorit să se obțină informații). ). În fiecare caz specific, informatorul determină contextul semnificativ al conversației sau eseului în sine.

În timpul pregătirii unui astfel de studiu se întocmește un program de studii tradițional. La finalul cercetării calitative se analizează și se prelucrează rezultatele, care sunt ulterior utilizate în textul raportului. O caracteristică a metodelor de prelucrare a informațiilor de înaltă calitate este imposibilitatea utilizării programelor statistice.

În prezent, nu există metode standard de procesare a informațiilor de calitate. Cel mai cerinta generala pentru informaţia de calitate este folosirea aşa-numitului „vorbire viu” al informatorilor, care în contextul textului interpretativ al cercetătorului ar trebui păstrat în stilul şi vocabularul informatorilor. În cazul unui eseu – în ortografia informatorilor, adică cu toate posibile greșeli(în practica reală de cercetare, astfel de cerințe sunt necondiționate pentru sociologie, dar nu pentru marketing).


Stilul de cercetare folosind metode calitative este definit ca moale, cald.

Cercetare cantitativă sunt construite pe alte temeiuri și legi. În acest caz, se folosesc metode standardizate de obținere a informațiilor, cu ajutorul cărora este posibil calculul statistic al informațiilor. Pe baza datelor statistice se determină tendința generală pentru populația chestionată, care poate fi extrapolată la populația generală, întrucât în ​​acest caz eșantion validă(adică semnificativ statistic, reflectând toată varietatea de caracteristici ale populației generale).

În cercetarea cantitativă, intervievații sunt numiți respondenți.

La finalul unui astfel de studiu, pentru procesarea rezultatelor obținute se folosesc fie programe statistice, fie programul SPSS. Este posibilă și prelucrarea manuală - așa-numita întoarcere a punctului.

Stilul de cercetare folosind metode cantitative este definit ca dur, rece.

În practica cercetării în realitate azi se folosesc mai ales metode mixte – calitative si cantitative. În acest caz, este posibil să se utilizeze două strategii de cercetare.

1. În primul rând, se folosesc metode cantitative ale căror rezultate statistice permit construirea unor portrete calitative/sociale.

2. Se folosesc inițial metode calitative, în cadrul cărora se identifică acei indicatori/concepte conversaționale care au fost folosite în vorbirea informatorilor în repetare la evaluarea oricăror situații și evenimente similare de viață. Ulterior, acești indicatori sunt utilizați în alcătuirea scalelor pentru cercetarea cantitativă.

Să aruncăm o privire la mai multe tipuri de cercetare calitativă , desemnându-le în lista generală nu după gradul de importanță, ci pentru comoditatea prezentării.

· Studiu de caz- studiul unor situaţii specifice, cazuri care caracterizează viaţa anumitor grupuri mici. În acest caz, modelele comportamentale care apar în situatii non-standard care au devenit subiect de interes de cercetare.

La efectuarea unui studiu de caz, sunt posibile opțiuni suplimentare: studiul unui grup mic în mai multe situații sau studiul mai multor grupuri mici într-o situație similară.

· Metoda etnografică- cu ajutorul cărora se colectează informații de la reprezentanții unei anumite etnii, ceea ce face posibilă formarea unui portret calitativ al grupului etnic.

· Metoda istorica- (într-o măsură semnificativă apropiată de așa-numita metodă istoriei orale, care este utilizată activ în sociologia americană) - recrearea anumitor evenimente istorice din poveștile participanților lor.

· Metoda istoriei familiei- studiul dinamicii relaţiilor intrafamiliale în contextul unor evenimente istorice, schimbări în poziţiile sociale şi de statut ale membrilor unei familii în contextul cronologic şi eventual al istoriei. În anii 90, metoda a fost stăpânită activ de Institutul de Sociologie al Academiei Ruse de Științe, în urma cărora au apărut publicații academice, în care au fost prezentate poveștile muncitorilor, țăranilor, burghezilor și familiilor nobile din Rusia.

Atunci când se utilizează această metodă, trebuie avut în vedere că din punct de vedere al demografiei, statisticii, sociologiei, pasul generației este de 25 de ani, adică diferențierea intergenerațională în cadrul familiilor ar trebui să se bazeze pe acest principiu.

· Metoda biografică („Povestea vieții”)- vă permite să urmăriți dinamica dezvoltării personalității în contextul anumitor însoțiri circumstantele vietii... Această metodă este utilizată activ în sociologia americană modernă. În practica rusă, a existat un analog destul de apropiat, care este reprezentat de o serie de ZhZL ("Viața oamenilor remarcabili"). Cu toate acestea, în acest caz, viziunea sociologică a problemei nu a fost implicată, drept urmare, de fapt, această prezentare a materialelor biografice nu poate fi considerată sociologică.

· Metoda focus grupului- aceasta este una dintre modalitatile de a concentra atentia informatorilor asupra unei probleme specifice. Focus grupurile sunt diferite. Grupul focal tradițional/convențional (FG) include 7-9 persoane. Extins (RFG) - până la 13-15 persoane. Mini focus grup (MFG) - de la 3 la 5 persoane.

Primele două în timp durează în 1,5 - 2 ore. Un mini focus grup poate fi organizat timp de 3 sau mai multe ore.

Focus grupul este condus de un moderator împreună cu un asistent. Întregul curs al discuției este înregistrat pe video și pe un dictafon.

În etapa pregătitoare, se stabilește o serie de probleme care ar trebui discutate în cadrul focus-grupului. În plus, toți participanții la focus grup ar trebui să-și exprime părerea cu privire la fiecare dintre întrebări.

Discuția are loc de obicei într-o situație ocazională de băut ceai (sau cafea este servită) pentru a conferi un caracter informal comunicării.

În fața fiecărui participant este plasat un semn care indică numele și patronimul acestuia, astfel încât participanții să se poată adresa lui în mod corespunzător.

Atunci când se formează focus grupuri, este important să se respecte principiul unității sociale și statutare a grupului. Este nepotrivit să atragi persoane cu poziții socio-demografice contrastante (vârstă, starea civilă, ocupație, loc de muncă, funcție etc.).

Focus grupul ar trebui să se desfășoare într-un mediu de cameră în absența străinilor. Nimeni nu ar trebui să intervină în timpul implementării sale. Mesele trebuie așezate în semicerc, astfel încât toți cei prezenți să se poată vedea. Ușa ar trebui să fie în câmpul de vedere al informatorilor, și nu în spatele lor, pentru a exclude privirile accidentale, care distrag atenția, care interferează cu vorbirea lor.

Acestea sunt cerințele standard pentru o procedură de focus grup.

Trebuie avut în vedere faptul că concentrat poate fi interviu individual... Acesta este chiar cazul care este definit ca un interviu narativ într-o situație de cercetare calitativă.

În sociologia internă modernă, toate metodele de cercetare calitativă sunt folosite pentru a obține date inițiale. În marketing, există doar focus grupuri în toate modificările lor.

Un interviu în profunzime este o conversație personală semi-structurată între intervievator și respondent într-o formă care îl încurajează pe acesta din urmă să dea răspunsuri detaliate la întrebările puse.

Trăsături distinctive

Interviul se desfășoară sub forma unei conversații libere pe o temă de interes pentru cercetător, în timpul căreia cercetătorul primește de la respondent un informatii detaliate despre motivele acțiunilor sale, despre atitudinea față de diverse probleme.

Tehnologie

Pregătirea structurii conversației... Înainte de a începe o serie de interviuri, cercetătorul pregătește un plan conform căruia se va desfășura interviul. Spre deosebire de un sondaj obișnuit, un plan de interviu aprofundat este pur și simplu o listă de întrebări despre care intervievatorul ar trebui să obțină opinia respondentului.

Selectarea respondenților și realizarea interviurilor... După pregătirea planului interviului, respondenții sunt selectați și interviurile în sine sunt efectuate. Durata unui interviu aprofundat poate fi de la o jumătate de oră la câteva (2-3) ore, în funcție de complexitatea subiectului, precum și de numărul și profunzimea problemelor studiate. De regulă, un interviu aprofundat se desfășoară într-o cameră specială, cu o atmosferă neutră și o bună izolare fonică, pentru a evita orice interferență externă. Interviul este înregistrat pe echipamente audio și/sau video pentru a facilita decriptarea și analiza ulterioară a datelor, precum și pentru a nu pierde informații importante.

Prelucrarea rezultatelor interviului si intocmirea unui raport analitic... După finalizarea interviului, audio și/sau video acestuia este procesat, în urma căruia cercetătorul primește text complet intregul interviu. Pe baza acestor texte și a impresiilor intervievatorului se întocmește un raport analitic.

Intervievatorii

Succesul unui interviu aprofundat depinde în mare măsură de profesionalismul și calitățile personale ale intervievatorului. Pentru a efectua un interviu este nevoie de un specialist calificat, de preferință cu educație psihologică. Trebuie să aibă abilitățile de a stabili contactul cu oamenii, o memorie bună, capacitatea de a răspunde rapid la răspunsuri nestandardizate, răbdare. În timpul interviului, nu trebuie să exercitați presiuni psihologice asupra respondentului, să vă certați.

Aplicație

De regulă, interviurile aprofundate sunt folosite pentru a rezolva aceleași probleme ca și focus-grupurile, și anume:

  • studiul comportamentului consumatorilor, a atitudinii acestora față de bunuri, companii, mărci;
  • dezvoltarea de noi produse, evaluarea conceptului de produs nou (ambalajul acestuia, campanie publicitara etc.);
  • obţinerea unei reacţii prealabile a consumatorilor la diverse programe de marketing.

Este recomandabil să folosiți un interviu aprofundat în loc de un focus grup în următoarele cazuri:

  • tema interviului presupune o discuție pe subiecte pur personale (finanțe personale, boli);
  • se desfășoară interviuri cu reprezentanți ai organizațiilor concurente care nu sunt de acord să discute acest subiect în grup;
  • discută un subiect în care există norme sociale puternice, iar opinia respondentului poate fi influențată de răspunsul grupului (plata taxelor etc.);
  • este imposibil să adunăm toți respondenții la un loc și în același timp (respondenții sunt puțini la număr, distanțați unul de celălalt și/sau foarte ocupați).

Avantaje și dezavantaje

Principalele dezavantaje metodele de interviu în profunzime sunt asociate cu dificultatea de a găsi intervievatori. În primul rând, interviurile aprofundate necesită profesioniști calificați, care nu sunt ușor de găsit. În plus, calitatea rezultatelor interviului este puternic influențată de personalitatea și profesionalismul intervievatorului. Și, în sfârșit, complexitatea prelucrării și interpretării datelor obținute în timpul interviului necesită, de regulă, implicarea psihologilor pentru analiza acestora.

Avantaje... Cu ajutorul interviurilor în profunzime, puteți obține informații mai complete despre comportamentul unei persoane, despre motivele acestui comportament, despre motivele sale profunde, ceea ce nu este întotdeauna posibil într-un focus grup, în care respondenții își pun presiune unii pe alții și aceasta este greu de stabilit cine a dat exact acest sau altul răspuns.

 

Ar putea fi util să citiți: