Preskočiť na obsah
← Blog
· aktualizované

Opakujúce sa vzory odpovedí: 6 – 7 % respondentov, ktorých bežná kontrola nezachytila

Autor:

Online panely sú bežným zdrojom dát pre akademický aj firemný výskum. Pri kontrole ich kvality sa zvyčajne pýtame, či respondent dotazník vyplnil pozorne. Čo však vtedy, ak jeho odpovede pôsobia vierohodne, no presne sa zhodujú s odpoveďami ďalších ľudí?

Na takýto problém sme narazili pri online panelovom prieskume v Česku a na Slovensku v roku 2026. V každej krajine sa zapojilo 600 respondentov, spolu teda 1 200. Dotazník obsahoval 31 otázok rozdelených do štyroch tematických blokov, na ktoré respondenti odpovedali na škále od 1 do 5.

Čo bežná kontrola našla: straightlining a nepozorné odpovedanie

Pri kontrole kvality dát sa bežne hľadajú známky nepozorného odpovedania. Sleduje sa napríklad, či respondent nevolí tú istú odpoveď pri mnohých otázkach za sebou (tzv. straightlining), či sa jeho odpovede nemenia príliš málo alebo nezvyčajne veľa, či si neprotirečí pri podobne formulovaných otázkach a či sa jeho celkový profil výrazne neodlišuje od ostatných.

Na základe týchto kontrol sme vylúčili 71 z 1 200 vyplnených dotazníkov: 40 v českej a 31 v slovenskej vzorke. Išlo približne o 6 % dotazníkov. V každom prípade sa museli zhodnúť aspoň dva ukazovatele. Samotný podozrivý výsledok jedného ukazovateľa na vylúčenie dotazníka nestačil.

Čo bežná kontrola nenašla

Ďalší problém sa ukázal, keď sme odpovede porovnali medzi respondentmi. Našli sme skupiny ľudí, ktorí na všetkých 31 otázok odpovedali úplne rovnako.

V českej vzorke sme zaznamenali 365 dvojíc respondentov so zhodným profilom odpovedí, v slovenskej 246. Ide o počet dvojíc, nie o počet ľudí: každý respondent môže tvoriť zhodnú dvojicu s viacerými ďalšími.

Na porovnanie sme pri každej otázke náhodne prerozdelili odpovede medzi respondentov. Počet jednotlivých odpovedí na každú otázku zostal zachovaný, ale ich kombinácie v dotazníkoch sa zmenili. Po tomto premiešaní sme nenašli ani jednu úplne zhodnú dvojicu.

Desiatky respondentov odpovedali na 31 otázok presne rovnakoProfily troch opakujúcich sa vzorov odpovedí: na vodorovnej osi 31 otázok v štyroch blokoch, na zvislej odpoveď 1 – 5. Podľa každého vzoru odpovedalo 13 až 24 respondentov. Autonómia Časový tlak Dôvera v AI AI-crafting 1 3 5 Vzor A – Česko, 24 respondentov JA1: 4 JA2: 3 JA3: 5 JA4: 4 JA5: 3 JA6: 5 JA7: 4 JA8: 3 JA9: 5 TP1: 4 TP2: 3 TP3: 4 TP4: 4 TP5: 5 AIT1: 4 AIT2: 3 AIT3: 4 AIT4: 4 AIT5: 4 AIT6: 4 AIT7: 4 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 5 AIC1: 4 AIC2: 3 AIC3: 4 AIC4: 4 AIC5: 4 AIC6: 5 1 3 5 Vzor A posunutý o 1 bod nižšie – Česko, 13 respondentov JA1: 3 JA2: 2 JA3: 4 JA4: 3 JA5: 2 JA6: 4 JA7: 3 JA8: 2 JA9: 4 TP1: 3 TP2: 2 TP3: 3 TP4: 3 TP5: 4 AIT1: 3 AIT2: 2 AIT3: 3 AIT4: 3 AIT5: 3 AIT6: 3 AIT7: 3 AIT8: 3 AIT9: 3 AIT10: 3 AIT11: 4 AIC1: 3 AIC2: 2 AIC3: 3 AIC4: 3 AIC5: 3 AIC6: 4 1 3 5 Vzor C – Slovensko, 17 respondentov JA1: 4 JA2: 4 JA3: 3 JA4: 4 JA5: 4 JA6: 5 JA7: 4 JA8: 4 JA9: 3 TP1: 4 TP2: 4 TP3: 5 TP4: 4 TP5: 4 AIT1: 4 AIT2: 4 AIT3: 4 AIT4: 3 AIT5: 4 AIT6: 4 AIT7: 5 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 4 AIC1: 4 AIC2: 4 AIC3: 3 AIC4: 4 AIC5: 4 AIC6: 4
Desiatky respondentov odpovedali na 31 otázok presne rovnakoProfily troch opakujúcich sa vzorov odpovedí: na vodorovnej osi 31 otázok v štyroch blokoch, na zvislej odpoveď 1 – 5. Podľa každého vzoru odpovedalo 13 až 24 respondentov. Autonómia Časový tlak Dôvera v AI AI-crafting 1 3 5 Vzor A – Česko, 24 respondentov JA1: 4 JA2: 3 JA3: 5 JA4: 4 JA5: 3 JA6: 5 JA7: 4 JA8: 3 JA9: 5 TP1: 4 TP2: 3 TP3: 4 TP4: 4 TP5: 5 AIT1: 4 AIT2: 3 AIT3: 4 AIT4: 4 AIT5: 4 AIT6: 4 AIT7: 4 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 5 AIC1: 4 AIC2: 3 AIC3: 4 AIC4: 4 AIC5: 4 AIC6: 5 1 3 5 Vzor A posunutý o 1 bod nižšie – Česko, 13 respondentov JA1: 3 JA2: 2 JA3: 4 JA4: 3 JA5: 2 JA6: 4 JA7: 3 JA8: 2 JA9: 4 TP1: 3 TP2: 2 TP3: 3 TP4: 3 TP5: 4 AIT1: 3 AIT2: 2 AIT3: 3 AIT4: 3 AIT5: 3 AIT6: 3 AIT7: 3 AIT8: 3 AIT9: 3 AIT10: 3 AIT11: 4 AIC1: 3 AIC2: 2 AIC3: 3 AIC4: 3 AIC5: 3 AIC6: 4 1 3 5 Vzor C – Slovensko, 17 respondentov JA1: 4 JA2: 4 JA3: 3 JA4: 4 JA5: 4 JA6: 5 JA7: 4 JA8: 4 JA9: 3 TP1: 4 TP2: 4 TP3: 5 TP4: 4 TP5: 4 AIT1: 4 AIT2: 4 AIT3: 4 AIT4: 3 AIT5: 4 AIT6: 4 AIT7: 5 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 4 AIC1: 4 AIC2: 4 AIC3: 3 AIC4: 4 AIC5: 4 AIC6: 4
Tri z identifikovaných vzorov odpovedí: každý bod je odpoveď na jednu otázku (1 – 5), otázky sú zoradené po blokoch. Každý z uvedených respondentov odpovedal presne podľa daného vzoru.
Tabuľka hodnôt
PoložkaVzor A – Česko, 24 respondentovVzor A posunutý o 1 bod nižšie – Česko, 13 respondentovVzor C – Slovensko, 17 respondentov
JA1434
JA2324
JA3543
JA4434
JA5324
JA6545
JA7434
JA8324
JA9543
TP1434
TP2324
TP3435
TP4434
TP5544
AIT1434
AIT2324
AIT3434
AIT4433
AIT5434
AIT6434
AIT7435
AIT8434
AIT9434
AIT10434
AIT11544
AIC1434
AIC2324
AIC3433
AIC4434
AIC5434
AIC6544

Na obrázku vidno tri z identifikovaných vzorov odpovedí. Vo vzore A, ktorý sme našli u 24 respondentov, sa pri prvých deviatich otázkach trikrát opakuje trojica „4 – 3 – 5“. Podobný vzor pokračuje aj v ďalších blokoch bez ohľadu na obsah otázok – či sa týkajú autonómie v práci, časového tlaku alebo postoja k AI. Ďalšia zobrazená skupina má presne rovnaký profil, ale všetky odpovede sú o jeden bod nižšie.

Celkovo sme identifikovali päť takýchto vzorov u 80 respondentov: 44 v Česku (7,3 %) a 36 na Slovensku (6,0 %). Ani jeden z nich nesplnil kritériá na vylúčenie na základe štandardných ukazovateľov. Tieto odpovede totiž pri bežnej kontrole nepôsobia podozrivo: respondent nevolí stále tú istú možnosť, odpovede sa menia a prevažne sa pohybujú okolo stredu škály.

Čistenie dát v číslach

KrokČeskoSlovenskoSpolu
Vyplnené dotazníky6006001 200
Opakujúce sa vzory odpovedí (vylúčené)443680
Nepozorné odpovedanie – aspoň 2 ukazovatele (vylúčené)403171
Finálna vzorka5165331 049

Prečo na tom záleží

Opakujúce sa vzory odpovedí môžu nadhodnocovať vzťahy medzi premennými. Zachytené súvislosti potom čiastočne odrážajú spoločný vzor odpovedania. V slovenskej vzorke po vylúčení respondentov s týmito vzormi klesla korelácia medzi časovým tlakom a dôverou v AI z 0,33 na 0,25, medzi časovým tlakom a AI-craftingom z 0,36 na 0,30 a medzi autonómiou a AI-craftingom z 0,40 na 0,35. V českej vzorke sme zaznamenali podobný, ale menší pokles.

S opakujúcimi sa vzormi odpovedí vychádzajú vzťahy medzi premennými silnejšieKorelácie medzi meranými oblasťami v slovenskej vzorke vrátane respondentov s opakujúcimi sa vzormi odpovedí a po ich vylúčení. Vrátane opakujúcich sa vzorov Po ich vylúčení 0,00 0,25 0,50 0,75 1,00 Korelácia r Autonómia – AI-crafting Autonómia – AI-crafting – Vrátane opakujúcich sa vzorov: 0,40 0,40 Autonómia – AI-crafting – Po ich vylúčení: 0,35 0,35 Časový tlak – AI-crafting Časový tlak – AI-crafting – Vrátane opakujúcich sa vzorov: 0,36 0,36 Časový tlak – AI-crafting – Po ich vylúčení: 0,30 0,30 Časový tlak – dôvera v AI Časový tlak – dôvera v AI – Vrátane opakujúcich sa vzorov: 0,33 0,33 Časový tlak – dôvera v AI – Po ich vylúčení: 0,25 0,25 Autonómia – dôvera v AI Autonómia – dôvera v AI – Vrátane opakujúcich sa vzorov: 0,40 0,40 Autonómia – dôvera v AI – Po ich vylúčení: 0,36 0,36 Dôvera v AI – AI-crafting Dôvera v AI – AI-crafting – Vrátane opakujúcich sa vzorov: 0,80 0,80 Dôvera v AI – AI-crafting – Po ich vylúčení: 0,78 0,78
S opakujúcimi sa vzormi odpovedí vychádzajú vzťahy medzi premennými silnejšieKorelácie medzi meranými oblasťami v slovenskej vzorke vrátane respondentov s opakujúcimi sa vzormi odpovedí a po ich vylúčení. Vrátane opakujúcich sa vzorov Po ich vylúčení 0,00 0,25 0,50 0,75 1,00 Korelácia r Autonómia – AI-crafting Autonómia – AI-crafting – Vrátane opakujúcich sa vzorov: 0,40 0,40 Autonómia – AI-crafting – Po ich vylúčení: 0,35 0,35 Časový tlak – AI-crafting Časový tlak – AI-crafting – Vrátane opakujúcich sa vzorov: 0,36 0,36 Časový tlak – AI-crafting – Po ich vylúčení: 0,30 0,30 Časový tlak – dôvera v AI Časový tlak – dôvera v AI – Vrátane opakujúcich sa vzorov: 0,33 0,33 Časový tlak – dôvera v AI – Po ich vylúčení: 0,25 0,25 Autonómia – dôvera v AI Autonómia – dôvera v AI – Vrátane opakujúcich sa vzorov: 0,40 0,40 Autonómia – dôvera v AI – Po ich vylúčení: 0,36 0,36 Dôvera v AI – AI-crafting Dôvera v AI – AI-crafting – Vrátane opakujúcich sa vzorov: 0,80 0,80 Dôvera v AI – AI-crafting – Po ich vylúčení: 0,78 0,78
Korelácie medzi meranými oblasťami v slovenskej vzorke vrátane respondentov s opakujúcimi sa vzormi odpovedí a po ich vylúčení. V tabuľke sú aj hodnoty pre Česko.
Tabuľka hodnôt
VzťahSK vrátane vzorovSK po vylúčeníCZ vrátane vzorovCZ po vylúčení
Autonómia – AI-crafting0,400,350,370,35
Časový tlak – AI-crafting0,360,300,240,21
Časový tlak – dôvera v AI0,330,250,280,25
Autonómia – dôvera v AI0,400,360,330,31
Dôvera v AI – AI-crafting0,800,780,740,72

Ak teda v dátach ponecháte respondentov s opakujúcimi sa vzormi odpovedí, súvislosti medzi premennými môžu vyzerať silnejšie, než v skutočnosti sú. Samotné priemery pritom tento problém nemusia odhaliť.

Ako sme na to prišli – a ako to skontrolovať vo vlastných dátach

Na opakujúce sa vzory odpovedí sme narazili pri bežnej kontrole, či niekto nevyplnil dotazník viackrát. Niekoľko respondentov s rôznymi ID malo zhodné odpovede na všetkých 31 otázkach. Keď sme odpovede každého z nich spojili do jedného reťazca – napríklad 435 435 435 | 43445 | 43444444445 | 434445 –, pravidelnosť bola viditeľná už na prvý pohľad. V prvom bloku sa trikrát opakovala trojica „4 – 3 – 5“, v ďalších blokoch sa objavovali podobne pravidelné postupnosti napriek odlišnému obsahu otázok.

Následne sme porovnali všetky dvojice respondentov. V Česku sme našli 365 a na Slovensku 246 dvojíc so zhodnými odpoveďami na všetkých 31 otázkach. Na porovnanie sme pri každej otázke náhodne prerozdelili odpovede medzi respondentov. Počet jednotlivých odpovedí na každú otázku zostal zachovaný, zmenili sa však ich kombinácie v dotazníkoch. Po premiešaní sme nenašli ani jednu úplne zhodnú dvojicu.

Napokon sme hľadali aj rovnaké vzory posunuté na škále. Od každej odpovede sme odčítali hodnotu, ktorú daný respondent používal najčastejšie. Tak sme mohli porovnať priebeh odpovedí bez ohľadu na ich celkovú úroveň. Ukázalo sa napríklad, že postupnosť „3 – 2 – 4“ kopíruje vzor „4 – 3 – 5“, len je pri každej otázke o jeden bod nižšie.

Vo vlastných dátach môžete postupovať v troch krokoch:

  1. Vyhľadajte zhodné profily odpovedí. Odpovede každého respondenta na škálové otázky spojte do jedného textového reťazca a spočítajte, koľkokrát sa opakuje. V Exceli môžete použiť vzorec =TEXTJOIN("";TRUE;D2:AH2) a následne funkciu COUNTIF. V SPSS možno využiť funkciu CONCAT a nástroj Identify Duplicate Cases.
  2. Porovnajte aj vzory posunuté na škále. Od každej odpovede odčítajte najčastejšiu hodnotu daného respondenta a porovnajte výsledné reťazce. V našej analýze sme za podozrivé považovali zhodné vzory, v ktorých sa aspoň štyri odpovede líšili od najčastejšej hodnoty. Na porovnanie náhodne premiešajte odpovede samostatne v každom stĺpci a zistite, koľko zhôd vznikne po premiešaní.
  3. Prezrite si podozrivé vzory v grafe. Odpovede zobrazte ako čiary cez jednotlivé otázky, podobne ako na obrázku vyššie. Uvidíte tak, kde sa opakujú rovnaké postupnosti a ktoré profily sú navzájom posunuté.

Na čo si dať pozor:

  • Dĺžka dotazníka. Pri niekoľkých desiatkach otázok sú úplne zhodné profily podozrivejšie než pri krátkej škále so štyrmi či piatimi otázkami, kde môžu ľahko vzniknúť prirodzene. Preto porovnávame odpovede na celý dotazník a dopĺňame ich porovnaním s náhodne premiešanými dátami. Premiešanie však odstráni aj prirodzené súvislosti medzi odpoveďami, preto samo osebe nie je dôkazom nekvalitného vyplnenia.
  • Málo premenlivé odpovede. Dvaja ľudia môžu prirodzene odpovedať takmer všade hodnotou 4 a iba raz hodnotou 5. Preto sme pri hľadaní posunutých vzorov vyžadovali, aby sa aspoň štyri odpovede líšili od najčastejšej hodnoty respondenta. Ide o pracovnú hranicu, ktorej voľbu treba v metodike zdôvodniť.
  • Drobné zmeny vo vzore. Postup zachytí iba presne zhodné profily alebo profily posunuté o rovnaký počet bodov. Ak niekto niekoľko odpovedí náhodne zmení, takýto vzor už nemusíme odhaliť. Pri ďalšom preverovaní môžu pomôcť časy vyplnenia a metadáta od dodávateľa.
  • Opis postupu v práci. V diplomovej práci, dizertácii či článku presne vysvetlite, podľa akého pravidla ste respondentov vylúčili, a uveďte ich počet. Výsledky porovnajte pred ich vylúčením aj po ňom.

Čo ešte pomôže

  1. Vyžiadajte si časy vyplnenia, ideálne aj časy jednotlivých strán. V spojení s opakujúcimi sa vzormi odpovedí môžu pomôcť pri posudzovaní podozrivých záznamov.
  2. Zaraďte kontrolné položky, napríklad „Pri tejto otázke označte ‚nesúhlasím‘“. Obrátene formulované tvrdenia môžu pomôcť odhaliť rozpory v odpovediach, môžu však tiež spôsobovať nedorozumenia. Ani jeden z týchto postupov preto nepoužívajte ako jediný dôvod na vylúčenie.
  3. Dohodnite si prístup k metadátam, napríklad k údaju o dokončení dotazníka či identifikátoru zariadenia. Vopred si s dodávateľom stanovte aj postup preverovania a reklamácie podozrivých záznamov.

Čo z toho vyplýva

  • Kontrolu nepozorného odpovedania treba doplniť porovnaním respondentov. Bežné ukazovatele v našom prieskume zachytili 71 respondentov. Ďalších 80 s opakujúcimi sa vzormi odpovedí však kritériá na vylúčenie nesplnilo. Oba postupy teda zachytili odlišné skupiny.
  • Aj malá časť vzorky môže ovplyvniť výsledky. V našom prieskume sa po vylúčení približne 6 – 7 % respondentov znížili viaceré korelácie. Samotné priemery pritom takýto problém nemusia odhaliť.
  • Pýtajte sa, ako dodávateľ kontroluje kvalitu dát. Pri objednávaní prieskumu si dohodnite odovzdanie pôvodných dát vrátane časov vyplnenia a vysvetlenie pravidiel, podľa ktorých dodávateľ odpovede preveruje a vyraďuje.

Limity. Zistenia pochádzajú z jedného prieskumu. Podiel respondentov s opakujúcimi sa vzormi odpovedí môže byť v iných paneloch a projektoch odlišný. Použitý postup zachytáva iba presne zhodné alebo rovnomerne posunuté profily; vzory s náhodnými zmenami môžu zostať neodhalené. Z dostupných údajov tiež nevieme určiť, ako tieto zhody vznikli – či išlo o automatizované vypĺňanie, koordinovanú skupinu respondentov alebo jedného človeka s viacerými účtami. Časy vyplnenia a ďalšie metadáta by mohli pomôcť tieto možnosti preveriť, samy osebe by ich však nemuseli spoľahlivo rozlíšiť.

Výskum podporil projekt VEGA 1/0316/26 – Pracovisko budúcnosti.

Zdroje