Opakujúce sa vzory odpovedí: 6 – 7 % respondentov, ktorých bežná kontrola nezachytila
Autor: prof. PhDr. Zoltán Rózsa, PhD.
Online panely sú bežným zdrojom dát pre akademický aj firemný výskum. Pri kontrole ich kvality sa zvyčajne pýtame, či respondent dotazník vyplnil pozorne. Čo však vtedy, ak jeho odpovede pôsobia vierohodne, no presne sa zhodujú s odpoveďami ďalších ľudí?
Na takýto problém sme narazili pri online panelovom prieskume v Česku a na Slovensku v roku 2026. V každej krajine sa zapojilo 600 respondentov, spolu teda 1 200. Dotazník obsahoval 31 otázok rozdelených do štyroch tematických blokov, na ktoré respondenti odpovedali na škále od 1 do 5.
Čo bežná kontrola našla: straightlining a nepozorné odpovedanie
Pri kontrole kvality dát sa bežne hľadajú známky nepozorného odpovedania. Sleduje sa napríklad, či respondent nevolí tú istú odpoveď pri mnohých otázkach za sebou (tzv. straightlining), či sa jeho odpovede nemenia príliš málo alebo nezvyčajne veľa, či si neprotirečí pri podobne formulovaných otázkach a či sa jeho celkový profil výrazne neodlišuje od ostatných.
Na základe týchto kontrol sme vylúčili 71 z 1 200 vyplnených dotazníkov: 40 v českej a 31 v slovenskej vzorke. Išlo približne o 6 % dotazníkov. V každom prípade sa museli zhodnúť aspoň dva ukazovatele. Samotný podozrivý výsledok jedného ukazovateľa na vylúčenie dotazníka nestačil.
Čo bežná kontrola nenašla
Ďalší problém sa ukázal, keď sme odpovede porovnali medzi respondentmi. Našli sme skupiny ľudí, ktorí na všetkých 31 otázok odpovedali úplne rovnako.
V českej vzorke sme zaznamenali 365 dvojíc respondentov so zhodným profilom odpovedí, v slovenskej 246. Ide o počet dvojíc, nie o počet ľudí: každý respondent môže tvoriť zhodnú dvojicu s viacerými ďalšími.
Na porovnanie sme pri každej otázke náhodne prerozdelili odpovede medzi respondentov. Počet jednotlivých odpovedí na každú otázku zostal zachovaný, ale ich kombinácie v dotazníkoch sa zmenili. Po tomto premiešaní sme nenašli ani jednu úplne zhodnú dvojicu.
Tabuľka hodnôt
| Položka | Vzor A – Česko, 24 respondentov | Vzor A posunutý o 1 bod nižšie – Česko, 13 respondentov | Vzor C – Slovensko, 17 respondentov |
|---|---|---|---|
| JA1 | 4 | 3 | 4 |
| JA2 | 3 | 2 | 4 |
| JA3 | 5 | 4 | 3 |
| JA4 | 4 | 3 | 4 |
| JA5 | 3 | 2 | 4 |
| JA6 | 5 | 4 | 5 |
| JA7 | 4 | 3 | 4 |
| JA8 | 3 | 2 | 4 |
| JA9 | 5 | 4 | 3 |
| TP1 | 4 | 3 | 4 |
| TP2 | 3 | 2 | 4 |
| TP3 | 4 | 3 | 5 |
| TP4 | 4 | 3 | 4 |
| TP5 | 5 | 4 | 4 |
| AIT1 | 4 | 3 | 4 |
| AIT2 | 3 | 2 | 4 |
| AIT3 | 4 | 3 | 4 |
| AIT4 | 4 | 3 | 3 |
| AIT5 | 4 | 3 | 4 |
| AIT6 | 4 | 3 | 4 |
| AIT7 | 4 | 3 | 5 |
| AIT8 | 4 | 3 | 4 |
| AIT9 | 4 | 3 | 4 |
| AIT10 | 4 | 3 | 4 |
| AIT11 | 5 | 4 | 4 |
| AIC1 | 4 | 3 | 4 |
| AIC2 | 3 | 2 | 4 |
| AIC3 | 4 | 3 | 3 |
| AIC4 | 4 | 3 | 4 |
| AIC5 | 4 | 3 | 4 |
| AIC6 | 5 | 4 | 4 |
Na obrázku vidno tri z identifikovaných vzorov odpovedí. Vo vzore A, ktorý sme našli u 24 respondentov, sa pri prvých deviatich otázkach trikrát opakuje trojica „4 – 3 – 5“. Podobný vzor pokračuje aj v ďalších blokoch bez ohľadu na obsah otázok – či sa týkajú autonómie v práci, časového tlaku alebo postoja k AI. Ďalšia zobrazená skupina má presne rovnaký profil, ale všetky odpovede sú o jeden bod nižšie.
Celkovo sme identifikovali päť takýchto vzorov u 80 respondentov: 44 v Česku (7,3 %) a 36 na Slovensku (6,0 %). Ani jeden z nich nesplnil kritériá na vylúčenie na základe štandardných ukazovateľov. Tieto odpovede totiž pri bežnej kontrole nepôsobia podozrivo: respondent nevolí stále tú istú možnosť, odpovede sa menia a prevažne sa pohybujú okolo stredu škály.
Čistenie dát v číslach
| Krok | Česko | Slovensko | Spolu |
|---|---|---|---|
| Vyplnené dotazníky | 600 | 600 | 1 200 |
| Opakujúce sa vzory odpovedí (vylúčené) | 44 | 36 | 80 |
| Nepozorné odpovedanie – aspoň 2 ukazovatele (vylúčené) | 40 | 31 | 71 |
| Finálna vzorka | 516 | 533 | 1 049 |
Prečo na tom záleží
Opakujúce sa vzory odpovedí môžu nadhodnocovať vzťahy medzi premennými. Zachytené súvislosti potom čiastočne odrážajú spoločný vzor odpovedania. V slovenskej vzorke po vylúčení respondentov s týmito vzormi klesla korelácia medzi časovým tlakom a dôverou v AI z 0,33 na 0,25, medzi časovým tlakom a AI-craftingom z 0,36 na 0,30 a medzi autonómiou a AI-craftingom z 0,40 na 0,35. V českej vzorke sme zaznamenali podobný, ale menší pokles.
Tabuľka hodnôt
| Vzťah | SK vrátane vzorov | SK po vylúčení | CZ vrátane vzorov | CZ po vylúčení |
|---|---|---|---|---|
| Autonómia – AI-crafting | 0,40 | 0,35 | 0,37 | 0,35 |
| Časový tlak – AI-crafting | 0,36 | 0,30 | 0,24 | 0,21 |
| Časový tlak – dôvera v AI | 0,33 | 0,25 | 0,28 | 0,25 |
| Autonómia – dôvera v AI | 0,40 | 0,36 | 0,33 | 0,31 |
| Dôvera v AI – AI-crafting | 0,80 | 0,78 | 0,74 | 0,72 |
Ak teda v dátach ponecháte respondentov s opakujúcimi sa vzormi odpovedí, súvislosti medzi premennými môžu vyzerať silnejšie, než v skutočnosti sú. Samotné priemery pritom tento problém nemusia odhaliť.
Ako sme na to prišli – a ako to skontrolovať vo vlastných dátach
Na opakujúce sa vzory odpovedí sme narazili pri bežnej kontrole, či niekto nevyplnil dotazník viackrát. Niekoľko respondentov s rôznymi ID malo zhodné odpovede na všetkých 31 otázkach. Keď sme odpovede každého z nich spojili do jedného reťazca – napríklad 435 435 435 | 43445 | 43444444445 | 434445 –, pravidelnosť bola viditeľná už na prvý pohľad. V prvom bloku sa trikrát opakovala trojica „4 – 3 – 5“, v ďalších blokoch sa objavovali podobne pravidelné postupnosti napriek odlišnému obsahu otázok.
Následne sme porovnali všetky dvojice respondentov. V Česku sme našli 365 a na Slovensku 246 dvojíc so zhodnými odpoveďami na všetkých 31 otázkach. Na porovnanie sme pri každej otázke náhodne prerozdelili odpovede medzi respondentov. Počet jednotlivých odpovedí na každú otázku zostal zachovaný, zmenili sa však ich kombinácie v dotazníkoch. Po premiešaní sme nenašli ani jednu úplne zhodnú dvojicu.
Napokon sme hľadali aj rovnaké vzory posunuté na škále. Od každej odpovede sme odčítali hodnotu, ktorú daný respondent používal najčastejšie. Tak sme mohli porovnať priebeh odpovedí bez ohľadu na ich celkovú úroveň. Ukázalo sa napríklad, že postupnosť „3 – 2 – 4“ kopíruje vzor „4 – 3 – 5“, len je pri každej otázke o jeden bod nižšie.
Vo vlastných dátach môžete postupovať v troch krokoch:
- Vyhľadajte zhodné profily odpovedí. Odpovede každého respondenta na škálové otázky spojte do jedného textového reťazca a spočítajte, koľkokrát sa opakuje. V Exceli môžete použiť vzorec
=TEXTJOIN("";TRUE;D2:AH2)a následne funkciuCOUNTIF. V SPSS možno využiť funkciu CONCAT a nástroj Identify Duplicate Cases. - Porovnajte aj vzory posunuté na škále. Od každej odpovede odčítajte najčastejšiu hodnotu daného respondenta a porovnajte výsledné reťazce. V našej analýze sme za podozrivé považovali zhodné vzory, v ktorých sa aspoň štyri odpovede líšili od najčastejšej hodnoty. Na porovnanie náhodne premiešajte odpovede samostatne v každom stĺpci a zistite, koľko zhôd vznikne po premiešaní.
- Prezrite si podozrivé vzory v grafe. Odpovede zobrazte ako čiary cez jednotlivé otázky, podobne ako na obrázku vyššie. Uvidíte tak, kde sa opakujú rovnaké postupnosti a ktoré profily sú navzájom posunuté.
Na čo si dať pozor:
- Dĺžka dotazníka. Pri niekoľkých desiatkach otázok sú úplne zhodné profily podozrivejšie než pri krátkej škále so štyrmi či piatimi otázkami, kde môžu ľahko vzniknúť prirodzene. Preto porovnávame odpovede na celý dotazník a dopĺňame ich porovnaním s náhodne premiešanými dátami. Premiešanie však odstráni aj prirodzené súvislosti medzi odpoveďami, preto samo osebe nie je dôkazom nekvalitného vyplnenia.
- Málo premenlivé odpovede. Dvaja ľudia môžu prirodzene odpovedať takmer všade hodnotou 4 a iba raz hodnotou 5. Preto sme pri hľadaní posunutých vzorov vyžadovali, aby sa aspoň štyri odpovede líšili od najčastejšej hodnoty respondenta. Ide o pracovnú hranicu, ktorej voľbu treba v metodike zdôvodniť.
- Drobné zmeny vo vzore. Postup zachytí iba presne zhodné profily alebo profily posunuté o rovnaký počet bodov. Ak niekto niekoľko odpovedí náhodne zmení, takýto vzor už nemusíme odhaliť. Pri ďalšom preverovaní môžu pomôcť časy vyplnenia a metadáta od dodávateľa.
- Opis postupu v práci. V diplomovej práci, dizertácii či článku presne vysvetlite, podľa akého pravidla ste respondentov vylúčili, a uveďte ich počet. Výsledky porovnajte pred ich vylúčením aj po ňom.
Čo ešte pomôže
- Vyžiadajte si časy vyplnenia, ideálne aj časy jednotlivých strán. V spojení s opakujúcimi sa vzormi odpovedí môžu pomôcť pri posudzovaní podozrivých záznamov.
- Zaraďte kontrolné položky, napríklad „Pri tejto otázke označte ‚nesúhlasím‘“. Obrátene formulované tvrdenia môžu pomôcť odhaliť rozpory v odpovediach, môžu však tiež spôsobovať nedorozumenia. Ani jeden z týchto postupov preto nepoužívajte ako jediný dôvod na vylúčenie.
- Dohodnite si prístup k metadátam, napríklad k údaju o dokončení dotazníka či identifikátoru zariadenia. Vopred si s dodávateľom stanovte aj postup preverovania a reklamácie podozrivých záznamov.
Čo z toho vyplýva
- Kontrolu nepozorného odpovedania treba doplniť porovnaním respondentov. Bežné ukazovatele v našom prieskume zachytili 71 respondentov. Ďalších 80 s opakujúcimi sa vzormi odpovedí však kritériá na vylúčenie nesplnilo. Oba postupy teda zachytili odlišné skupiny.
- Aj malá časť vzorky môže ovplyvniť výsledky. V našom prieskume sa po vylúčení približne 6 – 7 % respondentov znížili viaceré korelácie. Samotné priemery pritom takýto problém nemusia odhaliť.
- Pýtajte sa, ako dodávateľ kontroluje kvalitu dát. Pri objednávaní prieskumu si dohodnite odovzdanie pôvodných dát vrátane časov vyplnenia a vysvetlenie pravidiel, podľa ktorých dodávateľ odpovede preveruje a vyraďuje.
Limity. Zistenia pochádzajú z jedného prieskumu. Podiel respondentov s opakujúcimi sa vzormi odpovedí môže byť v iných paneloch a projektoch odlišný. Použitý postup zachytáva iba presne zhodné alebo rovnomerne posunuté profily; vzory s náhodnými zmenami môžu zostať neodhalené. Z dostupných údajov tiež nevieme určiť, ako tieto zhody vznikli – či išlo o automatizované vypĺňanie, koordinovanú skupinu respondentov alebo jedného človeka s viacerými účtami. Časy vyplnenia a ďalšie metadáta by mohli pomôcť tieto možnosti preveriť, samy osebe by ich však nemuseli spoľahlivo rozlíšiť.
Výskum podporil projekt VEGA 1/0316/26 – Pracovisko budúcnosti.
Zdroje
- Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4–19. https://doi.org/10.1016/j.jesp.2015.07.006
- Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085