Opakující se vzorce odpovědí: 6 – 7 % respondentů, které běžná kontrola nezachytila
Autor: prof. PhDr. Zoltán Rózsa, PhD.
Online panely jsou běžným zdrojem dat pro akademický i firemní výzkum. Při kontrole jejich kvality se obvykle ptáme, zda respondent dotazník vyplnil pozorně. Co když ale jeho odpovědi působí věrohodně, a přitom se přesně shodují s odpověďmi dalších lidí?
Na takový problém jsme narazili při online panelovém průzkumu v Česku a na Slovensku v roce 2026. V každé zemi se zapojilo 600 respondentů, celkem tedy 1 200. Dotazník obsahoval 31 otázek rozdělených do čtyř tematických bloků, na které respondenti odpovídali na škále od 1 do 5.
Co běžná kontrola našla: straightlining a nepozorné odpovídání
Při kontrole kvality dat se běžně hledají známky nepozorného odpovídání. Sleduje se například, zda respondent nevolí stejnou odpověď u mnoha otázek za sebou (tzv. straightlining), zda se jeho odpovědi nemění příliš málo nebo neobvykle mnoho, zda si neprotiřečí u podobně formulovaných otázek a zda se jeho celkový profil výrazně neliší od ostatních.
Na základě těchto kontrol jsme vyloučili 71 z 1 200 vyplněných dotazníků: 40 v českém a 31 ve slovenském vzorku. Šlo přibližně o 6 % dotazníků. V každém případě se musely shodnout alespoň dva ukazatele. Samotný podezřelý výsledek jednoho ukazatele k vyloučení dotazníku nestačil.
Co běžná kontrola nenašla
Další problém se ukázal, když jsme odpovědi porovnali mezi respondenty. Našli jsme skupiny lidí, kteří na všech 31 otázek odpověděli naprosto stejně.
V českém vzorku jsme zaznamenali 365 dvojic respondentů se shodným profilem odpovědí, ve slovenském 246. Jde o počet dvojic, nikoli o počet lidí: každý respondent může tvořit shodnou dvojici s několika dalšími.
Pro srovnání jsme u každé otázky náhodně přerozdělili odpovědi mezi respondenty. Počet jednotlivých odpovědí na každou otázku zůstal zachován, ale jejich kombinace v dotaznících se změnily. Po tomto promíchání jsme nenašli ani jednu zcela shodnou dvojici.
Tabulka hodnot
| Položka | Vzorec A – Česko, 24 respondentů | Vzorec A posunutý o 1 bod níže – Česko, 13 respondentů | Vzorec C – Slovensko, 17 respondentů |
|---|---|---|---|
| JA1 | 4 | 3 | 4 |
| JA2 | 3 | 2 | 4 |
| JA3 | 5 | 4 | 3 |
| JA4 | 4 | 3 | 4 |
| JA5 | 3 | 2 | 4 |
| JA6 | 5 | 4 | 5 |
| JA7 | 4 | 3 | 4 |
| JA8 | 3 | 2 | 4 |
| JA9 | 5 | 4 | 3 |
| TP1 | 4 | 3 | 4 |
| TP2 | 3 | 2 | 4 |
| TP3 | 4 | 3 | 5 |
| TP4 | 4 | 3 | 4 |
| TP5 | 5 | 4 | 4 |
| AIT1 | 4 | 3 | 4 |
| AIT2 | 3 | 2 | 4 |
| AIT3 | 4 | 3 | 4 |
| AIT4 | 4 | 3 | 3 |
| AIT5 | 4 | 3 | 4 |
| AIT6 | 4 | 3 | 4 |
| AIT7 | 4 | 3 | 5 |
| AIT8 | 4 | 3 | 4 |
| AIT9 | 4 | 3 | 4 |
| AIT10 | 4 | 3 | 4 |
| AIT11 | 5 | 4 | 4 |
| AIC1 | 4 | 3 | 4 |
| AIC2 | 3 | 2 | 4 |
| AIC3 | 4 | 3 | 3 |
| AIC4 | 4 | 3 | 4 |
| AIC5 | 4 | 3 | 4 |
| AIC6 | 5 | 4 | 4 |
Na obrázku jsou vidět tři z identifikovaných vzorců odpovědí. Ve vzorci A, který jsme našli u 24 respondentů, se u prvních devíti otázek třikrát opakuje trojice „4 – 3 – 5“. Podobný vzorec pokračuje i v dalších blocích bez ohledu na obsah otázek – ať se týkají autonomie v práci, časového tlaku, nebo postoje k AI. Další zobrazená skupina má přesně stejný profil, ale všechny odpovědi jsou o jeden bod nižší.
Celkem jsme identifikovali pět takových vzorců u 80 respondentů: 44 v Česku (7,3 %) a 36 na Slovensku (6,0 %). Ani jeden z nich nesplnil kritéria pro vyloučení na základě standardních ukazatelů. Tyto odpovědi totiž při běžné kontrole nepůsobí podezřele: respondent nevolí stále stejnou možnost, odpovědi se mění a pohybují se převážně kolem středu škály.
Čištění dat v číslech
| Krok | Česko | Slovensko | Celkem |
|---|---|---|---|
| Vyplněné dotazníky | 600 | 600 | 1 200 |
| Opakující se vzorce odpovědí (vyloučeno) | 44 | 36 | 80 |
| Nepozorné odpovídání – alespoň 2 ukazatele (vyloučeno) | 40 | 31 | 71 |
| Výsledný vzorek | 516 | 533 | 1 049 |
Proč na tom záleží
Opakující se vzorce odpovědí mohou nadhodnocovat vztahy mezi proměnnými. Zachycené souvislosti pak zčásti odrážejí společný vzorec odpovídání. Ve slovenském vzorku po vyloučení respondentů s těmito vzorci klesla korelace mezi časovým tlakem a důvěrou v AI z 0,33 na 0,25, mezi časovým tlakem a AI-craftingem z 0,36 na 0,30 a mezi autonomií a AI-craftingem z 0,40 na 0,35. V českém vzorku jsme zaznamenali podobný, ale menší pokles.
Tabulka hodnot
| Vztah | SK včetně vzorců | SK po vyloučení | CZ včetně vzorců | CZ po vyloučení |
|---|---|---|---|---|
| Autonomie – AI-crafting | 0,40 | 0,35 | 0,37 | 0,35 |
| Časový tlak – AI-crafting | 0,36 | 0,30 | 0,24 | 0,21 |
| Časový tlak – důvěra v AI | 0,33 | 0,25 | 0,28 | 0,25 |
| Autonomie – důvěra v AI | 0,40 | 0,36 | 0,33 | 0,31 |
| Důvěra v AI – AI-crafting | 0,80 | 0,78 | 0,74 | 0,72 |
Pokud tedy v datech ponecháte respondenty s opakujícími se vzorci odpovědí, mohou souvislosti mezi proměnnými vypadat silnější, než ve skutečnosti jsou. Samotné průměry přitom tento problém nemusí odhalit.
Jak jsme na to přišli – a jak to zkontrolovat ve vlastních datech
Na opakující se vzorce odpovědí jsme narazili při běžné kontrole, zda někdo nevyplnil dotazník vícekrát. Několik respondentů s různými ID mělo shodné odpovědi na všech 31 otázek. Když jsme odpovědi každého z nich spojili do jednoho řetězce – například 435 435 435 | 43445 | 43444444445 | 434445 –, pravidelnost byla patrná na první pohled. V prvním bloku se třikrát opakovala trojice „4 – 3 – 5“, v dalších blocích se objevovaly podobně pravidelné posloupnosti navzdory odlišnému obsahu otázek.
Následně jsme porovnali všechny dvojice respondentů. V Česku jsme našli 365 a na Slovensku 246 dvojic se shodnými odpověďmi na všech 31 otázek. Pro srovnání jsme u každé otázky náhodně přerozdělili odpovědi mezi respondenty. Počet jednotlivých odpovědí na každou otázku zůstal zachován, změnily se však jejich kombinace v dotaznících. Po promíchání jsme nenašli ani jednu zcela shodnou dvojici.
Nakonec jsme hledali i stejné vzorce posunuté na škále. Od každé odpovědi jsme odečetli hodnotu, kterou daný respondent používal nejčastěji. Tak jsme mohli porovnat průběh odpovědí bez ohledu na jejich celkovou úroveň. Ukázalo se například, že posloupnost „3 – 2 – 4“ kopíruje vzorec „4 – 3 – 5“, jen je u každé otázky o jeden bod nižší.
Ve vlastních datech můžete postupovat ve třech krocích:
- Vyhledejte shodné profily odpovědí. Odpovědi každého respondenta na škálové otázky spojte do jednoho textového řetězce a spočítejte, kolikrát se opakuje. V Excelu můžete použít vzorec
=TEXTJOIN("";TRUE;D2:AH2)a následně funkciCOUNTIF. V SPSS lze využít funkci CONCAT a nástroj Identify Duplicate Cases. - Porovnejte i vzorce posunuté na škále. Od každé odpovědi odečtěte nejčastější hodnotu daného respondenta a porovnejte výsledné řetězce. V naší analýze jsme za podezřelé považovali shodné vzorce, v nichž se alespoň čtyři odpovědi lišily od nejčastější hodnoty. Pro srovnání náhodně promíchejte odpovědi samostatně v každém sloupci a zjistěte, kolik shod vznikne po promíchání.
- Prohlédněte si podezřelé vzorce v grafu. Odpovědi zobrazte jako čáry přes jednotlivé otázky, podobně jako na obrázku výše. Uvidíte tak, kde se opakují stejné posloupnosti a které profily jsou vůči sobě posunuté.
Na co si dát pozor:
- Délka dotazníku. U několika desítek otázek jsou zcela shodné profily podezřelejší než u krátké škály se čtyřmi či pěti otázkami, kde mohou snadno vzniknout přirozeně. Proto porovnáváme odpovědi na celý dotazník a doplňujeme je srovnáním s náhodně promíchanými daty. Promíchání však odstraní i přirozené souvislosti mezi odpověďmi, a samo o sobě proto není důkazem nekvalitního vyplnění.
- Málo proměnlivé odpovědi. Dva lidé mohou přirozeně odpovídat téměř všude hodnotou 4 a jen jednou hodnotou 5. Proto jsme při hledání posunutých vzorců vyžadovali, aby se alespoň čtyři odpovědi lišily od nejčastější hodnoty respondenta. Jde o pracovní hranici, jejíž volbu je třeba v metodice zdůvodnit.
- Drobné změny ve vzorci. Postup zachytí pouze přesně shodné profily nebo profily posunuté o stejný počet bodů. Pokud někdo několik odpovědí náhodně změní, takový vzorec už nemusíme odhalit. Při dalším prověřování mohou pomoci časy vyplnění a metadata od dodavatele.
- Popis postupu v práci. V diplomové práci, disertaci či článku přesně vysvětlete, podle jakého pravidla jste respondenty vyloučili, a uveďte jejich počet. Výsledky porovnejte před jejich vyloučením i po něm.
Co ještě pomůže
- Vyžádejte si časy vyplnění, ideálně i časy jednotlivých stran. Ve spojení s opakujícími se vzorci odpovědí mohou pomoci při posuzování podezřelých záznamů.
- Zařaďte kontrolní položky, například „U této otázky označte ‚nesouhlasím‘“. Obráceně formulovaná tvrzení mohou pomoci odhalit rozpory v odpovědích, mohou však také způsobovat nedorozumění. Ani jeden z těchto postupů proto nepoužívejte jako jediný důvod k vyloučení.
- Dohodněte si přístup k metadatům, například k údaji o dokončení dotazníku či identifikátoru zařízení. Předem si s dodavatelem stanovte i postup prověřování a reklamace podezřelých záznamů.
Co z toho vyplývá
- Kontrolu nepozorného odpovídání je třeba doplnit porovnáním respondentů. Běžné ukazatele v našem průzkumu zachytily 71 respondentů. Dalších 80 s opakujícími se vzorci odpovědí však kritéria pro vyloučení nesplnilo. Oba postupy tedy zachytily odlišné skupiny.
- I malá část vzorku může ovlivnit výsledky. V našem průzkumu se po vyloučení přibližně 6 – 7 % respondentů snížilo několik korelací. Samotné průměry přitom takový problém nemusí odhalit.
- Ptejte se, jak dodavatel kontroluje kvalitu dat. Při objednávání průzkumu si dohodněte předání původních dat včetně časů vyplnění a vysvětlení pravidel, podle kterých dodavatel odpovědi prověřuje a vyřazuje.
Limity. Zjištění pocházejí z jednoho průzkumu. Podíl respondentů s opakujícími se vzorci odpovědí může být v jiných panelech a projektech odlišný. Použitý postup zachycuje pouze přesně shodné nebo rovnoměrně posunuté profily; vzorce s náhodnými změnami mohou zůstat neodhaleny. Z dostupných údajů také nedokážeme určit, jak tyto shody vznikly – zda šlo o automatizované vyplňování, koordinovanou skupinu respondentů, nebo jednoho člověka s více účty. Časy vyplnění a další metadata by mohly pomoci tyto možnosti prověřit, samy o sobě by je však nemusely spolehlivě rozlišit.
Výzkum podpořil projekt VEGA 1/0316/26 – Pracoviště budoucnosti.
Zdroje
- Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4–19. https://doi.org/10.1016/j.jesp.2015.07.006
- Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085