Přeskočit na obsah
← Blog
· aktualizováno

Opakující se vzorce odpovědí: 6 – 7 % respondentů, které běžná kontrola nezachytila

Autor:

Online panely jsou běžným zdrojem dat pro akademický i firemní výzkum. Při kontrole jejich kvality se obvykle ptáme, zda respondent dotazník vyplnil pozorně. Co když ale jeho odpovědi působí věrohodně, a přitom se přesně shodují s odpověďmi dalších lidí?

Na takový problém jsme narazili při online panelovém průzkumu v Česku a na Slovensku v roce 2026. V každé zemi se zapojilo 600 respondentů, celkem tedy 1 200. Dotazník obsahoval 31 otázek rozdělených do čtyř tematických bloků, na které respondenti odpovídali na škále od 1 do 5.

Co běžná kontrola našla: straightlining a nepozorné odpovídání

Při kontrole kvality dat se běžně hledají známky nepozorného odpovídání. Sleduje se například, zda respondent nevolí stejnou odpověď u mnoha otázek za sebou (tzv. straightlining), zda se jeho odpovědi nemění příliš málo nebo neobvykle mnoho, zda si neprotiřečí u podobně formulovaných otázek a zda se jeho celkový profil výrazně neliší od ostatních.

Na základě těchto kontrol jsme vyloučili 71 z 1 200 vyplněných dotazníků: 40 v českém a 31 ve slovenském vzorku. Šlo přibližně o 6 % dotazníků. V každém případě se musely shodnout alespoň dva ukazatele. Samotný podezřelý výsledek jednoho ukazatele k vyloučení dotazníku nestačil.

Co běžná kontrola nenašla

Další problém se ukázal, když jsme odpovědi porovnali mezi respondenty. Našli jsme skupiny lidí, kteří na všech 31 otázek odpověděli naprosto stejně.

V českém vzorku jsme zaznamenali 365 dvojic respondentů se shodným profilem odpovědí, ve slovenském 246. Jde o počet dvojic, nikoli o počet lidí: každý respondent může tvořit shodnou dvojici s několika dalšími.

Pro srovnání jsme u každé otázky náhodně přerozdělili odpovědi mezi respondenty. Počet jednotlivých odpovědí na každou otázku zůstal zachován, ale jejich kombinace v dotaznících se změnily. Po tomto promíchání jsme nenašli ani jednu zcela shodnou dvojici.

Desítky respondentů odpověděly na 31 otázek naprosto stejněProfily tří opakujících se vzorců odpovědí: na vodorovné ose 31 otázek ve čtyřech blocích, na svislé odpověď 1–5. Podle každého vzorce odpovídalo 13 až 24 respondentů. Autonomie Časový tlak Důvěra v AI AI-crafting 1 3 5 Vzorec A – Česko, 24 respondentů JA1: 4 JA2: 3 JA3: 5 JA4: 4 JA5: 3 JA6: 5 JA7: 4 JA8: 3 JA9: 5 TP1: 4 TP2: 3 TP3: 4 TP4: 4 TP5: 5 AIT1: 4 AIT2: 3 AIT3: 4 AIT4: 4 AIT5: 4 AIT6: 4 AIT7: 4 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 5 AIC1: 4 AIC2: 3 AIC3: 4 AIC4: 4 AIC5: 4 AIC6: 5 1 3 5 Vzorec A posunutý o 1 bod níže – Česko, 13 respondentů JA1: 3 JA2: 2 JA3: 4 JA4: 3 JA5: 2 JA6: 4 JA7: 3 JA8: 2 JA9: 4 TP1: 3 TP2: 2 TP3: 3 TP4: 3 TP5: 4 AIT1: 3 AIT2: 2 AIT3: 3 AIT4: 3 AIT5: 3 AIT6: 3 AIT7: 3 AIT8: 3 AIT9: 3 AIT10: 3 AIT11: 4 AIC1: 3 AIC2: 2 AIC3: 3 AIC4: 3 AIC5: 3 AIC6: 4 1 3 5 Vzorec C – Slovensko, 17 respondentů JA1: 4 JA2: 4 JA3: 3 JA4: 4 JA5: 4 JA6: 5 JA7: 4 JA8: 4 JA9: 3 TP1: 4 TP2: 4 TP3: 5 TP4: 4 TP5: 4 AIT1: 4 AIT2: 4 AIT3: 4 AIT4: 3 AIT5: 4 AIT6: 4 AIT7: 5 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 4 AIC1: 4 AIC2: 4 AIC3: 3 AIC4: 4 AIC5: 4 AIC6: 4
Desítky respondentů odpověděly na 31 otázek naprosto stejněProfily tří opakujících se vzorců odpovědí: na vodorovné ose 31 otázek ve čtyřech blocích, na svislé odpověď 1–5. Podle každého vzorce odpovídalo 13 až 24 respondentů. Autonomie Časový tlak Důvěra v AI AI-crafting 1 3 5 Vzorec A – Česko, 24 respondentů JA1: 4 JA2: 3 JA3: 5 JA4: 4 JA5: 3 JA6: 5 JA7: 4 JA8: 3 JA9: 5 TP1: 4 TP2: 3 TP3: 4 TP4: 4 TP5: 5 AIT1: 4 AIT2: 3 AIT3: 4 AIT4: 4 AIT5: 4 AIT6: 4 AIT7: 4 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 5 AIC1: 4 AIC2: 3 AIC3: 4 AIC4: 4 AIC5: 4 AIC6: 5 1 3 5 Vzorec A posunutý o 1 bod níže – Česko, 13 respondentů JA1: 3 JA2: 2 JA3: 4 JA4: 3 JA5: 2 JA6: 4 JA7: 3 JA8: 2 JA9: 4 TP1: 3 TP2: 2 TP3: 3 TP4: 3 TP5: 4 AIT1: 3 AIT2: 2 AIT3: 3 AIT4: 3 AIT5: 3 AIT6: 3 AIT7: 3 AIT8: 3 AIT9: 3 AIT10: 3 AIT11: 4 AIC1: 3 AIC2: 2 AIC3: 3 AIC4: 3 AIC5: 3 AIC6: 4 1 3 5 Vzorec C – Slovensko, 17 respondentů JA1: 4 JA2: 4 JA3: 3 JA4: 4 JA5: 4 JA6: 5 JA7: 4 JA8: 4 JA9: 3 TP1: 4 TP2: 4 TP3: 5 TP4: 4 TP5: 4 AIT1: 4 AIT2: 4 AIT3: 4 AIT4: 3 AIT5: 4 AIT6: 4 AIT7: 5 AIT8: 4 AIT9: 4 AIT10: 4 AIT11: 4 AIC1: 4 AIC2: 4 AIC3: 3 AIC4: 4 AIC5: 4 AIC6: 4
Tři z identifikovaných vzorců odpovědí: každý bod je odpověď na jednu otázku (1 – 5), otázky jsou seřazeny po blocích. Každý z uvedených respondentů odpověděl přesně podle daného vzorce.
Tabulka hodnot
PoložkaVzorec A – Česko, 24 respondentůVzorec A posunutý o 1 bod níže – Česko, 13 respondentůVzorec C – Slovensko, 17 respondentů
JA1434
JA2324
JA3543
JA4434
JA5324
JA6545
JA7434
JA8324
JA9543
TP1434
TP2324
TP3435
TP4434
TP5544
AIT1434
AIT2324
AIT3434
AIT4433
AIT5434
AIT6434
AIT7435
AIT8434
AIT9434
AIT10434
AIT11544
AIC1434
AIC2324
AIC3433
AIC4434
AIC5434
AIC6544

Na obrázku jsou vidět tři z identifikovaných vzorců odpovědí. Ve vzorci A, který jsme našli u 24 respondentů, se u prvních devíti otázek třikrát opakuje trojice „4 – 3 – 5“. Podobný vzorec pokračuje i v dalších blocích bez ohledu na obsah otázek – ať se týkají autonomie v práci, časového tlaku, nebo postoje k AI. Další zobrazená skupina má přesně stejný profil, ale všechny odpovědi jsou o jeden bod nižší.

Celkem jsme identifikovali pět takových vzorců u 80 respondentů: 44 v Česku (7,3 %) a 36 na Slovensku (6,0 %). Ani jeden z nich nesplnil kritéria pro vyloučení na základě standardních ukazatelů. Tyto odpovědi totiž při běžné kontrole nepůsobí podezřele: respondent nevolí stále stejnou možnost, odpovědi se mění a pohybují se převážně kolem středu škály.

Čištění dat v číslech

KrokČeskoSlovenskoCelkem
Vyplněné dotazníky6006001 200
Opakující se vzorce odpovědí (vyloučeno)443680
Nepozorné odpovídání – alespoň 2 ukazatele (vyloučeno)403171
Výsledný vzorek5165331 049

Proč na tom záleží

Opakující se vzorce odpovědí mohou nadhodnocovat vztahy mezi proměnnými. Zachycené souvislosti pak zčásti odrážejí společný vzorec odpovídání. Ve slovenském vzorku po vyloučení respondentů s těmito vzorci klesla korelace mezi časovým tlakem a důvěrou v AI z 0,33 na 0,25, mezi časovým tlakem a AI-craftingem z 0,36 na 0,30 a mezi autonomií a AI-craftingem z 0,40 na 0,35. V českém vzorku jsme zaznamenali podobný, ale menší pokles.

S opakujícími se vzorci odpovědí vycházejí vztahy mezi proměnnými silnějšíKorelace mezi měřenými oblastmi ve slovenském vzorku včetně respondentů s opakujícími se vzorci odpovědí a po jejich vyloučení. Včetně opakujících se vzorců Po jejich vyloučení 0,00 0,25 0,50 0,75 1,00 Korelace r Autonomie – AI-crafting Autonomie – AI-crafting – Včetně opakujících se vzorců: 0,40 0,40 Autonomie – AI-crafting – Po jejich vyloučení: 0,35 0,35 Časový tlak – AI-crafting Časový tlak – AI-crafting – Včetně opakujících se vzorců: 0,36 0,36 Časový tlak – AI-crafting – Po jejich vyloučení: 0,30 0,30 Časový tlak – důvěra v AI Časový tlak – důvěra v AI – Včetně opakujících se vzorců: 0,33 0,33 Časový tlak – důvěra v AI – Po jejich vyloučení: 0,25 0,25 Autonomie – důvěra v AI Autonomie – důvěra v AI – Včetně opakujících se vzorců: 0,40 0,40 Autonomie – důvěra v AI – Po jejich vyloučení: 0,36 0,36 Důvěra v AI – AI-crafting Důvěra v AI – AI-crafting – Včetně opakujících se vzorců: 0,80 0,80 Důvěra v AI – AI-crafting – Po jejich vyloučení: 0,78 0,78
S opakujícími se vzorci odpovědí vycházejí vztahy mezi proměnnými silnějšíKorelace mezi měřenými oblastmi ve slovenském vzorku včetně respondentů s opakujícími se vzorci odpovědí a po jejich vyloučení. Včetně opakujících se vzorců Po jejich vyloučení 0,00 0,25 0,50 0,75 1,00 Korelace r Autonomie – AI-crafting Autonomie – AI-crafting – Včetně opakujících se vzorců: 0,40 0,40 Autonomie – AI-crafting – Po jejich vyloučení: 0,35 0,35 Časový tlak – AI-crafting Časový tlak – AI-crafting – Včetně opakujících se vzorců: 0,36 0,36 Časový tlak – AI-crafting – Po jejich vyloučení: 0,30 0,30 Časový tlak – důvěra v AI Časový tlak – důvěra v AI – Včetně opakujících se vzorců: 0,33 0,33 Časový tlak – důvěra v AI – Po jejich vyloučení: 0,25 0,25 Autonomie – důvěra v AI Autonomie – důvěra v AI – Včetně opakujících se vzorců: 0,40 0,40 Autonomie – důvěra v AI – Po jejich vyloučení: 0,36 0,36 Důvěra v AI – AI-crafting Důvěra v AI – AI-crafting – Včetně opakujících se vzorců: 0,80 0,80 Důvěra v AI – AI-crafting – Po jejich vyloučení: 0,78 0,78
Korelace mezi měřenými oblastmi ve slovenském vzorku včetně respondentů s opakujícími se vzorci odpovědí a po jejich vyloučení. V tabulce jsou i hodnoty pro Česko.
Tabulka hodnot
VztahSK včetně vzorcůSK po vyloučeníCZ včetně vzorcůCZ po vyloučení
Autonomie – AI-crafting0,400,350,370,35
Časový tlak – AI-crafting0,360,300,240,21
Časový tlak – důvěra v AI0,330,250,280,25
Autonomie – důvěra v AI0,400,360,330,31
Důvěra v AI – AI-crafting0,800,780,740,72

Pokud tedy v datech ponecháte respondenty s opakujícími se vzorci odpovědí, mohou souvislosti mezi proměnnými vypadat silnější, než ve skutečnosti jsou. Samotné průměry přitom tento problém nemusí odhalit.

Jak jsme na to přišli – a jak to zkontrolovat ve vlastních datech

Na opakující se vzorce odpovědí jsme narazili při běžné kontrole, zda někdo nevyplnil dotazník vícekrát. Několik respondentů s různými ID mělo shodné odpovědi na všech 31 otázek. Když jsme odpovědi každého z nich spojili do jednoho řetězce – například 435 435 435 | 43445 | 43444444445 | 434445 –, pravidelnost byla patrná na první pohled. V prvním bloku se třikrát opakovala trojice „4 – 3 – 5“, v dalších blocích se objevovaly podobně pravidelné posloupnosti navzdory odlišnému obsahu otázek.

Následně jsme porovnali všechny dvojice respondentů. V Česku jsme našli 365 a na Slovensku 246 dvojic se shodnými odpověďmi na všech 31 otázek. Pro srovnání jsme u každé otázky náhodně přerozdělili odpovědi mezi respondenty. Počet jednotlivých odpovědí na každou otázku zůstal zachován, změnily se však jejich kombinace v dotaznících. Po promíchání jsme nenašli ani jednu zcela shodnou dvojici.

Nakonec jsme hledali i stejné vzorce posunuté na škále. Od každé odpovědi jsme odečetli hodnotu, kterou daný respondent používal nejčastěji. Tak jsme mohli porovnat průběh odpovědí bez ohledu na jejich celkovou úroveň. Ukázalo se například, že posloupnost „3 – 2 – 4“ kopíruje vzorec „4 – 3 – 5“, jen je u každé otázky o jeden bod nižší.

Ve vlastních datech můžete postupovat ve třech krocích:

  1. Vyhledejte shodné profily odpovědí. Odpovědi každého respondenta na škálové otázky spojte do jednoho textového řetězce a spočítejte, kolikrát se opakuje. V Excelu můžete použít vzorec =TEXTJOIN("";TRUE;D2:AH2) a následně funkci COUNTIF. V SPSS lze využít funkci CONCAT a nástroj Identify Duplicate Cases.
  2. Porovnejte i vzorce posunuté na škále. Od každé odpovědi odečtěte nejčastější hodnotu daného respondenta a porovnejte výsledné řetězce. V naší analýze jsme za podezřelé považovali shodné vzorce, v nichž se alespoň čtyři odpovědi lišily od nejčastější hodnoty. Pro srovnání náhodně promíchejte odpovědi samostatně v každém sloupci a zjistěte, kolik shod vznikne po promíchání.
  3. Prohlédněte si podezřelé vzorce v grafu. Odpovědi zobrazte jako čáry přes jednotlivé otázky, podobně jako na obrázku výše. Uvidíte tak, kde se opakují stejné posloupnosti a které profily jsou vůči sobě posunuté.

Na co si dát pozor:

  • Délka dotazníku. U několika desítek otázek jsou zcela shodné profily podezřelejší než u krátké škály se čtyřmi či pěti otázkami, kde mohou snadno vzniknout přirozeně. Proto porovnáváme odpovědi na celý dotazník a doplňujeme je srovnáním s náhodně promíchanými daty. Promíchání však odstraní i přirozené souvislosti mezi odpověďmi, a samo o sobě proto není důkazem nekvalitního vyplnění.
  • Málo proměnlivé odpovědi. Dva lidé mohou přirozeně odpovídat téměř všude hodnotou 4 a jen jednou hodnotou 5. Proto jsme při hledání posunutých vzorců vyžadovali, aby se alespoň čtyři odpovědi lišily od nejčastější hodnoty respondenta. Jde o pracovní hranici, jejíž volbu je třeba v metodice zdůvodnit.
  • Drobné změny ve vzorci. Postup zachytí pouze přesně shodné profily nebo profily posunuté o stejný počet bodů. Pokud někdo několik odpovědí náhodně změní, takový vzorec už nemusíme odhalit. Při dalším prověřování mohou pomoci časy vyplnění a metadata od dodavatele.
  • Popis postupu v práci. V diplomové práci, disertaci či článku přesně vysvětlete, podle jakého pravidla jste respondenty vyloučili, a uveďte jejich počet. Výsledky porovnejte před jejich vyloučením i po něm.

Co ještě pomůže

  1. Vyžádejte si časy vyplnění, ideálně i časy jednotlivých stran. Ve spojení s opakujícími se vzorci odpovědí mohou pomoci při posuzování podezřelých záznamů.
  2. Zařaďte kontrolní položky, například „U této otázky označte ‚nesouhlasím‘“. Obráceně formulovaná tvrzení mohou pomoci odhalit rozpory v odpovědích, mohou však také způsobovat nedorozumění. Ani jeden z těchto postupů proto nepoužívejte jako jediný důvod k vyloučení.
  3. Dohodněte si přístup k metadatům, například k údaji o dokončení dotazníku či identifikátoru zařízení. Předem si s dodavatelem stanovte i postup prověřování a reklamace podezřelých záznamů.

Co z toho vyplývá

  • Kontrolu nepozorného odpovídání je třeba doplnit porovnáním respondentů. Běžné ukazatele v našem průzkumu zachytily 71 respondentů. Dalších 80 s opakujícími se vzorci odpovědí však kritéria pro vyloučení nesplnilo. Oba postupy tedy zachytily odlišné skupiny.
  • I malá část vzorku může ovlivnit výsledky. V našem průzkumu se po vyloučení přibližně 6 – 7 % respondentů snížilo několik korelací. Samotné průměry přitom takový problém nemusí odhalit.
  • Ptejte se, jak dodavatel kontroluje kvalitu dat. Při objednávání průzkumu si dohodněte předání původních dat včetně časů vyplnění a vysvětlení pravidel, podle kterých dodavatel odpovědi prověřuje a vyřazuje.

Limity. Zjištění pocházejí z jednoho průzkumu. Podíl respondentů s opakujícími se vzorci odpovědí může být v jiných panelech a projektech odlišný. Použitý postup zachycuje pouze přesně shodné nebo rovnoměrně posunuté profily; vzorce s náhodnými změnami mohou zůstat neodhaleny. Z dostupných údajů také nedokážeme určit, jak tyto shody vznikly – zda šlo o automatizované vyplňování, koordinovanou skupinu respondentů, nebo jednoho člověka s více účty. Časy vyplnění a další metadata by mohly pomoci tyto možnosti prověřit, samy o sobě by je však nemusely spolehlivě rozlišit.

Výzkum podpořil projekt VEGA 1/0316/26 – Pracoviště budoucnosti.

Zdroje