Dynamic Optical Test for Bot Identification (DOT-BI): A simple check to identify bots in surveys and online processes
Journal
arXiv
Type
working paper
Date Issued
2025-12-04
Author(s)
Abstract
We propose the Dynamic Optical Test for Bot Identification (DOT-BI): a quick and easy method that uses human perception of motion to differentiate between human respondents and automated systems in surveys and online processes. In DOT-BI, a 'hidden' number is displayed with the same random black-and-white pixel texture as its background. Only the difference in motion and scale between the number and the background makes the number perceptible to humans across frames, while frame-by-frame algorithmic processing yields no meaningful signal. We conducted two preliminary assessments. Firstly, state-of-the-art, video-capable, multimodal models (GPT-5-Thinking and Gemini 2.5 Pro) fail to extract the correct value, even when given explicit instructions about the mechanism. Secondly, in an online survey (n=182), 99.5% (181/182) of participants solved the task, with an average end-to-end completion time of 10.7 seconds; a supervised lab study (n=39) found no negative effects on perceived ease-ofuse or completion time relative to a control. We release code to generate tests and 100+ prerendered variants to facilitate adoption in surveys and online processes.
Abstract (De)
Wir stellen den Dynamic Optical Test for Bot Identification (DOT-BI) vor, ein schnelles und einfaches Verfahren, das die menschliche Bewegungswahrnehmung nutzt, um in Befragungen und Online-Prozessen zwischen menschlichen Teilnehmenden und automatisierten Systemen zu unterscheiden. In DOT-BI wird eine „verborgene“ Zahl mit derselben zufaelligen Schwarz-Weiss-Pixeltextur dargestellt wie ihr Hintergrund. Allein der Unterschied in Bewegung und Skalierung zwischen Zahl und Hintergrund macht die Zahl fuer Menschen ueber mehrere Frames hinweg wahrnehmbar, waehrend eine frameweise algorithmische Verarbeitung kein verwertbares Signal liefert.
Wir fuehrten zwei vorlaeufige Evaluationen durch. Erstens scheiterten moderne, videofaehige multimodale Modelle (GPT-5-Thinking und Gemini 2.5 Pro) daran, den korrekten Wert zu extrahieren, selbst wenn ihnen explizite Anweisungen zum Funktionsprinzip gegeben wurden. Zweitens loesten in einer Online-Befragung (n = 182) 99,5 % (181/182) der Teilnehmenden die Aufgabe, bei einer durchschnittlichen End-to-End-Bearbeitungszeit von 10,7 Sekunden; eine beaufsichtigte Laborstudie (n = 39) zeigte keine negativen Effekte auf die wahrgenommene Benutzerfreundlichkeit oder die Bearbeitungszeit im Vergleich zu einer Kontrollbedingung.
Wir stellen den Quellcode zur Generierung der Tests sowie ueber 100 vorgerenderte Varianten zur Verfuegung, um die Integration in Befragungen und Online-Prozesse zu erleichtern.
Wir fuehrten zwei vorlaeufige Evaluationen durch. Erstens scheiterten moderne, videofaehige multimodale Modelle (GPT-5-Thinking und Gemini 2.5 Pro) daran, den korrekten Wert zu extrahieren, selbst wenn ihnen explizite Anweisungen zum Funktionsprinzip gegeben wurden. Zweitens loesten in einer Online-Befragung (n = 182) 99,5 % (181/182) der Teilnehmenden die Aufgabe, bei einer durchschnittlichen End-to-End-Bearbeitungszeit von 10,7 Sekunden; eine beaufsichtigte Laborstudie (n = 39) zeigte keine negativen Effekte auf die wahrgenommene Benutzerfreundlichkeit oder die Bearbeitungszeit im Vergleich zu einer Kontrollbedingung.
Wir stellen den Quellcode zur Generierung der Tests sowie ueber 100 vorgerenderte Varianten zur Verfuegung, um die Integration in Befragungen und Online-Prozesse zu erleichtern.
Language
English (United States)
Keywords
Survey Research
Survey Methodology
Reliability
HSG Classification
contribution to scientific community
Start page
1
End page
8
Pages
8
Official URL
Division(s)
Contact Email Address
malte.bleeker@unisg.ch
File(s)![Thumbnail Image]()
open.access
Name
Article_Final.pdf
Type
Main Article
Description
Accepted Article
Size
941.63 KB
Format
Adobe PDF
Checksum (MD5)
264d9c6ede45e397afad0d9ff8008074