Roboții de internet sunt cunoscuți sub mai multe nume – roboți, păianjeni, roboți web, roboți și crawler-uri. Ceea ce au toate în comun este că sunt aplicații software sau scripturi. Unde diferă este în sarcinile pe care le îndeplinesc. Scopul sau beneficiul lor este simplu: finalizarea rapidă a sarcinilor, în special a celor repetitive.
Boții sunt folosiți cel mai frecvent în indexarea pe un motor de căutare. Atunci când sunt utilizate în acest scop, acestea sunt programate să viziteze site-uri de pe Internet pentru a fi utilizate pe paginile cu rezultate ale motoarelor de căutare. Adică, accesările pe care le primește un utilizator atunci când efectuează o căutare pe motorul său de căutare preferat vor fi acolo, în parte, pentru că un bot a ieșit și a identificat acel site. Acestea rulează periodic pentru a se asigura că pagina web încă există și este încă relevantă pentru un anumit subiect. Aceștia sunt cunoscuți sub numele de roboți web, păianjeni web sau crawler-uri web.
De asemenea, roboții web vor colecta link-uri de pe site-ul web pe care îl vizitează și le vor adăuga la lista de site-uri de vizitat. Acesta este motivul pentru care mulți oameni cred că este important ca site-urile să facă linkuri între ele. În unele cazuri, cu cât există mai multe hyperlinkuri ale unei adrese URL, cu atât site-ul respectiv poate fi evaluat mai bine de motoarele de căutare. În plus, aceste aplicații pot fi folosite pentru a verifica link-urile de pe un site web pentru a vă asigura că direcționează clicurile către locația corectă și pentru a căuta erori în codul HyperText Markup Language (HTML).
Boții pot fi folosiți și în scopuri mai puțin atrăgătoare. Ele pot fi folosite, de exemplu, pentru a vizita site-uri web pentru a colecta date precum adresele de e-mail. Aceste adrese de e-mail pot fi apoi folosite pentru a trimite e-mailuri în masă de spam – mesaje care sunt trimise fără consimțământ.
Alte funcții ale acestor scripturi includ interfețe interactive utilizate în serviciile de mesagerie instantanee (IM). Boții avansați, numiți și chatter bots, pot fi capabili să comunice informații solicitate unui utilizator, cum ar fi ora, data sau vremea. Unele sunt folosite pentru a cenzura și a monitoriza utilizarea blasfeiilor.
Oamenii care s-au întrebat cum se poate epuiza un concert într-un timp record ar putea fi interesați să știe că este probabil să fi fost angajați roboți. Acestea permit cumpărătorului să cumpere un număr mare de locuri într-o perioadă foarte scurtă de timp. Scripturi similare sunt folosite și pe site-urile de licitații și pe unele site-uri de jocuri online.