Bo boty to odkurzacze. Jak człowiek zakłada stronę w internecie, to sobie wyobraża, że wchodzi tam pani Kasia z pracy, jakiś random z Wykopu albo jeszcze ktoś przypadkowy. A potem patrzysz w logi i widzisz ruch z dziwnych sieci komórkowych, operatorów z drugiego końca świata i egzotycznych ASN-ów. Oficjalne raporty z ostatnich lat mówią, że około połowa globalnego ruchu w sieci pochodzi od botów - w 2023 było to mniej więcej 49-50% , a w 2024 automatyczny ruch pierwszy raz przebił ruch ludzki i dobił do 51% . Jeżeli skupimy się na konkretnych miejscach w internecie, to ten udział jest jeszcze wyższy: blogi = 65% , punkty API = nawet 90% ! I to mówimy tylko o tym, co da się względnie łatwo rozpoznać na podstawie źródeł IP i charakterystyki ruchu. Czyli: statystycznie rzecz biorąc, co drugi gość na twojej stronie.. to skrypt. robots.txt Stary internet opierał się na dość prostym założeniu, że jak jest sobie bot, to umie czytać. Od tego był plik robots.txt - zwykły tekst w ka...