Kungl. biblioteket (som Kungliga Biblioteket tydligen vill kalla sig) har fått i uppdrag av regeringen att samla in alla svenska websidor. Mer om det kan läsas i beskrivningen av Kulturarv3, dit Kungl. bibliotekets robot User-Agent info hänvisar.
Bottarna på internet föväntas följa en viss robot etikett, som att inte ladda hem för många sidor inom vissa tidsintervall, för att inte sänka servern, samt att följa de robot regler som kan skrivas i robots.txt filen. Om denna fil kan man t.ex läsa om hos robotstxt.org.
Jag har tidigare framfört klagomål till KB om hur deras bot betett sig. Efter en del krångel så löste det sig, och de följde vad som fanns i robots.txt. Men nu har de bytt namn på sin bot, så att den inte längre följer dessa regler. 😡
Min lösning på problement denna gång var att jag bannade hela deras IP-range 193.10.249.* från att nå berka.com. 😈