Tarafından Programlar lionheart

Bu robotlar.txt analiz aracı, çevrimiçinden "robots.txt" keyfi bir web sunucusunun (arama motorurobotunun robotu vb.) sunucudaki davranışı belirten dosyanın içeriğini kolayca doğrulayabilir.