Bir robots.txt dosyası, botlara hangi web sayfalarına erişip erişemeyeceklerini söyleyen talimatlar içerir. Robots.txt dosyaları en çok Google gibi arama motorlarının web tarayıcıları için uygundur.
Robots.txt Nedir?
Robotlar, internetteki web sitelerini ziyaret eden her tür "bot" dur. En yaygın örnek, arama motoru tarayıcılarıdır. Bu botlar, Google gibi arama motorlarının internetteki milyarlarca sayfayı indekslemesine ve...