Robots.txt Nedir? Robots.txt arama motorlarının sitenizi taraması için belli komutların oluşturulduğu bir komut dosyasıdır. Bu sistemin oluşturulmasının ana nedeni arama motorlarına ait botlara yol göstermektir. Arama motorları sitenizi taramadan önce robots.txt dosyasını incelemektedir. Dosyada izin verilen sayfalarınız için botlar devreye...