Robot.txt nasil olusturulur

Robots.txt dosyasi arama motorlarinda bazi tanimlar yapmak icin gereklidir. Bu dosya icinde yasakli sayfalar ve sitemap adresleri yazilabilir. Robots.txt olusturmak icin windows icinde basitce not defteri kullanilabilir.

Asagidaki sekilde yazilirsa google veya bing gibi arama motorlari bu sayfaya girmez, admin bircok sitede yonetim sayfasidir:
User-agent: *
Disallow: /admin/

Asagidaki ornek dosya ise ornek bir sitemap dosyasi adresi tanimlamayi gostermistir:
Sitemap: https://www.acilsoru.com/sitemap.xml

bu yontemle farkli sitelerde sitemap dosyasi hedeflenebilir.