Tag: robot.txt dosyası nedir

"robots.txt" dosyası, bir web sitesinin kök dizininde bulunan bir metin dosyasıdır. Bu dosya, arama motorlarının (örneğin…