webfly.pl Programowanie, medytacja i samorozwój

Czym jest plik robots.txt i sitemap.xml większość webmasterów wie. Tym co nie wiedzą ujawnię, że: robots.txt służy do instruowania botów wyszukiwarek (i innych) co im wolno a czego nie. Oczywiście czy te boty będą respektować narzucone im granice to już inna sprawa. Googlebot ponoć jest posłuszny. Dodatkowo w pliku tym możemy wskazać gdzie jest mapa strony, czyli sitemap.xml . Plik robots.txt musi znajdować się w głównym katalogu, czyli być dostępnym pod adresem: http://adres_strony.pl/robots.txt . ...