Plik robots.txt jest jednym z pierwszych plików, sprawdzanym przez roboty indeksujące witrynę. W pliku tym definiowane są informacje dotyczące części serwisu, których nie chcesz udostępniać robotom.
WAŻNE! Plik „robots.txt” ogranicza dostęp do Twojej strony WWW robotom wyszukiwarek, które przeszukują Internet. Dla przykładu, możesz zabronić indeksowanie całej lub tylko wybranej części Twojej strony WWW! Przykładowo, możesz nie chcieć, aby Twoje prywatne dane pojawiły się w wynikach wyszukiwania Google.
Plik robots.txt dla sklepu internetowego możesz edytować w opcji menu „Konfiguracja” -> „Marketing” -> „Pozycjonowanie”. Aby zmodyfikować jego zawartość:
- Zaloguj się do Panelu sklepu.
- Kliknij tutaj, aby sprawdzić jak się zalogować.
- Przejdź do opcji menu „Konfiguracja” -> „Marketing” -> „Pozycjonowanie”.
- Kliknij zakładkę „Zaawansowane”, która znajduje się po lewej stronie ekranu.
- Na ekranie zostanie wyświetlony formularz, w którym będziesz mógł zdefiniować reguły znajdujące się w pliku robots.txt dla Twojego sklepu.
- Wpisz reguły dot. indeksowania, które mają obowiązywać w Twoim sklepie internetowym i kliknij przycisk „Zapisz”. Podczas uzupełniania reguł możesz skorzystać z poniższych przykładów.
Wykluczenie całego serwisu z procesu indeksowania:
User-agent: *
Disallow: /
Wykluczenie części serwisu z procesu indeksowania:
User-agent: *
Disallow: /katalog1/
Disallow: /katalog2/
Wykluczenie całego serwisu z procesu indeksowania przez robota Google:
User-agent: Googlebot
Disallow: /
Jeżeli chcesz, aby roboty wyszukiwarek miały dostęp do całego serwisu, wprowadź poniższy zapis:
User-agent: *
Disallow: