Najczęściej Zadawane Pytania • Losowy

Czym jest plik robots.txt?

Plik robots.txt kontroluje dostęp wyszukiwarek do strony, umożliwiając lub ograniczając indeksowanie treści. Dowiedz się, jak go skutecznie stworzyć i skonfigurować.

Widoki 822Zaktualizowane 1 anOpublikowano w 15/10/2018przez Cătălin Adrian

Wprowadzenie

Plik robots.txt jest prostym plikiem tekstowym, który jest częścią protokołu wykluczania robotów (REP - Robots Exclusion Protocol). Zawiera instrukcje dla wyszukiwarek dotyczące tego, jak mają uzyskiwać dostęp do strony i ją indeksować. Aby miał skutek, plik robots.txt musi być umieszczony w katalogu głównym strony (na przykład https://domeniu.pl/robots.txt).

Znaczenie pliku robots.txt

Plik robots.txt jest kluczowy dla zarządzania interakcją robotów ze stroną. Istnieje wiele robotów, które mogą agresywnie indeksować stronę, co może wpłynąć na jej wydajność. Używając tego pliku, możesz:

  • Kontroluj dostęp silników wyszukiwania do treści witryny.
  • Pozwala na indeksowanie tylko przez wybrane roboty (np. Google, Bing).
  • Ogranicz dostęp do wrażliwych folderów lub plików.

Przykłady użycia

1. Blokowanie konkretnej wyszukiwarki

Aby zablokować dostęp dla wyszukiwarki Bing (bingbot), dodaj następujące linie do pliku robots.txt:


User-agent: bingbotDisallow: /

Wyjaśnienie:
User-agent: Określa wyszukiwarkę, dla której stosowane są ustawienia.
Disallow: Definiuje sekcje strony, do których robot nie ma dostępu. Symbol / blokuje dostęp do całej strony.

2. Blokowanie wszystkich wyszukiwarek

Aby zablokować wszystkie silniki wyszukiwarek przed dostępem do strony, użyj:


User-agent: *Disallow: /

Wyjaśnienie: Symbol * (wildcard) w polu User-agent dotyczy wszystkich wyszukiwarek, a / blokuje dostęp do całej strony.

3. Zablokowanie dostępu tylko do określonych folderów lub plików

Aby zablokować dostęp do folderu i do konkretnego pliku, skonfiguruj:


User-agent: *Disallow: /blog/Zabroń: /newsletter.php

Wyjaśnienie: Wszystkie wyszukiwarki będą zablokowane przed indeksowaniem folderu /blog/ i pliku newsletter.php.

Tworzenie pliku robots.txt

Aby stworzyć plik robots.txt, możesz użyć generatora online, który umożliwia szybkie i bezbłędne dostosowanie reguł. Przykłady generatorów online można znaleźć w wyszukiwarce: Generator robots.txt.

Po utworzeniu pliku, załaduj go do katalogu głównego strony za pomocą menedżera plików lub klienta FTP.