Jedna linijka w pliku robots.txt potrafi zniknąć całą stronę z Google. Brzmi jak przesada?
Sam widziałem firmowe witryny, które po przenosinach z testowego serwera traciły cały ruch z wyszukiwarki. Nikt nie usunął blokady dla robotów. To pierwsze miejsce, które sprawdzam, gdy nowy klient mówi „strona jest, a w Google jej nie ma”.
Krótka odpowiedź: robots.txt to mały plik tekstowy w głównym katalogu domeny, który mówi robotom Google, których adresów NIE odwiedzać. Źle ustawiony potrafi wypchnąć całą stronę z wyników wyszukiwania. Jedna linijka za dużo kosztuje firmę widoczność w Google.
W tym tekście pokażę Ci, czym jest ten plik i jak działa. Dowiesz się też, jak w 2 minuty sprawdzić, czy przypadkiem nie blokujesz własnej strony. Bez serwerowego żargonu - tak, żebyś rozumiał, co się dzieje pod maską.
Spis treści
Czym jest robots.txt i jak działa
robots.txt to zwykły plik tekstowy leżący w głównym katalogu domeny. Znajdziesz go zawsze pod adresem twojadomena.pl/robots.txt. To pierwsze miejsce, które odwiedza Googlebot, zanim zacznie czytać Twoją stronę.
Plik działa jak instrukcja dla robotów indeksujących. Mówi im, które adresy mogą odwiedzać, a które mają omijać.
Robi to za pomocą kilku prostych dyrektyw.
- User-agent: wskazuje, do którego robota mówisz (np.
Googlebotalbo*dla wszystkich). - Disallow: blokuje dostęp do wskazanego adresu lub katalogu.
- Allow: robi wyjątek i wpuszcza robota do konkretnego adresu mimo blokady.
- Sitemap: podpowiada robotom, gdzie leży mapa strony XML.
Po co to wszystko? Roboty mają ograniczony tak zwany crawl budget, czyli liczbę podstron, które odwiedzą za jednym razem.
Sensownie ustawiony robots.txt kieruje ich uwagę na ważne treści, a nie na koszyk czy panel logowania.
Wskazówka praktyczna: robots.txt to publiczny plik. Każdy może go zobaczyć. Nie wpisuj tam ścieżek do wrażliwych folderów, które chcesz ukryć. Blokada nie chroni danych - tylko sugeruje robotom, gdzie nie zaglądać.
Najczęstszy błąd: jak jedną linijką blokujesz całą stronę
Najgroźniejszy wpis w tym pliku wygląda niewinnie. To dwie linijki, które blokują dostęp robotom do całej witryny.
User-agent: *
Disallow: /Ten zapis mówi: „każdy robot, nie odwiedzaj niczego”. Ukośnik po dyrektywie disallow oznacza cały katalog domeny.
Efekt? Google przestaje odwiedzać Twoje podstrony, a po jakimś czasie znikają one z wyników wyszukiwania.
Skąd się to bierze? Najczęściej z przenosin strony. Wersja testowa albo deweloperska celowo ma blokadę, żeby Google jej nie indeksował. Problem zaczyna się, gdy ktoś przenosi stronę na produkcję i zapomina tę linijkę usunąć.
W WordPressie jest jeszcze jedna pułapka. W ustawieniach czytania istnieje opcja „Proszę nie indeksować tej witryny”. Po jej zaznaczeniu WordPress sam dokłada blokadę.
To częsta przyczyna, dla której strona nie pojawia się w Google mimo poprawnej treści.
Wskazówka praktyczna: po każdym przeniesieniu strony na docelowy serwer wejdź na twojadomena.pl/robots.txt. Jeśli widzisz Disallow: / bez żadnego doprecyzowania, to pierwsza rzecz do naprawy.
robots.txt a noindex - czym się różnią
Wiele osób myli te dwa mechanizmy. Działają inaczej i służą do czego innego.
Różnica jest prosta, gdy zapamiętasz jedno zdanie.
- robots.txt (Disallow) mówi „nie odwiedzaj tego adresu”.
- noindex (meta tag) mówi „odwiedź, ale nie pokazuj mnie w wynikach”.
Tu kryje się pułapka. Jeśli zablokujesz adres w tym pliku, robot nie wejdzie na stronę i nie zobaczy tagu noindex. A bez tej informacji Google i tak może pokazać adres w wynikach - z dopiskiem, że opis jest niedostępny.
Zablokowana strona potrafi się zaindeksować mimo blokady.
Wniosek jest praktyczny. Chcesz całkowicie ukryć podstronę przed wynikami wyszukiwania?
Użyj meta tagu noindex i NIE blokuj jej w tym pliku. Robot musi wejść na stronę, żeby ten tag odczytać.
Wskazówka praktyczna: robots.txt nadaje się do blokowania całych sekcji technicznych - koszyka, panelu czy filtrów. Z kolei noindex pasuje do pojedynczych stron, których nie chcesz w Google, jak regulamin czy podziękowanie za formularz.
Jak sprawdzić robots.txt swojej strony w 2 minuty
Nie musisz logować się na serwer. Sprawdzenie tego pliku zajmuje dosłownie chwilę i nie wymaga żadnych narzędzi.
- Wpisz w przeglądarce
twojadomena.pl/robots.txti naciśnij Enter. - Przeczytaj zawartość. Szukasz wpisu
Disallow: /, który blokuje wszystko. - Sprawdź, czy jest linijka
Sitemap:z adresem Twojej mapy strony.
Druga metoda jest dokładniejsza. Google Search Console ma wbudowany tester tego pliku. Pokaże Ci, czy konkretny adres jest zablokowany dla Googlebota i która dyrektywa za to odpowiada. Zasady działania pliku opisuje też oficjalna dokumentacja Google Search Central.
Przy okazji warto sprawdzić linijkę z mapą strony. robots.txt powinien wskazywać robotom, gdzie leży mapa strony XML / sitemap. Dzięki temu Google szybciej znajduje wszystkie podstrony.
Wskazówka praktyczna: jeśli tester w Search Console pokazuje blokadę ważnej strony, nie panikuj. Zwykle wystarczy usunąć jedną dyrektywę disallow i poprosić Google o ponowne sprawdzenie pliku.
robots.txt w WordPress - jak go ustawić
WordPress ma swoją specyfikę. Domyślnie generuje wirtualny plik - czyli taki, którego nie ma fizycznie na serwerze. WordPress tworzy go w locie, gdy robot o niego prosi.
To oznacza, że nie znajdziesz go przez FTP w folderze ze stroną. Żeby go edytować, masz dwie wygodne drogi.
- Wtyczka SEO (Rank Math, Yoast czy nasza wtyczka) ma sekcję do jego edycji z poziomu panelu.
- Ustawienia czytania w panelu - tu pilnuj, żeby opcja „nie indeksuj witryny” była ODZNACZONA na działającej stronie.
Większość wtyczek SEO automatycznie dokłada do tego pliku dyrektywę Sitemap: z adresem mapy strony. To dobra praktyka, bo robot od razu wie, gdzie szukać pełnej listy podstron. Jeśli edytujesz plik ręcznie, dopisz tę linijkę samodzielnie.
Wskazówka praktyczna: nie kopiuj cudzego pliku „na ślepo”. Konfiguracja zależy od struktury Twojej strony. Źle przepisany plik z innej witryny potrafi zablokować coś, co u Ciebie powinno być widoczne.
Konfigurację tego pliku, sitemap i indeksowania ustawiamy przy budowie i opiece nad stroną. Ta technika nie musi Ci spędzać snu z powiek.
Podsumowanie - robots.txt pod kontrolą
Ten plik to mały tekst o ogromnej sile. Jedna dyrektywa decyduje o tym, czy Google odwiedza Twoją stronę, czy ją omija. Oto, co warto zapamiętać.
- robots.txt leży zawsze pod adresem domena.pl/robots.txt i mówi robotom, czego nie odwiedzać.
- Wpis Disallow: / blokuje całą stronę - to najczęstsza przyczyna nagłej utraty widoczności po przenosinach.
- robots.txt to nie noindex - do ukrywania pojedynczych stron używaj meta tagu, nie blokady.
- Sprawdzisz plik w 2 minuty przez przeglądarkę lub tester w Google Search Console.
Jeśli Twoja firmowa strona dziwnie zniknęła z Google albo dopiero ją budujesz - zajmę się tym. Od ponad 5 lat prowadzę strony dla firm w Garwolinie i okolicy. Poprawny plik to dla mnie podstawa, nie dodatek.
Często zadawane pytania
Co to jest plik robots.txt i do czego służy?
To plik tekstowy w głównym katalogu domeny. Służy do sterowania robotami indeksującymi - mówi im, których adresów na Twojej stronie nie odwiedzać. Pomaga oszczędzać crawl budget i kierować uwagę Google na ważne treści.
Czy każda strona musi mieć plik robots.txt?
Nie musi, ale warto go mieć. Bez tego pliku Google indeksuje wszystko, co znajdzie. Plik daje Ci kontrolę nad tym, co roboty odwiedzają, i pozwala wskazać im mapę strony przez dyrektywę Sitemap.
Jak sprawdzić plik robots.txt swojej strony?
Wpisz w przeglądarce adres twojadomena.pl/robots.txt - zobaczysz zawartość pliku. Dla dokładniejszej diagnozy użyj testera w Google Search Console, który pokaże, czy konkretny adres jest zablokowany dla Googlebota.
Jak edytować robots.txt w WordPress?
WordPress generuje wirtualny robots.txt, którego nie ma fizycznie na serwerze. Najprościej edytujesz go przez wtyczkę SEO (Rank Math, Yoast), która ma do tego osobną sekcję w panelu. Pilnuj też, by w ustawieniach czytania opcja blokady indeksowania była odznaczona.
Czym różni się robots.txt od noindex?
Plik mówi robotowi „nie odwiedzaj tego adresu”, a noindex mówi „odwiedź, ale nie pokazuj w wynikach”. Do całkowitego ukrycia strony użyj noindex i nie blokuj jej w tym pliku. Inaczej robot nie wejdzie na stronę i nie odczyta tagu noindex.
Dlaczego moja strona jest zablokowana przez robots.txt?
Najczęściej winna jest dyrektywa Disallow: / pozostawiona po przenosinach z serwera testowego. W WordPressie przyczyną bywa zaznaczona opcja „nie indeksuj witryny” w ustawieniach czytania. Sprawdź plik pod adresem domena.pl/robots.txt i usuń blokadę, jeśli ją tam znajdziesz.