Tak, dobrze przeczytaliście. Jak uniemożliwić Google indeksowanie strony internetowej? To pytanie może was zaskoczyć. Tym bardziej, że pytamy my — Redacteur.com, platforma do tworzenia treści którego misją jest dostarczanie tekstów wysokiej jakości i zoptymalizowanych pod SEO, aby... dobre pozycjonowanie waszych stron internetowych!
Pozycjonowanie to klucz, aby strona internetowa pojawiała się wysoko w wynikach wyszukiwania. Ale czasami konieczne może być zablokowanie indeksowania niektórych treści.
W jakich przypadkach? I jak to zrobić? Opowiemy o wszystkich wskazówkach, które warto znać, aby uniemożliwić Google indeksowanie strony internetowej, oraz o błędach, których należy unikać. Naszym priorytetem jest przede wszystkim to, aby posiadaliście wydajną i skuteczną stronę internetową.
Jak zablokować dostęp Google do stron twojej witryny?
Istnieje kilka metod blokowania dostępu stron przed Googlebotem i innymi robotami. Jakie one są i jakie mają ograniczenia?
Korzystanie z pliku robots.txt
Plik robots.txt na stronie służy do kierowania robotami wyszukiwarek. Instrukcje zawarte w tym pliku informują je, czy strony serwisu mają być crawlowane, czy nie. Aby wskazać, że strona nie powinna być indeksowana, należy użyć instrukcji „Disallow”.
Plik robots.txt ma jednak ograniczenia. Jest przydatny przede wszystkim do uniknięcia przeciążenia serwera żądaniami wyszukiwarek. Nie gwarantuje jednak w 100% że strona nie zostanie zindeksowana. Instrukcje zawarte w pliku robots.txt są interpretowane przez roboty jako wskazówki, a nie obowiązkowe poleceniaNiektóre boty mogą ich nie przestrzegać.
Ponadto, Twój adres URL może być zamieszczony w innych miejscach w interneciejeśli wyszukiwarki natrafią na nią gdzie indziej, zaindeksują ją. Jeśli chcesz, aby twoja strona przestała się pojawiać w wynikach wyszukiwania lub chcesz chronić wrażliwe informacje, powinieneś wybrać inne, skuteczniejsze metody.
Użycie meta tagu noindex
Znaczniki meta to elementy HTML, które dostarczają informacji o stronach internetowych. Są umieszczane w sekcji "head" strony HTML.
Znacznik meta „noindex” informuje Google, żeby nie indeksowało strony. To rozwiązanie nie wymaga specjalnych umiejętności technicznych. Należy dodać linię kodu następująco:
<meta name="robots" content="noindex">Aby ta instrukcja została odczytana, strona nie może być zablokowana przez plik robots.txt. Możesz przyspieszyć proces dezindeksacji z poziomu Search Console, wysyłając do Google żądanie crawlowania.
Uwaga, ta metoda ma jednak też ograniczenia: znacznik meta „noindex” nie powstrzymuje robotów przed przeszukaniem stronyOna jedynie zabrania im uwzględniać jej w wynikach wyszukiwania.
Inne znaczniki meta można dodać, żeby wzmocnić skuteczność dezindeksacji: „noimageindex” nakazuje, by roboty nie przeszukiwały obrazów, „noarchive” prosi roboty, by nie przechowywały stron w archiwum i „nosnippet” uniemożliwia wyświetlanie meta opisu.
Użytkownicy WordPressa, którzy nie mają dostępu do kodu swoich stron, muszą użyć wtyczki, takiej jak wtyczka Yoast, aby dezindeksować swoje treści. Wystarczy odpowiedzieć „Nie” na pytanie „Czy zezwolić wyszukiwarkom na wyświetlanie treści w wynikach wyszukiwania?”.
Ochrona dostępu do wybranych stron za pomocą htaccess
Aby uniemożliwić Google dostęp do stron i ich indeksowanie, zablokować wyświetlanie adresów URL za pomocą haseł jest to najskuteczniejsza metoda.
Musisz zablokować dostęp do tych stronograniczając ich wyświetlanie np. przez hasło przy użyciu pliku .htaccess.
Opcja polega na zmodyfikować plik konfiguracyjny .htaccess. Używany przez serwery Apache, ten plik służy do stosowania reguł dla katalogów. Pozwala na przykład chronić treści hasłem. Jest też niezbędny do przekierowywania wartościowych backlinków ze starej strony na nową. Jednak to plik wrażliwy w obsłudze. Błąd może spowodować niedostępność całej witryny.
Aby ułatwić dostęp i nawigację użytkownikom oraz ograniczyć ryzyko nieprawidłowej operacji z plikiem .htaccess, możesz także utworzyć prywatną strefę, dostępne po podaniu identyfikatora i hasła.
Czy można uczynić strony całkowicie niedostępnymi?
Najbardziej radykalnym rozwiązaniem, aby uczynić swoje strony internetowe niedostępnymi w Google, jest… usunąć je. Ten proces może być długi. Nie chodzi jedynie o usunięcie strony z Twojej witryny, lecz o usunąć jej adres URL zindeksowanie przez wyszukiwarki. Jeśli usuniesz tylko stronę z witryny, spowodujesz błąd 404, którego Googlebot i inne roboty nie lubią. Gdy usuwasz stronę, musisz przekierować jej adres URL za pomocą przekierowania 301. Uwaga: nawet jeśli strona zniknie z Google, może nadal być potencjalnie dostępna w archiwach.
Google oferuje narzędzie do usuwania adresów URL, które pomaga dezindeksować strony. Jednak blokada jest tylko tymczasowa, ograniczona do 180 dni.
Aby trwale usunąć adres URL, musisz użyćnarzędzia do usuwania przestarzałych treści. Zanim wypełnisz formularz zgłoszeniowy, musisz upewnić się, że wcześniej wykonałeś jedną z następujących czynności:
- Usuwanie strony z witryny
- Zablokować dostęp do treści za pomocą hasła lub użyć meta tagu noindex.
Ale przede wszystkim strona nie może być zablokowana za pomocą pliku robots.txt.
Jeśli wniosek zostanie rozpatrzony pozytywnie, Twoja strona zostanie trwale usunięta z Google.
Ta procedura nie uniemożliwia innym wyszukiwarkom przeszukiwania i indeksowania Twojej strony internetowej!
Błędy do uniknięcia przy blokowaniu indeksowania stron przez Google
Postępowałeś zgodnie z zasadami, aby wyłączyć indeksowanie swojej strony. Mimo to wciąż pojawia się ona w wynikach wyszukiwania Google. Dla wielu twórców treści to marzenie. Dla Ciebie to koszmar. Przypominamy, Żadna metoda nie jest w 100% skuteczna. A może popełniłeś błąd?
Zapomnienie o usunięciu linków wskazujących na zdeindeksowaną stronę
„Link juice” — czyli „sok z linków” po francusku — może być przyczyną o dalszym indeksowaniu Twojej strony, którą chcesz wyłączyć z indeksu. W marketingu cyfrowym im bardziej strona jest trafna i wiarygodna, tym więcej ma „soku”. A im więcej ma „soku”, tym bardziej przyciąga wyszukiwarki.
Tymczasem dobrze wypozycjonowana strona dzieli się swoim „sokiem” z innymi stronami, z którymi jest powiązana za pomocą odnośników. Algorytm uważa bowiem, że strona polecana przez stronę wysokiej jakości jest z definicji istotna.
I właśnie wtedy cała Twoja praca związana z wyłączeniem strony z indeksu może pójść na marne, jeśli zapomniałeś usunąć linków wewnętrznych prowadzących do strony, którą chcesz usunąć z indeksu. Bo ta ostatnia nadal będzie korzystać z „soku” jakościowych stron, z którymi jest powiązana, a zatem… nadal będzie indeksowana przez wyszukiwarki.
Chcesz uniemożliwić Googlebotowi i innym robotom indeksowanie Twojej strony? Powinieneś spróbować usunąć ze swojej witryny wszystkie linki wewnętrzne prowadzące do strony, którą chcesz wyłączyć z indeksu.
Idealnie byłoby też zidentyfikować backlinki prowadzące do Twojej strony i poprosić o ich usunięcie. Może to jednak być trudniejsze.
Jeśli ze względów nawigacyjnych chcesz wyłączyć stronę z indeksu, ale zachować linki do niej (np. dla strony z informacjami prawnymi), możesz dodać do odnośnika atrybut „nofollow”, aby ograniczyć przekazywanie soku SEO.
Zapomnienie o usunięciu przekierowań pochodzących z zdeindeksowanej strony
Twoja wyłączona z indeksu strona zawiera linki prowadzące do innych treści wewnętrznych i zewnętrznych? Zasada „link juice” działa w ten sam sposób. Strona źródłowa korzysta z autorytetu stron, do których linkuje. I często nie wybierałeś linków przypadkowo. Prowadzą one do stron o wysokiej jakości lub uznanych serwisów autorytarnych z dużym „sokiem”. Więc jeśli zapomniałeś usunąć linki ze swoich wyłączonych stron, mogą one nadal być indeksowane przez Google za pośrednictwem stron docelowych tych linków.
Aby Twoja strona usunięta z indeksu była jak najmniej widoczna w sieci, musisz pomyśleć o usunięciu wszystkich linków prowadzących do innych treści.
Jeśli nie chcesz usuwać linków prowadzących do tej strony, możesz dodać atrybut „nofollow” do linku, aby wskazać wyszukiwarce, że nie chcesz przekazywać stronie docelowej autorytetu linków.
Pomylić stronę
Nie mylić strony, gdy modyfikujesz plik robots.txt lub używasz metatagów: to oczywiste, powiecie. Jednak gdy zawartość serwisu jest obszerna, może być łatwo zgubić się w strukturze katalogówWstawienie meta tagu „noindex” w sekcji head strony głównej byłoby szkodliwe dla pozycjonowania Twojej witryny. Trochę zdrowego rozsądku pomaga unikać błędów.
Istnieje kilka metod uniemożliwienia Google indeksowania strony. Jednak Nie wszystkie metody są w 100% skuteczne. Blokowanie lub całkowite usuwanie adresu URL nigdy nie daje gwarancji. Każda metoda ma swoje ograniczenia, a błędy i przeoczenia są nieuniknione, więc poświęć czas, gdy chcesz usunąć strony z indeksu Google.
Dlaczego chcieć zablokować indeksowanie strony przez Google?
Blokowanie stron niskiej jakości
Stare strony w Twoim serwisie mogą być przestarzałe, stracić na znaczeniu lub zawierać treści podobne do innych stron.
Te strony nie pasują już do wizerunku, który chcesz budować o sobie i swojej działalności. Pogarszają doświadczenie użytkownika i są karane przez Google. Blokując niektóre strony, kierujesz swoich odwiedzających i wyszukiwarki na treści o wysokiej wartości.
Zapewnienie poufności danych
Możesz chcieć ograniczyć dostęp do niektórych treści.
To dotyczy, jeśli oferujesz uprzywilejowane treści niektórym klientom, którzy wykupili pakiet premium.
Dotyczy to także, jeśli korzystasz ze swojej strony internetowej do wymiany informacji z partnerami w prywatnych strefach.
Dotyczy wreszcie stron z formularzami, za pomocą których internauci przekazują dane osobowe.
Zarządzanie ruchem indeksowania (crawl budget)
Zablokowanie indeksowania stron przez Google pomaga w zarządzać ruchem indeksowaniaTo może zapobiec przeciążeniu serwera przez liczne żądania robotów wyszukiwarek, a także uchronić roboty przed indeksowaniem niepotrzebnych treści.
To tym ważniejsze od czasu aktualizacji Google Helpful Content, która karze tzw. strony „zombie”, te strony, które nie wnoszą wartości dodanej dla internautów.
Nasza porada, jak uniknąć dezindeksowania stron
Istnieje inne rozwiązanie na zastąpienie przestarzałych treści o niskiej wartości: aktualizować teksty, podnieść ich jakość i zoptymalizować ich pozycjonowanie.
Przeredagowanie lub zastąpienie istniejących treści zwiększa wydajność i jakość Twojej strony internetowej, jednocześnie unikając żmudnej pracy związanej z deindeksacją stron.
Aby zoptymalizować swoje treści (artykuły na bloga, karty produktów, treści firmowe…), możesz skorzystać z usług naszych doświadczonych redaktorów dostępnych na platformie redakcyjnej Redacteur.comZ naszymi profesjonalnymi redaktorami masz gwarancję treści wysokiej jakości, aktualnych i zoptymalizowanych, przyciągających zarówno odwiedzających, jak i wyszukiwarki.
Artykuł Jak zapobiec indeksowaniu strony przez Google? pojawia się po raz pierwszy na Redacteur.com.
