Za każdym razem, gdy pomyślę sobie o Googlebocie, widzę małego, inteligentnego robota typu Wall-E, który przyspiesza poszukiwanie i indeksowanie informacji we wszystkich zakątkach nieznanych jeszcze światów.
Zawsze trochę rozczarowuje fakt, że Googlebot to „tylko” program komputerowy napisany przez Google, który indeksuje sieć i dodaje strony do indeksu.
Googlebot kataloguje strony internetowe za pomocą linków. Znajduje i odczytuje nową i zaktualizowaną zawartość i sugeruje, co należy dodać do indeksu. Indeks jest oczywiście mózgiem Google’a. W tym miejscu znajduje się cała wiedza.
Google wykorzystuje mnóstwo komputerów do wysyłania swoich „robotów” do każdego zakątka sieci, tak aby znaleźć różne strony i zobaczyć, co na nich jest.
Jak Googlebot trafia na naszą stronę?
Etap pierwszy: Googlebot śledzi linki prowadzące do jakiejś konkretnej strony internetowej. Przeszukuje domeny, które poznał wcześniej i śledzi adresy URL prowadzące „na zewnątrz”. Im adres URL jest bardziej widoczny, tym bot szybciej i łatwiej go zauważa. Im więcej widocznych linków posiada nasza strona, tym szybciej zostanie zlokalizowana i odwiedzona przez Googlebota.
Linkowanie również ma wpływ na pozycjonowanie strony.
Jak działa Googlebot?
Kiedy Googlebot trafi na naszą stronę internetową, zaczyna drugi etap. Teraz analizuje witrynę i odpowiednio ją klasyfikuje. Wybiera słowa kluczowe, które będą wyświetlane w wynikach wyszukiwania. Czyli to do jakiej kategorii trafi nasza witryna, zależy od nas, od treści jaką na niej umieścimy. Kiedy już strona zostanie poprawnie przeanalizowana przez bota skupia się on na jej zawartości. Dlatego tak ważna jest optymalizacja SEO. Bot przegląda również grafiki – z tego powodu warto zadbać o dostosowanie grafiki do pozycjonowania.
Jak pomóc botowi znaleźć naszą stronę?
Istnieje wiele czynników, które pomagają robotowi Google indeksować naszą stronę. Poniżej przedstawię najistotniejsze.
Atrybuty linków:
Za pomocą atrybutu rel=”nofollow” możesz zaznaczyć linki, które bot powinien ominąć.
Co prawda nie wyklucza to ich całkowicie z indeksowania, aby to zrobić powinieneś zaznaczyć to już bezpośrednio w kodzie źródłowym
<meta name="robots" content="noindex" />
Mapa witryny:
Dokładnie skonstruowania mapy strony jest również skutecznym sposobem na poprawienie pracy Googlebota. Po zweryfikowaniu witryny w konsoli administracyjnej Search Console możemy przesłać mapę strony www, która zawiera wszystkie podstrony, aby powiadomić i ułatwić poruszanie się po niej Googlebotowi.
Instrukcja dla bota:
Możesz również kierować ruchem Googlebota, instruować go za pomocą pliku robots.txt, którego umieszcza się w głównym katalogu domeny. Zawiera instrukcje dla robotów o adresach, które mogą odwiedzić, a których nie.
Zmiana częstotliwości indeksowania:
Na platformie Search Console jest udostępniona funkcja zmiany częstotliwości indeksowania witryny przez Googlebota, ale w przeważającej większości przypadków wartości domyślne są wystarczające i nie musimy zmieniać tych ustawień. Jeśli zależy nam na szybkim zindeskowaniu nowych treści na naszej stronie w wyszukiwarce, to najlepszym sposobem jest skorzystanie z narzędzia Pobierz, jako Google. Więcej informacji można znaleźć w oficjalnej dokumentacji pod adresem:
