Co to i po co to – wprowadzenie.

Mniej więcej na przełomie lat 1993/1994 wraz z coraz większym natężeniem ruchu crawler’ów, (zwanych też pająkami) na różnych serwerach stron www zdarzały się sytuacje, że indeksowały one treści, które nie były z różnych powodów przeznaczone do rozpowszechniania. Przykładowo strony, które nie były tworzone z koncepcją udostępniania ich zawartości dla ogółu internetowej społeczności, a z różnych względów nie posiadały odpowiednich mechanizmów zabezpieczających. Dodatkową możliwością jest generowanie zbyt dużego ruchu w ramach lokalizacji internetowej, co mogło powodować zwiększone obciążenie serwerów. Wymyślono wówczas sposób na poinformowanie robota, które części serwisów mają pozostać niezindeksowane, omawianym rozwiązaniem jest właśnie plik robots.txt, w nim właśnie podajemy nazwy katalogów do których pająki nie będą zaglądały.

Format pliku – dopuszczalna składnia.

Plik robots.txt umieszczamy na serwerze w głównej lokalizacji do której prowadzi adres URL, i powinien on zawierać linijki, których ogólna składnia jest zgodna z poniższym schematem:

“<field>:<optionalspace><value><optionalspace>”

“<pole>:<opcjonalna-spacja><wartość><opcjonalna-spacja>”

Dozwolone jest umieszczanie komentarzy w treści omawianego pliku, które wpisujemy po standardowym znaku komentarza, zaczęrpniętym z konwencji stosowanej w systemach UNIX’owych czyli “#” (hasza). Wszystkie linijki zaczynające się od tego znaku są ignorowane.

Wpis zaczyna się od dyrektywy “User-agent”, którą poprzedzamy wyrażeniem “Disallow” czyli odmowy dostępu, a kończymy znakami opsiującymi lokalizację dla jakiej roboty mają mieć zabroniony dostęp. Dla podania lokalizacji możemy stosować znak / (ukośnik) aby odnieść się do aktualnej lokalizacji, oraz * (gwiazdka), która daje wieloznaczne podstawienie, czyli zabrania dostępu w ramach wszystkich plików/podkatalogów w naszym katalogu głównym. Przykładowa składnia pliku znajduje się poniżej:

# oto przykład:
User-agent: * #dotyczy wszystkich typów crawler’ów
Disallow: /tmp #zabrania dostępu do katalogu ‘tmp’
Disallow: test.html #zabrania dostępu do pliku ‘test.html

–
Można dla pola ‘User-agent’ zastosować konkretny typ pająka, np. google/msn i w ten sposób jeden z nich nie będzie miał dostępu do naszych plików.

Zakończenie.

Zagadnienie proste jednak wierzę, że znajdzie się kilka osób, dla których to opracowanie stanie się pomocne. Pozdrowienie!

~Michał Kowalski 2008