Skapa en Robots.txt- fil

Skapa en robots.txt- fil - Del 4

robots.txt-file- Google Webmaster- seo

Vad är en robots.txt fil

Robots.txt- fil är en textfil som placeras på en webbplats och berättar för sökmotorer vilka delar av webbplatsen som är tillgängliga för sökmotorer och vilka delar av webbplatsen som inte är tillgängliga.

Roboten.txt- filen betyder inte att sökmotorerna borde följa reglerna i. Ibland följer sökmotorerna inte dessa regler. Men robots.txt-filen är ett av sätten som sökmotorer kan komma in på webbplatsen.

Detta är mycket viktigt för webbplatser eftersom sökmotorer besöker webbplatsen om och om igen vilka delar av webbplatsen som har åtkomst och vilka delar av webbplatsen som inte har åtkomst och ibland känslig information på webbplatsen. Det finns vissa som sökmotorer inte bör ha tillgång till till, och ett sätt att kontrollera åtkomst är att använda en robots.txt-fil.

 

Robots.txt filstruktur

Robots.txt-filstrukturen är mycket enkel och flexibel samtidigt. Roboten.txt-filen består av en user agents och disallowed filer och kataloger. Faktum är att den här filen är som följer:

 

User-agent:

 

Disallow:

 

Med User-agent kan sökrobotar som har åtkomst till webbplatsen identifieras.

 

Disallow kan användas för att ange en lista över filer eller kataloger som vi inte vill att sökmotorer ska få åtkomst till.

Några exempel på robots.txt-filer

Blockera sökmotors sökrobotar från att komma åt allt innehåll på webbplatsen

 

User-agent: *

 

Disallow: /

 

Blockera sökmotors sökrobotar från att komma åt en viss katalog

 

User-agent: Googlebot

 

Disallow: /no-google/

 

Blockera sökmotorer sökrobotar från att komma åt en viss sida

 

User-agent: Googlebot

 

Disallow: /no-google/blocked-page.html

 

Sitemap-parametrar

 

User-agent: *

 

Disallow:

 

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

 

Lägg till robots.txt-fil i Googles verktyg för webbansvariga

För att lägga till en robots.txt-fil i Googles verktyg för webbansvariga kan du göra följande:

Logga först in på Google Webmaster Tools med ditt konto och klicka på undermenyn Tester för robots.txt från genomsökningsmenyn.

I redigeraren som visas på höger sida av skärmen kan du ange innehållet i robots.txt-filen och sedan klicka på knappen Skicka.

När innehållet i robots.txt-filen har skickats till Googles verktyg för webbansvariga visas det uppdaterade innehållet efter några minuter.

 

robots.txt-file- Google Webmaster tools

 

Testa begränsade webbadresser i robots.txt-filen

För att testa vilka filer eller kataloger som är begränsade till robots.txt-filen kan du använda Google Webmaster Tester som visas nedan:

 

robots.txt-file- Google Webmaster

Leave a Reply

Handledningar Vad vill du läsa om ?