fh wrote:
> Tjah Mange ting kan laves på flere måder, også meta:
>
> Expires er udløbsdato, man kan så tilbagedatere, for at tricke søgerobotten
> til at tro, at siden er forældet, f. eks.:
>
> <META HTTP-EQUIV="Expires" CONTENT="Mon, 01 Jan 1998 00:00:00 GMT">
>
> Men det er nok mere korrekt at bevæge sig over mod de koder, der handler om
> emnet:
>
> Cache kan også skrives således:
>
> <META HTTP-EQUIV="Pragma" CONTENT="no-cache">
> <META HTTP-EQUIV="Cache-Control" CONTENT="no-store">
>
> Denne er også gangbar, ved kombination med de to ovenstående er man godt
> garderet:
>
> <META NAME="ROBOTS" CONTENT="NOARCHIVE">
>
> En robots.txt giver robotterne besked om at springe webstedet over. Skriv
> følgende i notepad:
>
> User-Agent: *
> Disallow: /
>
> og døb dokumentet robots.txt, og læg det i roden på dit webhotel
>
> Mere kan læses her:
http://www.robotstxt.org/wc/norobots.html
Lille opfølgning til det med crawler-bots:
Man bør benytte robots.txt til at kontrollere søgemaskinernes crawlere
med, da META-tag metoden ikke bliver understøttet af dem alle og at man
derfor nødvendigvis ikke opnår den ønskede effekt.
Endvidere hvis din hjemmeside ligger på flere maskiner, så er det en
smart ide at placere robots.txt filen på samtlige servere i roden af dit
webhotel.
Mvh
Casper