/ Forside / Teknologi / Udvikling / HTML / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
HTML
#NavnPoint
molokyle 11184
Klaudi 5506
bentjuul 3377
severino 2040
smorch 1950
strarup 1525
natmaden 1396
scootergr.. 1320
e.c 1150
10  miritdk 1110
Robots.txt !?!
Fra : Leon Hulstroem, Denm~


Dato : 28-06-01 10:17

Hej NG !

jeg har kikket lide på vores statistik på vores website (roadrebel.dk) og så
at vi har en masse 404 efter "robots.txt".

Så har jeg været rundt på diverse "store" sites for at "låne" denne fil, men
de har sgi heller ingen.
Jeg kan forstå på det at det er en txt fil med meta tags, men jeg er ikke
sikker hvordan sådan en fil skal se ud.

Er det bare samme tags som man har i sin "header" ????

Mvh
Leon




 
 
Jesper Stocholm (28-06-2001)
Kommentar
Fra : Jesper Stocholm


Dato : 28-06-01 10:19

"Leon Hulstroem, Denmark" <Leon@mail.dk> wrote in
news:9hescr$a8v$1@news.inet.tele.dk:

> Hej NG !
>
> jeg har kikket lide på vores statistik på vores website (roadrebel.dk)
> og så at vi har en masse 404 efter "robots.txt".
>
> Så har jeg været rundt på diverse "store" sites for at "låne" denne
> fil, men de har sgi heller ingen.
> Jeg kan forstå på det at det er en txt fil med meta tags, men jeg er
> ikke sikker hvordan sådan en fil skal se ud.
>
> Er det bare samme tags som man har i sin "header" ????
>

Se på

http://www.rietta.com/robogen/intro.shtml
- for en introduktion

http://www.robotstxt.org/wc/norobots-rfc.html
- for specifikationen (prøv den - den er faktisk ikke så svær at læse)

http://www.freefind.com/library/howto/robots/
- for eksempler

http://www.tardis.ed.ac.uk/~sxw/robots/check/
- for at checke din fil, når du har lavet den.


og alle links kom frem via en søgning på Google.com efter robots.txt



--
I wrote to George W. Bush - see why at
http://stocholm.dk/emailgeorgewbush.asp

- Jesper Stocholm - http://stocholm.dk

Jesper Stocholm (28-06-2001)
Kommentar
Fra : Jesper Stocholm


Dato : 28-06-01 10:22

Jesper Stocholm <spam@stocholm.dk> wrote in
news:Xns90CE73616795Bspamstocholmdk@192.38.208.81:

> "Leon Hulstroem, Denmark" <Leon@mail.dk> wrote in
> news:9hescr$a8v$1@news.inet.tele.dk:
>
>> Hej NG !
>>
>> jeg har kikket lide på vores statistik på vores website (roadrebel.dk)
>> og så at vi har en masse 404 efter "robots.txt".
>>
>> Så har jeg været rundt på diverse "store" sites for at "låne" denne
>> fil, men de har sgi heller ingen.
>> Jeg kan forstå på det at det er en txt fil med meta tags, men jeg er
>> ikke sikker hvordan sådan en fil skal se ud.
>>
>> Er det bare samme tags som man har i sin "header" ????
>>
>
> og alle links kom frem via en søgning på Google.com efter robots.txt
>

jeg kom til at tænke på, at jeg har spurgt om det samme for noget tid siden
i dk.edb.internet ... se

http://groups.google.com/groups?hl=en&safe=off&ic=1&th=f3ff1fe98434ef16,3
&seekm=Xns907EC53A2B900spamstocholmdk%40192.38.208.81#p

for tråden der kom ud af det (3 indlæg)

--
I wrote to George W. Bush - see why at
http://stocholm.dk/emailgeorgewbush.asp

- Jesper Stocholm - http://stocholm.dk

Leon Hulstroem, Denm~ (29-06-2001)
Kommentar
Fra : Leon Hulstroem, Denm~


Dato : 29-06-01 23:40

<snip>

takker mange gange :)

Mvh Leon



Søg
Reklame
Statistik
Spørgsmål : 177557
Tips : 31968
Nyheder : 719565
Indlæg : 6408882
Brugere : 218888

Månedens bedste
Årets bedste
Sidste års bedste