---

Hej...

Håber der er et par kvikke hoveder der kan hjælpe mig på vej.
Jeg har et website og der benytter jeg denne robots.txt:

User-agent: *

Disallow: /admin
Disallow: /app
Disallow: /code
Disallow: /gfx
Disallow: /inc
Disallow: /widescreen.asp
Disallow: /avisprogram.asp

Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
/default.asp?k=0 pg lign. sider.
Andre søgemaskiner holder sig til forsiden.
Så 2 ting...
Hvordan får jeg Yahoo til at holde op med det?

Eller efter lidt overvejelse: hvordan får jeg Yahoo og de andre til at
indeksere forsiden OG kun sider der ser såleedes her ud:
/default.asp?f=xxxx (hvor xxxx er tal fra 0001 og opefter...)

Pft.
Thrane

---

Thrane skrev:

> Hvordan får jeg Yahoo til at holde op med det?

Der er enkelte søgemaskiner der er fuldstændig
ligeglad med hvad du har skrevet i din robots.txt,
men om Yahoo er en af dem, husker jeg ikke.

> Eller efter lidt overvejelse: hvordan får jeg Yahoo
> og de andre til at indeksere forsiden OG kun sider
> der ser således her ud:

Jeg tror ikke på at du kan styre hvordan de opskure
søgemaskiner søger - du må blot koncentrere dig om
dem der gør det ordentligt.

--
Allan Vebel
http://html-faq.dk

---

Allan Vebel skrev:

> Der er enkelte søgemaskiner der er fuldstændig
> ligeglad med hvad du har skrevet i din robots.txt,

Det er vist meget få - eller små - søgemaskiner.

> men om Yahoo er en af dem, husker jeg ikke.

Det er Yahoo ikke. Alle større søgemaskiner følger robots.txt-
standarden - det ville være tåbeligt at gøre andet (da søgemaskinen
udover badwill så risikerer at blive blokeret på anden vis).
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

---

"Jens Gyldenkærne Clausen" <jens@gyros.invalid> wrote in message
news:Xns987864CB92220jcdmfdk@gyrosmod.cybercity.dk...
> Allan Vebel skrev:
>
>> Der er enkelte søgemaskiner der er fuldstændig
>> ligeglad med hvad du har skrevet i din robots.txt,
>
> Det er vist meget få - eller små - søgemaskiner.
>
>> men om Yahoo er en af dem, husker jeg ikke.
>
> Det er Yahoo ikke. Alle større søgemaskiner følger robots.txt-
> standarden - det ville være tåbeligt at gøre andet (da søgemaskinen
> udover badwill så risikerer at blive blokeret på anden vis).
> --
> Jens Gyldenkærne Clausen
> Svar venligst under det du citerer, og citer kun det der er
> nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
> hvordan på http://usenet.dk/netikette/citatteknik.html

Men Yahoo har netop indekseret videre fra forsiden?

/Thrane

---

Thrane skrev:

>> Det er Yahoo ikke. Alle større søgemaskiner følger
>> robots.txt- standarden - det ville være tåbeligt at gøre
>> andet (da søgemaskinen udover badwill så risikerer at blive
>> blokeret på anden vis).

> Men Yahoo har netop indekseret videre fra forsiden?

Det er fordi du ikke har bedt den om at lade være (jf mit andet
svar).

Du har bedt om at Yahoo skal gå uden om specifikke underkataloger,
så hvis adresser herunder bliver indekseret, er der noget galt. Men
der er ikke noget forkert i at Yahoo indekserer forskellige sider i
roden når du ikke har lavet disallow dér.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

---

Thrane skrev:

> User-agent: *
>
> Disallow: /admin
> Disallow: /app
> Disallow: /code
> Disallow: /gfx
> Disallow: /inc
> Disallow: /widescreen.asp
> Disallow: /avisprogram.asp

Herover har du ikke nævnt default.asp eller roden.

> Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
> /default.asp?k=0 pg lign. sider.

- så jeg forstår ikke at du undrer dig over indekseringen af
default.asp i roden.


> Hvordan får jeg Yahoo til at holde op med det?

Prøv med noindex:
<http://help.yahoo.com/help/us/ysearch/slurp/slurp-04.html>


> Eller efter lidt overvejelse: hvordan får jeg Yahoo og de
> andre til at indeksere forsiden OG kun sider der ser såleedes
> her ud: /default.asp?f=xxxx (hvor xxxx er tal fra 0001 og
> opefter...)

Lad asp-koden generere en noindex-kode baseret på querystringen
(sådan så du har noindex på de sider du ikke vil have indekseret).

Se også mulighederne på google her:
<http://www.google.com/intl/da/remove.html>
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

---

"Jens Gyldenkærne Clausen" <jens@gyros.invalid> wrote in message
news:Xns987865A1D81Djcdmfdk@gyrosmod.cybercity.dk...

>
> Herover har du ikke nævnt default.asp eller roden.
>
>> Nu ser jeg i statstikken at Yahoo alligevel indeksere f.eks.
>> /default.asp?k=0 pg lign. sider.
>
> - så jeg forstår ikke at du undrer dig over indekseringen af
> default.asp i roden.
>
>
>> Hvordan får jeg Yahoo til at holde op med det?
>
> Prøv med noindex:
> <http://help.yahoo.com/help/us/ysearch/slurp/slurp-04.html>
>
>
>> Eller efter lidt overvejelse: hvordan får jeg Yahoo og de
>> andre til at indeksere forsiden OG kun sider der ser såleedes
>> her ud: /default.asp?f=xxxx (hvor xxxx er tal fra 0001 og
>> opefter...)
>
> Lad asp-koden generere en noindex-kode baseret på querystringen
> (sådan så du har noindex på de sider du ikke vil have indekseret).
>
> Se også mulighederne på google her:
> <http://www.google.com/intl/da/remove.html>
> --
> Jens Gyldenkærne Clausen
> Svar venligst under det du citerer, og citer kun det der er
> nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
> hvordan på http://usenet.dk/netikette/citatteknik.html

Tak, Jens...
Vil kigge lidt på det!

Måske du vil give et godt råd...
Siden er en biografside.
Vil du anbefale at man indeksere samtlige sider?
Der er jo ret stor udskiftning i siderne med nye film og der skulle jo nødig
ligge "gamle" siderne i søgemaskinerne...

/Thrane

---

Thrane skrev:

> Måske du vil give et godt råd...
> Siden er en biografside.
> Vil du anbefale at man indeksere samtlige sider?
> Der er jo ret stor udskiftning i siderne med nye film og der
> skulle jo nødig ligge "gamle" siderne i søgemaskinerne...

Jeg ville ikke tage det så tungt. Men du kan evt. sørge for at
søgemaskinen ikke må vise cachede sider (noarchive)

NB: Læs gerne min signatur.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html