|
| HTTP protokol problem? Fra : Brian7509 |
Dato : 11-08-02 10:54 |
|
Vi er igang med at programmere en HTTP proxy server, men der opstår
problemer ved kommunikation gennem serveren ved visse sites f.eks.
www.whitehouse.gov og www.fbi.gov
Problemet er at forbindelsen lukkes ned allerede efter at proxy
serveren har sendt 1 tegn til webserveren. Proxyserveren er baseret på
tegn kommunikation, men er det værd at overveje at gøre
kommunikationen linie baseret?.
På forhånd tak for enhver hjælp.
Bobby
| |
Kasper Dupont (11-08-2002)
| Kommentar Fra : Kasper Dupont |
Dato : 11-08-02 11:10 |
|
Brian7509 wrote:
>
> Vi er igang med at programmere en HTTP proxy server, men der opstår
> problemer ved kommunikation gennem serveren ved visse sites f.eks.
> www.whitehouse.gov og www.fbi.gov
>
> Problemet er at forbindelsen lukkes ned allerede efter at proxy
> serveren har sendt 1 tegn til webserveren. Proxyserveren er baseret på
> tegn kommunikation, men er det værd at overveje at gøre
> kommunikationen linie baseret?.
Det kunne lyde som om, der er fejl i deres webserver, eller evt.
deres firewall. Der kunne f.eks. være tale om en doven programmør,
der tænkte: "Hvis jeg kalder read her med en buffer på 4KB, så er
jeg sikker på at få hele GET requesten på en gang."
Hvis dette faktisk er tilfældet har du tre muligheder:
1) Lad være med at kommunikere med fejlbehæftede webservere.
2) Få dem til at rette fejlen på deres webserver.
3) Lav en workaround, det vil sige sørg for at hele din request
bliver sendt i en enkelt TCP pakke. Det vil i de fleste sprog
sige, at du skal sørge for at bruge et enkelt kald til write
(eller hvad funktionen nu hedder).
--
Kasper Dupont -- der bruger for meget tid på usenet.
For sending spam use mailto:razrep@daimi.au.dk
or mailto:mcxumhvenwblvtl@skrammel.yaboo.dk
| |
Sune (11-08-2002)
| Kommentar Fra : Sune |
Dato : 11-08-02 11:22 |
|
On Sun, 11 Aug 2002 12:09:41 +0200, Kasper Dupont
<kasperd@daimi.au.dk> wrote:
>Det kunne lyde som om, der er fejl i deres webserver, eller evt.
>deres firewall.
Mon ikke nærmere at det er en form for DoS protection?
Mvh
Sune
| |
Kasper Dupont (11-08-2002)
| Kommentar Fra : Kasper Dupont |
Dato : 11-08-02 12:39 |
|
Sune wrote:
>
> On Sun, 11 Aug 2002 12:09:41 +0200, Kasper Dupont
> <kasperd@daimi.au.dk> wrote:
>
> >Det kunne lyde som om, der er fejl i deres webserver, eller evt.
> >deres firewall.
>
> Mon ikke nærmere at det er en form for DoS protection?
Det kan da godt være, men derfor er det nu stadigvæk en fejl.
--
Kasper Dupont -- der bruger for meget tid på usenet.
For sending spam use mailto:razrep@daimi.au.dk
or mailto:mcxumhvenwblvtl@skrammel.yaboo.dk
| |
Christian E. Lysel (11-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 11-08-02 14:57 |
|
Kasper Dupont wrote:
> Det kunne lyde som om, der er fejl i deres webserver, eller evt.
> deres firewall. Der kunne f.eks. være tale om en doven programmør,
Jeg tror ikke det er en doven programmør, derimod er den nok et design valg.
Raptor firewall kan også sættes til at droppe smtp forbindelser der
kommer trillende tegn for tegn, dvs. at det er et mennesker der sidder
med telnet og leger.
| |
Kasper Dupont (11-08-2002)
| Kommentar Fra : Kasper Dupont |
Dato : 11-08-02 20:56 |
|
"Christian E. Lysel" wrote:
>
> Kasper Dupont wrote:
> > Det kunne lyde som om, der er fejl i deres webserver, eller evt.
> > deres firewall. Der kunne f.eks. være tale om en doven programmør,
>
> Jeg tror ikke det er en doven programmør, derimod er den nok et design valg.
>
> Raptor firewall kan også sættes til at droppe smtp forbindelser der
> kommer trillende tegn for tegn, dvs. at det er et mennesker der sidder
> med telnet og leger.
Jeg skriver da "telnet ip 25" når jeg vil sende en mail.
Jeg slår først addressen op med "dig -t mx navn". Og telnet
sender da mig bekendt en linie ad gangen, jeg kan da i hvert
fald fint bruge linieeditering, når jeg bruger telnet.
--
Kasper Dupont -- der bruger for meget tid på usenet.
For sending spam use mailto:aaarep@daimi.au.dk
or mailto:mcxumhvenwblvtl@skrammel.yaboo.dk
| |
Christian E. Lysel (11-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 11-08-02 21:05 |
|
Kasper Dupont wrote:
>>Jeg tror ikke det er en doven programmør, derimod er den nok et design valg.
>>
>>Raptor firewall kan også sættes til at droppe smtp forbindelser der
>>kommer trillende tegn for tegn, dvs. at det er et mennesker der sidder
>>med telnet og leger.
> Jeg skriver da "telnet ip 25" når jeg vil sende en mail.
> Jeg slår først addressen op med "dig -t mx navn". Og telnet
Hvorfor ikke med any istedet for mx, vil det sige du ikke kan levere i
hånden til en a-record? :)
> sender da mig bekendt en linie ad gangen, jeg kan da i hvert
> fald fint bruge linieeditering, når jeg bruger telnet.
telnet sender så vidt jeg husker kun en linie ad gangen, dette forhindre
ikke raptor firewallen i at lukke forbindelsen.
| |
Jesper Dybdal (11-08-2002)
| Kommentar Fra : Jesper Dybdal |
Dato : 11-08-02 21:22 |
|
"Christian E. Lysel" <sunsite.dk.nntp@spindelnet.dk> wrote:
>Kasper Dupont wrote:
>>>Jeg tror ikke det er en doven programmør, derimod er den nok et design valg.
>>>
>>>Raptor firewall kan også sættes til at droppe smtp forbindelser der
>>>kommer trillende tegn for tegn, dvs. at det er et mennesker der sidder
>>>med telnet og leger.
>> Jeg skriver da "telnet ip 25" når jeg vil sende en mail.
>> Jeg slår først addressen op med "dig -t mx navn". Og telnet
>
>Hvorfor ikke med any istedet for mx, vil det sige du ikke kan levere i
>hånden til en a-record? :)
Vel fordi det er et MX-opslag han har brug for.
Hvis din lokale navneserver har fx en cachet A- eller NS-post for et navn,
så vil et "any"-opslag kun returnere den/de cachede poster, og du vil
aldrig opdage at der måske også er en MX-post som henviser til en helt
anden server.
Så man skal faktisk bruge et MX-opslag for at sende post det rigtige sted
hen.
Hvis MX-opslaget resulterer i et svar der siger at der ikke er nogen
MX-poster, bør man naturligvis prøve et A-opslag og i givet fald levere
til den adresse.
Men det kan altså ikke klares med et "any"-opslag.
--
Jesper Dybdal, Denmark.
http://www.dybdal.dk (in Danish).
| |
Christian E. Lysel (11-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 11-08-02 23:02 |
|
Jesper Dybdal wrote:
>>Hvorfor ikke med any istedet for mx, vil det sige du ikke kan levere i
>>hånden til en a-record? :)
> Vel fordi det er et MX-opslag han har brug for.
Nogle sites bruger ikke MX records, men vælger at bruge A records.
Jeg har således set nogle ignorere prioritering af MX records, men blot
brugte RR af A records.
> Hvis din lokale navneserver har fx en cachet A- eller NS-post for et navn,
> så vil et "any"-opslag kun returnere den/de cachede poster, og du vil
Dette er ikke sikkert, typisk giver den kun NS records, også selvom A-
og MX-records lige er blivet cachet. Men så vidt jeg kan se er dette
afhændig af DNS implementationen.
> aldrig opdage at der måske også er en MX-post som henviser til en helt
> anden server.
> Men det kan altså ikke klares med et "any"-opslag.
Hvis du spørger en cache, der er doven, får du ikke svaret. Spørger du
den primære nameserver får du det rigtige svar.
| |
Jesper Dybdal (12-08-2002)
| Kommentar Fra : Jesper Dybdal |
Dato : 12-08-02 10:22 |
|
"Christian E. Lysel" <sunsite.dk.nntp@spindelnet.dk> wrote:
>Jesper Dybdal wrote:
>> Men det kan altså ikke klares med et "any"-opslag.
>
>Hvis du spørger en cache, der er doven, får du ikke svaret.
Efter de begreber er BIND "doven", og så er der ikke meget mening i at
satse på at en given server ikke er "doven".
>Spørger du
>den primære nameserver får du det rigtige svar.
Ja - men så skal jeg jo først slå den primære server op.
Dvs. et NS-opslag efterfulgt af et any-opslag.
Jeg finder det mere mere naturligt at lave et MX-opslag, og så, hvis der
ikke er MX-poster, et A-opslag. (Og efter et MX-opslag der går godt
naturligvis et A-opslag for at finde MX-hostens adresse hvis den ikke er
leveret med i MX-svaret.)
--
Jesper Dybdal, Denmark.
http://www.dybdal.dk (in Danish).
| |
Christian E. Lysel (12-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 12-08-02 10:39 |
|
Jesper Dybdal wrote:
>>Hvis du spørger en cache, der er doven, får du ikke svaret.
> Efter de begreber er BIND "doven", og så er der ikke meget mening i at
> satse på at en given server ikke er "doven".
Er dette ikke afhængig af versionen og opsætningen af BIND?
Endvidere eksistere der andre nameserveren end BIND.
>>Spørger du
>>den primære nameserver får du det rigtige svar.
> Ja - men så skal jeg jo først slå den primære server op.
>
> Dvs. et NS-opslag efterfulgt af et any-opslag.
Ja.
> Jeg finder det mere mere naturligt at lave et MX-opslag, og så, hvis der
> ikke er MX-poster, et A-opslag. (Og efter et MX-opslag der går godt
> naturligvis et A-opslag for at finde MX-hostens adresse hvis den ikke er
> leveret med i MX-svaret.)
Jeg fortrækker at bruge en nameserver der giver mig et ordenligt svar.
| |
Jesper Dybdal (12-08-2002)
| Kommentar Fra : Jesper Dybdal |
Dato : 12-08-02 12:05 |
|
"Christian E. Lysel" <sunsite.dk.nntp@spindelnet.dk> wrote:
>Jesper Dybdal wrote:
>>>Hvis du spørger en cache, der er doven, får du ikke svaret.
>> Efter de begreber er BIND "doven", og så er der ikke meget mening i at
>> satse på at en given server ikke er "doven".
>
>Er dette ikke afhængig af versionen og opsætningen af BIND?
Jeg mener at alle de BIND-versioner jeg har noget videre erfaring med
(dvs. ca. alle fra ca. 4.9.3 og opad) gør sådan. Og jeg har lige tjekket
at 9.2.1 i hvert fald gør det.
Og jeg tror ikke man kan konfigurere andre betydninger af queries end den
normale.
>Endvidere eksistere der andre nameserveren end BIND.
Som jeg netop skrev ovenfor er deres udbredelse altså ikke så stor at det
har mening at satse på at en given server ikke er BIND.
Findes der i øvrigt nogen server der reagerer anderledes end BIND på
"any"-forespørgsler?
Jeg tror nok at fx sendmail optimerer (eller optimerede - det er længe
siden jeg har læst det) ud fra at den netop kan bruge en
"any"-forespørgsel til billigt at hente hvad den lokale server måtte have
i sin cache uden at det koster opslag længere væk (medmindre navnet slet
ikke er i cachen).
>> Jeg finder det mere mere naturligt at lave et MX-opslag, og så, hvis der
>> ikke er MX-poster, et A-opslag. (Og efter et MX-opslag der går godt
>> naturligvis et A-opslag for at finde MX-hostens adresse hvis den ikke er
>> leveret med i MX-svaret.)
>
>Jeg fortrækker at bruge en nameserver der giver mig et ordenligt svar.
Det gør en lokal caching server også hvis man sender den en MX-request -
medmindre der er noget galt i DNS-opsætningen, men det er jo ikke
DNS-debugging vi snakker om her.
Og hvis du grundlæggende ikke tror på den lokale server, så skal du jo
starte i rodserverne hver gang, og får slet ingen glæde af
caching-mekanismen.
--
Jesper Dybdal, Denmark.
http://www.dybdal.dk (in Danish).
| |
Christian E. Lysel (16-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 16-08-02 09:13 |
|
Jesper Dybdal wrote:
>>Er dette ikke afhængig af versionen og opsætningen af BIND?
> Jeg mener at alle de BIND-versioner jeg har noget videre erfaring med
> (dvs. ca. alle fra ca. 4.9.3 og opad) gør sådan. Og jeg har lige tjekket
> at 9.2.1 i hvert fald gør det.
Jeg var sikker på at havde set en BIND der opført sig anderledes, men
jeg kan ikke finde noget belæg for det.
> Og jeg tror ikke man kan konfigurere andre betydninger af queries end den
> normale.
Jeg har ikke kunne finde noget dokumentation på det, så jeg trækker min
påstand tilbage.
| |
Kasper Dupont (11-08-2002)
| Kommentar Fra : Kasper Dupont |
Dato : 11-08-02 23:39 |
|
"Christian E. Lysel" wrote:
>
> Kasper Dupont wrote:
> >>Jeg tror ikke det er en doven programmør, derimod er den nok et design valg.
> >>
> >>Raptor firewall kan også sættes til at droppe smtp forbindelser der
> >>kommer trillende tegn for tegn, dvs. at det er et mennesker der sidder
> >>med telnet og leger.
> > Jeg skriver da "telnet ip 25" når jeg vil sende en mail.
> > Jeg slår først addressen op med "dig -t mx navn". Og telnet
>
> Hvorfor ikke med any istedet for mx, vil det sige du ikke kan levere i
> hånden til en a-record? :)
Det problem har jeg ikke haft endnu. Men når jeg nu gør det
ved håndkraft er det jo også nemt at opdage, hvis der ingen
mx record er. Og hvis det en sjælden gang skulle ske, er det
jo ikke svært at bruge resolveip i stedet.
--
Kasper Dupont -- der bruger for meget tid på usenet.
For sending spam use mailto:aaarep@daimi.au.dk
or mailto:mcxumhvenwblvtl@skrammel.yaboo.dk
| |
Christian E. Lysel (11-08-2002)
| Kommentar Fra : Christian E. Lysel |
Dato : 11-08-02 14:57 |
|
Brian7509 wrote:
> Problemet er at forbindelsen lukkes ned allerede efter at proxy
> serveren har sendt 1 tegn til webserveren. Proxyserveren er baseret på
> tegn kommunikation, men er det værd at overveje at gøre
> kommunikationen linie baseret?.
Hvorfor er det "tegn kommunikation"?
| |
|
|