---

Hejsa.

Jeg har søgt lidt rundt efter en simple caching http proxy.

Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
er vævet ind i et kaos af javascript.

Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
set opgivet den måde.

SÃ¥ vidt jeg kan se hentes de resulterende sider via et normalt http-post
kald, som returnere hele siden.

Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
gemme samtlige filer som den henter. Evt begrænset til kun at gemme
requests til en bestemt host.

Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
findes.

På forhånd tak.

--
/Henning

---

Henning Wangerin skrev den 02-07-2008 21:39:

> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
> findes.

Hvad er der galt med Squid? Hvis der ikke er nogen vægtige grunde til
at du ikke kan bruge den, så gør dog det. Det er vel ikke raketvidenskab?
--
Thorbjørn Ravn Andersen "... plus... Tubular Bells!"

---

On Wed, 02 Jul 2008 23:28:00 +0200, Thorbjørn Ravn Andersen wrote:

> Henning Wangerin skrev den 02-07-2008 21:39:
>
>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt
>> stor til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis
>> det findes.
>
> Hvad er der galt med Squid? Hvis der ikke er nogen vægtige grunde til
> at du ikke kan bruge den, så gør dog det. Det er vel ikke
> raketvidenskab?

Den prøvede jeg.

Men den duer ikke til mit brug. Den gemmer nemlig ikke sider som bliver
hentet med en POST request.




--
/Henning

---

On Sat, 05 Jul 2008 15:55:27 +0200, Thorbjørn Ravn Andersen wrote:

> Henning Wangerin skrev den 05-07-2008 15:42:
>
>> Den prøvede jeg.
>>
>> Men den duer ikke til mit brug. Den gemmer nemlig ikke sider som bliver
>> hentet med en POST request.
>
> wget har mulighed for at lave en offlinekopi af et website. Jeg aner
> dog ikke om den vil kopiere post-links også, men det er da forsøget
> værd.

Det kan den sagtens.

Men som jeg skrev i mit første indlæg, er probleemet at de sider jeg
gerne vil ha suget ned, er fedtet ind i et virvar af javascript.

Derfor vil jeg gerne ha en proxy til at gemme siderne.

At få en browser til, løbende at hoppe en side frem kan løses, men at få
den til at gemme siden automatisk har jeg ikke fundet en løsning på -
derfor ønsket om proxy-løsningen

--
/Henning

---

On Sun, 06 Jul 2008 09:43:50 +0200, Thorbjørn Ravn Andersen wrote:

> Hvis du kan programmere lidt, er det oplagt at rette en eksisterende
> HTTP proxy til, da jeg ikke tror der er nogen der har lavet præcis det
> du gerne vil. Prøv at spørge google.

Ja det ender nok med den løsning.

Tak for hjælpen.

--
/Henning

---

On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
> Hejsa.
>
> Jeg har søgt lidt rundt efter en simple caching http proxy.
>
> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
> er vævet ind i et kaos af javascript.
>
> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
> set opgivet den måde.
>
> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
> kald, som returnere hele siden.
>
> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
> requests til en bestemt host.
>
> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
> findes.

http://varnish.projects.linpro.no/

--
Jesper Skriver, CCIE #5456

---

Den 07 Jul 2008 08:07:15 GMT skrev Jesper Skriver:
> On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
>> Hejsa.
>>
>> Jeg har søgt lidt rundt efter en simple caching http proxy.
>>
>> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
>> er vævet ind i et kaos af javascript.
>>
>> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
>> set opgivet den måde.
>>
>> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
>> kald, som returnere hele siden.
>>
>> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
>> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
>> requests til en bestemt host.
>>
>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
>> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
>> findes.
>
> http://varnish.projects.linpro.no/

Hvordan får du varnish til at gemme filer?

Den er designet til netop IKKE at gemme siderne som filer, ikke engang
dem den cacher.

Mvh
Kent
--
Hvis en sort kat går over vejen foran en bil, betyder det ulykke

.... for katten.

---

On 07 Jul 2008 17:34:56 GMT, Kent Friis wrote:
> Den 07 Jul 2008 08:07:15 GMT skrev Jesper Skriver:
>> On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
>>> Hejsa.
>>>
>>> Jeg har søgt lidt rundt efter en simple caching http proxy.
>>>
>>> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
>>> er vævet ind i et kaos af javascript.
>>>
>>> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
>>> set opgivet den måde.
>>>
>>> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
>>> kald, som returnere hele siden.
>>>
>>> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
>>> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
>>> requests til en bestemt host.
>>>
>>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
>>> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
>>> findes.
>>
>> http://varnish.projects.linpro.no/
>
> Hvordan får du varnish til at gemme filer?

Det klarer den selv internt - hvorfor vil du have en fil at kigge
paa ?

> Den er designet til netop IKKE at gemme siderne som filer, ikke engang
> dem den cacher.

Ikke sandt, den gemmer siden i swap backed virtual memory.

Den gemmer det ikke i en fil per object i fil systemet, det er
ikke effektivt for en proxy, som phk forklarer i archtecture delen
af ovenstaaende link.

--
Jesper Skriver, CCIE #5456

---

Den 07 Jul 2008 18:48:05 GMT skrev Jesper Skriver:
> On 07 Jul 2008 17:34:56 GMT, Kent Friis wrote:
>> Den 07 Jul 2008 08:07:15 GMT skrev Jesper Skriver:
>>> On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
>>>> Hejsa.
>>>>
>>>> Jeg har søgt lidt rundt efter en simple caching http proxy.
>>>>
>>>> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
>>>> er vævet ind i et kaos af javascript.
>>>>
>>>> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
>>>> set opgivet den måde.
>>>>
>>>> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
>>>> kald, som returnere hele siden.
>>>>
>>>> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
>>>> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
>>>> requests til en bestemt host.
>>>>
>>>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
>>>> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
>>>> findes.
>>>
>>> http://varnish.projects.linpro.no/
>>
>> Hvordan får du varnish til at gemme filer?
>
> Det klarer den selv internt - hvorfor vil du have en fil at kigge
> paa ?

Det oprindelige spørgsmål gik på at lave et mirror af et site
(a'la wget --mirror, men igennem en browser pga. javascript m.m.)

>> Den er designet til netop IKKE at gemme siderne som filer, ikke engang
>> dem den cacher.
>
> Ikke sandt, den gemmer siden i swap backed virtual memory.

Og netop ikke i *filer* (bemærk: flertal). Browseren der skal
kigge i mirror'et kan ikke læse virtual memory.

Iøvrigt er det ikke swap, men *en* mmap()'ed fil.

> Den gemmer det ikke i en fil per object i fil systemet, det er
> ikke effektivt for en proxy, som phk forklarer i archtecture delen
> af ovenstaaende link.

Netop (jeg kender udemærket Varnish, vi bruger det på arbejdet).

Og derfor er den aldeles uegnet til det der bliver spurgt om.

Mvh
Kent
--
Hvis en sort kat går over vejen foran en bil, betyder det ulykke

.... for katten.

---

On 07 Jul 2008 19:26:58 GMT, Kent Friis wrote:
> Den 07 Jul 2008 18:48:05 GMT skrev Jesper Skriver:
>> On 07 Jul 2008 17:34:56 GMT, Kent Friis wrote:
>>> Den 07 Jul 2008 08:07:15 GMT skrev Jesper Skriver:
>>>> On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
>>>>> Hejsa.
>>>>>
>>>>> Jeg har søgt lidt rundt efter en simple caching http proxy.
>>>>>
>>>>> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
>>>>> er vævet ind i et kaos af javascript.
>>>>>
>>>>> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
>>>>> set opgivet den måde.
>>>>>
>>>>> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
>>>>> kald, som returnere hele siden.
>>>>>
>>>>> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
>>>>> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
>>>>> requests til en bestemt host.
>>>>>
>>>>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
>>>>> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
>>>>> findes.
>>>>
>>>> http://varnish.projects.linpro.no/
>>>
>>> Hvordan får du varnish til at gemme filer?
>>
>> Det klarer den selv internt - hvorfor vil du have en fil at kigge
>> paa ?
>
> Det oprindelige spørgsmål gik på at lave et mirror af et site
> (a'la wget --mirror, men igennem en browser pga. javascript m.m.)
>
>>> Den er designet til netop IKKE at gemme siderne som filer, ikke engang
>>> dem den cacher.
>>
>> Ikke sandt, den gemmer siden i swap backed virtual memory.
>
> Og netop ikke i *filer* (bemærk: flertal). Browseren der skal
> kigge i mirror'et kan ikke læse virtual memory.

Jeg misforstod spoergsmaalet - men istedet for a lave en kopi af de
generede sider, saa er det noget mere venligt over for fremtidige
opdateringer blot at bruge en reverse proxy som f.eks. Varnish foran
den eksisterende web server.

> Iøvrigt er det ikke swap, men *en* mmap()'ed fil.

Afhaenging af konfiguration, du kan enten bruge mmap eller swap backed
malloc'd memory.

>> Den gemmer det ikke i en fil per object i fil systemet, det er
>> ikke effektivt for en proxy, som phk forklarer i archtecture delen
>> af ovenstaaende link.
>
> Netop (jeg kender udemærket Varnish, vi bruger det på arbejdet).
>
> Og derfor er den aldeles uegnet til det der bliver spurgt om.
>
> Mvh
> Kent


--
Jesper Skriver, CCIE #5456

---

Den 07 Jul 2008 21:37:25 GMT skrev Jesper Skriver:
> On 07 Jul 2008 19:26:58 GMT, Kent Friis wrote:
>> Den 07 Jul 2008 18:48:05 GMT skrev Jesper Skriver:
>>> On 07 Jul 2008 17:34:56 GMT, Kent Friis wrote:
>>>> Den 07 Jul 2008 08:07:15 GMT skrev Jesper Skriver:
>>>>> On 02 Jul 2008 19:39:08 GMT, Henning Wangerin wrote:
>>>>>> Hejsa.
>>>>>>
>>>>>> Jeg har søgt lidt rundt efter en simple caching http proxy.
>>>>>>
>>>>>> Jeg har brug for at kunne gemme en f***** masse htm-sider, som desværre
>>>>>> er vævet ind i et kaos af javascript.
>>>>>>
>>>>>> Jeg har forsøgt at dekryptere virkemåden af java-scriptene, men har stort
>>>>>> set opgivet den måde.
>>>>>>
>>>>>> Så vidt jeg kan se hentes de resulterende sider via et normalt http-post
>>>>>> kald, som returnere hele siden.
>>>>>>
>>>>>> Derfor kunne jeg meget godt tænke med en lille http-proxy som blot skal
>>>>>> gemme samtlige filer som den henter. Evt begrænset til kun at gemme
>>>>>> requests til en bestemt host.
>>>>>>
>>>>>> Er der noget der har en ide til hvilken jeg kan bruge. Squid er lidt stor
>>>>>> til mit brug, derfor vil jeg godt ha en lightweight proxy, hvis det
>>>>>> findes.
>>>>>
>>>>> http://varnish.projects.linpro.no/
>>>>
>>>> Hvordan får du varnish til at gemme filer?
>>>
>>> Det klarer den selv internt - hvorfor vil du have en fil at kigge
>>> paa ?
>>
>> Det oprindelige spørgsmål gik på at lave et mirror af et site
>> (a'la wget --mirror, men igennem en browser pga. javascript m.m.)
>>
>>>> Den er designet til netop IKKE at gemme siderne som filer, ikke engang
>>>> dem den cacher.
>>>
>>> Ikke sandt, den gemmer siden i swap backed virtual memory.
>>
>> Og netop ikke i *filer* (bemærk: flertal). Browseren der skal
>> kigge i mirror'et kan ikke læse virtual memory.
>
> Jeg misforstod spoergsmaalet - men istedet for a lave en kopi af de
> generede sider, saa er det noget mere venligt over for fremtidige
> opdateringer blot at bruge en reverse proxy som f.eks. Varnish foran
> den eksisterende web server.

Det kommer da an på hvad formålet er.

Hvis målet er at lave en kopi af ens foretrukne pr0n-site på den
bærbare, så man kan slæbe den med på ferie hvor man ikke har
internet-forbindelse, vil jeg sg* nødig forsøge at få Varnish
til at holde tingene i cachen.

>> Iøvrigt er det ikke swap, men *en* mmap()'ed fil.
>
> Afhaenging af konfiguration, du kan enten bruge mmap eller swap backed
> malloc'd memory.

Det var jeg ikke klar over. Vi bruger mmap på alle maskiner.

Mvh
Kent
--
Hvis en sort kat går over vejen foran en bil, betyder det ulykke

.... for katten.