Beste SD-ers,

Ik ben momenteel bezig met een XML vakantie script. Dit script importeert elke dag de feeds van daisycon. Ik heb van daisycon een lijst gekregen met xxx.xxx-high items.

Alleen deze lijst is ongeveer 1gb, dat vind mijn servertje niet zo leuk en gooit, en kost veel dataverkeer. Het gaat ook om veel last minute aanbiedingen, dus het is noodzaak om deze minstens om de 3 dagen te vernieuwen.

Heeft iemand een oplossing voor dit probleem, kan ik via hem via een CORN job downloaden en lokaal op m'n server gooien? zodat ik hem dan lokaal kan uploaden naar m'n database, ik snap dat dat niet uitmaakt voor m'n dataverkeer, maar m'n servert zou dat waarschijnlijk wel leuker vinden ( omdat die nu 99%CPU (4gb) gebruikt als ik de boel verwerk).

Hoop dat iemand me tips kan geven.

M.v.g.
Stefan Visser

Wanneer je met een cronjob elke nacht om 4 uur draait dan heb je een betere geupdate informatie.
Wanneer je dan een php script maakt lees ja met curl de XML download en deze parse met simplexml dan is het updaten van je database een peulenschil. Waar je dan eerst na moet kijken is welke data je nodig bent uit de XML dus beste is eerst lokaal op te slaan op je pc en deze bewerken zodat nog maar iets van 10 records hebt om meer te testen op je server.

Hai Raymond, Bedankt voor reactie.

Het probleem is echter dat ik elke record nodig heb (21 in totaal). Alleen ik zet meer dat ik een memory overload krijg. Ik heb een eigen parser class geschreven, en werk ( indien die aanstaat ) met file_get_contents. Alleen bij het ophalen van de XML file heeft m'n server het moeilijk en geeft deze soms een memory failer ( er gebeuren ook nog andere dingen op de server ).

Waarom download je het in XML? Is de CSV niet beschikbaar? Ik neem aan dat alle kolommen voor elke lastminute hetzelfde zijn en dat er geen hiërarchie nodig is. De CSV zal stukken kleiner zijn en wellicht ook sneller te verwerken zijn.

Hallo Peter, Het probleem met de CSV is dat niet elke merchant deze aanbied , en sommige half ( ontbreekt de basis informatie ).

Ik haal nu tussen 0:00 en 4:00 om het half uur 8 delen van de xml op, en verwerk deze. Nadeel is dat de site tussen die tijd vrij traag is ( 2 a 3 seconde laad tijd ).

En via Daisycon wordt er niet aangeboden om de XML in delen op te vragen? Record 0 t/m 50 bijv en daarna verder met de volgende records?

Origineel gepost door Joshua de Gier

En via Daisycon wordt er niet aangeboden om de XML in delen op te vragen? Record 0 t/m 50 bijv en daarna verder met de volgende records?

Ze hebben wel een "alleen laatste update" functie, alleen werkt niet, beetje jammer.