Hi!

Een paar jaar heb ik affiliate laten versloffen.
Tot mijn verbazing genereren websites uit 2016 nog steeds leuke inkomsten, zonder er naar omgekeken te hebben.
Enig probleem zijn de affiliate links waarvan 90% niet meer werkt, campagnes die gestopt zijn etc.

Ik wil deze tak van sport weer eens gaan oppakken.
Ooit een script geschreven waarmee ik XML/CSV feeds kan inladen van meerdere aanbieders (voorbeeld website https://www.webwinkelvoorfietsen.nl/)

Waar ik toen ook al tegenaan liep, en nu nog steeds zijn de limieten bij de hosting.
Het inladen van een feed duurt meerdere minuten. Ik krijg na een minuut een time out waardoor slechts een deel van de feed wordt geladen/ververst.

Iemand een aanbeveling hoe dit het beste aan te pakken?
Misschien lokaal op de pc draaien en dan de de backup naar de hosting overzetten? Erg omslachtig denk ik?
Moet natuurlijk wel geautomatiseerd worden.

Misschien heeft iemand tips, bedankt!

Wat me zo te binnen schiet is de feed opsplitsen in kleinere bestanden (misschien per categorie of meerdere categorieën). Daarna de verschillende kleinere bestanden importeren.

Of een grotere hostingpakket afnemen ;-)

Hm, groter pakket nemen helpt niet altijd, zelf draaien we ook op een enorm big reseller maar toch met een feed van bijvoorbeeld 50.000 bestanden gaat niet altijd goed (is een dingetje bij WP zelf ook)

Wanneer we dat bestand dan bijvoorbeeld splitsen in 2/3 delen of meer dan gaat het wel goed

Wat je met DoeeX kan doen is de feed klaar maken en in brokken laten opdelen, dan zetten we ze voor je klaar op de gewenste tijden en doe je ze beetje bij beetje uploaden.

Dank voor de tips.

Het opdelen klinkt interessant, maar is dit te automatiseren?
@Leander, lijkt me handig, maar ik vind het te prijzig.

Edit: ik zie dat je bij Tradetracker een optie hebt om te splitten. Handig!

Origineel gepost door jessica mulder

Hm, groter pakket nemen helpt niet altijd, zelf draaien we ook op een enorm big reseller maar toch met een feed van bijvoorbeeld 50.000 bestanden gaat niet altijd goed (is een dingetje bij WP zelf ook)

Wanneer we dat bestand dan bijvoorbeeld splitsen in 2/3 delen of meer dan gaat het wel goed

Zowel voor jou als Bosman:

Al eens in php.ini gekeken naar bijvoorbeeld: max_input_vars, max_execution_time, memory_limit en post_max_size?

Wanneer je op Apache draait, zou je ook eens kunnen kijken naar FcgidIOTimeout in httpd.conf.

Origineel gepost door J. Bosman

@Leander, lijkt me handig, maar ik vind het te prijzig.

Over hoeveel artikelen hebben we het?

Waarschijnlijk te maken met bepaalde server limieten zoals set_time_limit en php max_execution_time. In de meeste gevallen kan je dit overschrijven. Bij een gedeelde hosting word dit beheer niet altijd toegestaan.

Ook kan het nog liggen aan de manier van coderen. Een bepaalde functie/werking kan in de meeste gevallen worden aangepakt op verschillende technieken. De ene techniek is de andere techniek niet en is bijvoorbeeld trager met het verwerken van een bepaalde opdracht. Als je dat dan doet voor veel items achter elkaar (zoals met een import/update), dan kan het geheel (heel) lang duren.

Ik zou lekker een dedicated of goede VPS nemen als je met feeds gaat werken. Kun je zelf alles instellen en heb je alleen de limieten van je server.

Ik weet niet of je met Wordpress werkt, maar anders is dit makkelijk met wp all import te doen. Ook het opdelen of laten draaien via cronjobs kan dan.

Bedankt allemaal!
Het is geen WP, maar zelf geprogrammeerd.

Ik heb de feeds opgedeeld en dat gaat prima zo.