Beste Sitedealers,

Affiliate websites zijn mooi, vergelijkers ook. Maar wat is nou de beste en efficientste manier om
verschillen af te vangen in de feeds.

Stel; je vergelijkt fietsen, en hebt verschillende productfeeds. Gaat om honderden fietsen, dus handmatig is geen optie. Hoe kun je nou al die feeds inladen en herkennen wanneer het hetzelfde product is. De ene feed noemt een fiets bijvoorbeeld Batavus Bub maar in een andere feed heet deze Batavus Bub met bel. Hoe kun je dit soort dingen afvangen?

Ben benieuwd hoe jullie dit afvangen!

Mvgr,
Chiel

Hi Chiel,

Wordt er geen EAN code meegestuurd in de feed? Die moet altijd hetzelfde zijn.

Groet,

Roderik

Je moet inderdaad een overeenkomst hebben die altijd hetzelfde is. Anders wordt het gis/gokwerk.

Voor mijn reissite's had ik hetzelfde probleem. Ook was er geen overeenkomstig veld dus heb ik een eigen importeer functie geschreven die hotels controleert ahdv de locatie en de naam. Als de afstand tussen 2 geďmporteerde hotels minder dan 100 meter is en de namen komen > 60% overeen dan ga ik er vanuit dat het dezelfde zijn. Nog steeds giswerk natuurlijk. Er bestaat een kans dat twee hotels namen hebben die op elkaar lijken en dicht bij elkaar zitten, maar dat is een heel klein percentage.

Ja exact, dat soort formules zoek ik. Dat is een slimme manier, maar wat als je de 'locatie' factor niet hebt. Hoe dan jullie het dan?
EAN code, was het maar zo eenvoudig.. Niet alle producten hebben die toch? Fietsen, auto's & boten hebben bijvoorbeeld geen EAN code (of ik kan niet Google'n).

Klopt, lang niet alle producten hebben een EAN code, maar Google Shopping stelt de eis dat een product een EAN code heeft.
Of heeft deze eis neergelegd en een einddatum aangegeven voordat alle producten een EAN code moeten hebben.

Maar op Google Shopping staan ook weer niet alle producten.. Dus dan zit je nog steeds met hetzelfde probleem. Je moet eigenlijk eisen stellen voor de productfeeds, maargoed.. Als kleine partij krijg je dat niet voor elkaar.

Voor onze affiliate websites hebben we inderdaad ook "algoritme" moeten verzinnen. Zelf werken we niet op basis van product feeds maar met scrapers. In essentie maakt dat niet zo veel uit.

- Indien de naam voor 70% overeenkomt;
- en indien 80% van de product-eigenschap waardes overeenkomen

Zien wij beide producten als hetzelfde product. Let op dat je niet controleert op de product-eigenschap maar op de eigenschap waardes. Deze zet je achter elkaar en controleert het percentage van overeenkomstige waardes (ongeacht de volgorde)!

Ja ik werk ook met scrapers maar zoals je zegt is het principe hetzelfde :)
Misschien zijn scrapers ook wat voor jou Chiel. Je kunt meestal meer data vergaren dan bij de feeds.

@Chiel, Het is lastig om je verder te helpen als we niet weten welke gegevens je hebt. Maar je begint met definiëren hoe jij als mens ontdekt dat het om dezelfde producten gaat. Vervolgens zet je dat om in een algoritme.
Alleen met een naam is het lastig en heb je niet veel zekerheid.

Ik heb het niet perse over een bepaald product, gewoon iets waar ik over aan het nadenken was. Ik hoor gewoon graag wat voor een algoritmes jullie gebruiken. Alleen op titel is lastig, maar wat als je niet meer hebt?

Als je niet meer hebt als titel dan wordt het zoals gezegd gokwerk met een hoge fout ratio.

Ook met een titel valt het te regelen. Oké het is niet waterdicht maar komt wel dichtbij. Een algoritme dat hiervoor geschikt is is het zogenaamde N-Gram algoritme (http://webdocs.cs.ualberta.ca/~kondr...rs/spire05.pdf)

Het algoritme houdt zelfs rekening met het feit dat - in veel gevallen - de woorden vooraan de zin de meeste "waarde" representeren. Op basis van alleen de product naam is het dus te doen, maar zoals Wilbert al aangeeft niet waterdicht en afhankelijk van een (wiskundig) berekening.

Deze is ook lastig... 70% naam komt overeen en 80% eigenschappen.
Stel dat alleen de kleur verschilt, dan gaat het al fout.
Heb je dan bepaalde eigenschappen die sowieso overeen dienen te komen?