Voor een statistische toepassing wil ik graag alle .nl-domeinen analyseren.

Nu zou ik het hele internet af kunnen gaan spideren om zoveel mogelijk .nl-domeinen te vinden, maar ik vroeg me af of hier een effectievere methode voor is?

Ik zou ook graag inzichtelijk maken welke domeinen binnen een bepaalde tijdsspanne geregistreerd zijn (dus de complete set up to date houden op een efficiente wijze), om bijv. ten tijde van trends analyse uit te kunnen voeren.

Hoe stel ik een dergelijke lijst samen (en onderhoud deze)?

Heb je enig idee hoeveel dat er zijn?

http://www.verisign.com/domain-name-...ort-sept09.pdf
Hier staat een rapport, kan zo snel niet vinden hoeveel .nl domeinnamen er zijn.

Ruim 3,8 miljoen volgens de domeinnaamteller op de vernieuwde website van SIDN...

Het gaat me niet op de statistieken an sich (dus hoeveel domeinen er zijn), maar meer om de lijst met adressen. Overigens heb ik het in de topicstart over .nl, maar ik ben minstens zo geïnteresseerd in andere tld's. Als iemand ideeën heeft, verneem ik ze graag.

Begrijp je het nou echt niet? :')
Er zijn hier (zoals genoemd) 3,8 miljoen .nl domeinen geregistreerd. Die wou je gewoon even downloaden, en in een .docje gooien? Dat is gewoon niet mogelijk, het zijn er teveel.

Ik denk dat alleen SIDN dat weet voor .nl
En die zullen die informatie niet aan je vrij geven. Ze willen al niet dat je meer dan 20(?) domeinnamen checkt per dag op hun whois.

3.8 miljoen domeinnamen opslaan in een file of andersoortige database lijkt me geen groot probleem overigens.

De SIDN geeft die informatie niet vrij.

Origineel gepost door Frank Houweling

Begrijp je het nou echt niet? :')
Er zijn hier (zoals genoemd) 3,8 miljoen .nl domeinen geregistreerd. Die wou je gewoon even downloaden, en in een .docje gooien? Dat is gewoon niet mogelijk, het zijn er teveel.

Frank, 3,8 miljoen records is peanuts. Ik geloof dat ik er meer van begrijp dan jou. Desondanks bedankt voor je meedenken.

Origineel gepost door Ruud van Velden

En die zullen die informatie niet aan je vrij geven.

Waarom niet? Hebben zij alleenrecht op die gegevens ofzo? Ik heb wel gezocht, maar kon er weinig over vinden.

Origineel gepost door Maarten vL

De SIDN geeft die informatie niet vrij.

Bedankt voor je reactie. Heb je een bron o.i.d. hierbij, want daar ben ik namelijk naar op zoek. Overigens vraag ik niet van SIDN om mij een kant en klaar bestand op te leveren, ik zoek een methode die in ieder geval efficienter is dan alles spideren (waarmee je ook nog eens de adressen die niet gelinkt zijn mist).

Voor de .com/.net kun je applyen om toegang te krijgen tot de DNS-zone bestanden welke je via FTP kunt kopieeren (per 24u). Zoiets zou natuurlijk 'rete'efficiënt zijn (afgezien van dat er betere alternatieven voor FTP zijn).

Nog meer ideeën hoe het wél te doen is?

Origineel gepost door Robert de W

Bedankt voor je reactie. Heb je een bron o.i.d. hierbij, want daar ben ik namelijk naar op zoek.

Ja, de SIDN. Tien jaar terug kon je nog een zone transfer doen, maar dat kan al jaren niet meer.

Voor de .com/.net kun je applyen om toegang te krijgen tot de DNS-zone bestanden welke je via FTP kunt kopieeren (per 24u).

Onder voorwaarden kan dat inderdaad, maar niet voor het .nl ccTld.

als je hem hebt geef ik je wel een paar honderd euro ervoor :)

Zover ik op de hoogte ben zijn er geen publieke lijsten van .nl actieve .nl domeinen. Ik denk toch dat je op een spider terecht komt. Misschien moet je het gewoon naar een .nl adres laten zoeken zowel adres zelf als in teksten met een validatie erachter en een check of het domein ook echt geregistreerd is. Een actuele lijst bijhouden gaat in ieder geval erg lastig worden.