Beste SD'ers,
Ik ben bezig met een website die per dag ongeveer 18.000 records zal aanmaken in een MySQL database. Da's best veel en ik wil graag weten in hoeverre dit kan in een MySQL database.
Er is ruimte genoeg op de server dus dat is geen issue.
Dus hoeveel records kan een standaard MySQL database veilig huisvesten?
Gr. Rich
- Hoeveel records in een MySQL database?
-
21-11-2012, 07:38 #1
- Berichten
- 1.367
- Lid sinds
- 16 Jaar
Hoeveel records in een MySQL database?
-
21-11-2012, 07:46 #2
- Berichten
- 730
- Lid sinds
- 17 Jaar
Re: Hoeveel records in een MySQL database?
Miljoenen/miljarden?
-
21-11-2012, 07:49 #3
- Berichten
- 1.367
- Lid sinds
- 16 Jaar
-
21-11-2012, 08:02 #4gast39247 Guest
Re: Hoeveel records in een MySQL database?
Kan je ook vertellen wat voor informatie en waarom zoveel per dag?
-
21-11-2012, 08:08 #5
- Berichten
- 1.367
- Lid sinds
- 16 Jaar
Re: Hoeveel records in een MySQL database?
Hoi Julius,
Het gaat om trending topics van Twitter. Ieder uur een x-aantal reloads en toevoegingen aan de database.
Als je ze live van API trekt kan dat 'maar' 150 keer per uur, daarna geeft een 400 Bad Request. Dus ik wil ze een x-aantal keer per uur laden. Denk aan 1 of 2 keer per uur.
De reden dat het er zo veel zijn komt doordat ik de trending topics van vele landen wil gaan laden, ongeveer 30 a 40 landen.
Gr. Rich
Aanvullend bericht:
Ik ben er inmiddels achter!
Als je BIGINT gebruik kan je redelijk wat rijen opslaan in MySQL:
unsigned bigint largest value is 18,446,744,073,709,551,615
Bedankt voor de reacties.
Gr. RichLaatst aangepast door Rich Boogert : 21-11-2012 om 08:19 Reden: Automatisch samengevoegd.
-
21-11-2012, 08:34 #6
- Berichten
- 3.234
- Lid sinds
- 17 Jaar
Re: Hoeveel records in een MySQL database?
je kan natuurlijk een functie maken om het archief van deze maand in database 1 te proppen en de lopende maand in database 2.
is de maand voorbij dan ga je weer verder aan database nummer 3, enz, enz
dat scheelt mischien in je laadtijden, maar hij kan oneindig volgeladen worden, das geen probleem.
Het ophalen van de data wordt mischien een probleem, een simpele search kan dan erg lang gaan duren. Maar dat merk je dan vanzelf....
-
21-11-2012, 08:56 #7
- Berichten
- 112
- Lid sinds
- 12 Jaar
Re: Hoeveel records in een MySQL database?
18.000 is helemaal niets, zelf niet in
Als je database maar goed genoeg geoptimaliseerd is.
-
21-11-2012, 09:03 #8
- Berichten
- 3.234
- Lid sinds
- 17 Jaar
Re: Hoeveel records in een MySQL database?
18000 x 30 = dik half miljoen per maand.
database in kan makkelijk, maar ophalen en weergeven vreet toch aan je query snelheid dus aan de performance van je website?
of zit ik nu verkeerd te denken?
-
21-11-2012, 09:14 #9Particulier
- Berichten
- 26
- Lid sinds
- 12 Jaar
Re: Hoeveel records in een MySQL database?
Het opslaan is inderdaad geen probleem, maar het ophalen/aggregeren/calculeren is dat wellicht wel met deze aantallen.
Indien u veel LIKE queries uitvoert, bijvoorbeeld voor het vinden van bepaalde keywords in de tweets, dan kan ik Sphinx Full Text Search Engine aanraden bovenop MySQL (meer dan 10x zo snel dan MySQL LIKE).
Indien u veel normale queries doet waar u alle rijen ophaalt uit een bepaalde datum range dan kunt u Handlersocket (NoSQL) bovenop MySQL toepassen (tot 7,5x zo snel dan SQL via MySQL).
-
21-11-2012, 09:15 #10
- Berichten
- 47
- Lid sinds
- 12 Jaar
Re: Hoeveel records in een MySQL database?
innoDB heeft geen max aan tables en records, maar wel aan grootte: 64TB.
Dus als het slechts om wat tweets gaat, kun je daar voorlopig wel mee uit de voeten...
-
21-11-2012, 09:37 #11Bedrijfgegevens op aanvraag
- Berichten
- 1.031
- Lid sinds
- 16 Jaar
Re: Hoeveel records in een MySQL database?
Bij zoveel data (ja, 18000 record per dag vind ik veel) , is een goed gekozen database model van belang. Dat zal mede afhangen van de functionaliteiten om deze data dan ook te presenteren.
Ik kan mij voorstellen dat je deze data opsplitst per land, en (zoals al aangegeven) een archief tabel hebt die niet direct geraadpleegd wordt enkel als de gebruiker dat wil (en dus kiest om langer te wachten), een tabel per jaar bijvoorbeeld.
Plaats een
- + Advertentie
- + Onderwerp
Marktplaats
Webmasterforum
- Websites algemeen
- Sitechecks
- Marketing
- Domeinen algemeen
- Waardebepaling
- CMS
- Wordpress
- Joomla
- Magento
- Google algemeen
- SEO
- Analytics
- Adsense
- Adwords
- HTML / XHTML
- CSS
- Programmeren
- PHP
- Javascript
- JQuery
- MySQL
- Ondernemen algemeen
- Belastingen
- Juridisch
- Grafisch ontwerp
- Hosting Algemeen
- Hardware Info
- Offtopic