Hi,

Voor een SaaS gebruik ik voor de standaard dingen zoals gebruikers, instellingen e.d. een standaard MariaDB database met Innodb tabellen.
Echter, 2 tabellen zullen erg groot worden en zullen continu blijven groeien (denk aan 50 miljoen records p/m).

Nu ben ik op zoek naar een manier om dit zonder al te veel zorgen te doen. MongoDB lijkt een goede optie.
Hebben jullie slechte/goede ervaring met MongoDB en wat komt er nog meer bij kijken bij deze hoeveelheden aan data?

Wat de perfecte oplossing is is iets waarmee ik onbezorgd data naartoe kan pompen en snel weer in kan laden zonder servers/db's strict bij te moeten houden.
AWS S3 kan ik vrijwel onbeperkt aantal data plaatsen, alleen S3 als database gebruiken lijkt mij dan weer een slechte optie.

Hoor het graag!

Mongo is een NoSQL database, niet relationeel, en dus niet zomaar een ideale vervanger voor MySQL/MariaDB. Als je onderlinge relaties tussen de data nodig hebt (wat bij gebruikers meestal het geval is), dan kan je met mongo weinig doen.

Een oplossing is postgresql: dit is schaalbaar en wordt aangeboden door amazon.

Hi Sam, de 2 tabellen staan in principe los van elkaar en de rest van de tabellen.
In de ene tabel staan inzendingen, in de andere staan feedback vragen en formulier instellingen. Deze hebben geen joins o.i.d. nodig.

Vooral de inzendingen tabel wil ik zorgeloos kunnen schalen. Daarnaast vind ik het vooral erg fijn dat ik bij MongoDB documenten heb waar ik per "tabel" makkelijk "kolommen" kan toevoegen. Bij MySQL moet ik dan een alter table doen over de hele tabel wat bij 50 miljoen + rijen wat lastiger wordt.

PostgreSQL heeft ook nosql inderdaad, kun je dan sql en nosql samen combineren in 1 database of hoe werkt dat?
Vind vooral het document format erg interessant.
En qua onderhoud? Alvast bedankt.

Als je op AWS zit is DynamoDB een goede optie. Wordt ook geadverteerd als 'Serverless' component omdat je zelf nooit infrastructuur hoeft te managen. High availabe, automatisch schalen (dmv sharding), etc. Dat krijg je 'cadeau', wel tegen een prijskaartje.
De vraag is ook of je die data weer vaak wilt queryen? Groot deel van de kosten wordt bepaald door read & write capacity units (I/O operaties).
En hoelang je dat wil bewaren? Je kunt ook een time-to-live voor entries instellen waardoor, bijv. niet gebruikte data, automatisch verdwijnt.

50 miljoen records per maand. Dat is wel bizar veel. Misschien moet je dan eens kijken naar Google Big Query.
Voor kleine tabellen is Google Big Query juist weer erg langzaam. Ik gebruik sinds een tijdje MongoDb na altijd steevast MySQL/MSSQL gebruikt te hebben en het is echt insane snel als je geen ingewikkelde relaties hoeft te leggen.
Het is ook goedkoper te schalen. Bij MongoDB kun je makkelijker (goedkope) servers bijplaatsen. Bij MySQL is het vaak simpeler om de server te upgraden (wat vaak duurder is).

Aangezien je zo veel data gaat verwerken zou ik eerst een aantal tests gaan doen met demo data die je hebt. Ik heb dat in mijn situatie ook gedaan (MSSQL/Google Big Query/MongoDb). Dat koste een paar uur maar daarna wist ik we dat MongoDB het voor mij was.

Bedankt voor de reacties. Wilbert, er hoeven geen relaties gelegd te worden, enkel simpele select en inserts en soms updates. Hoe zit het met onderhoud en evt crashes e.d.? Mag ik je anders een keer bellen?