Inleiding

• De oorsprong van big data: een wereld van digitale gegevens, e-health, chronologie.
• Een definitie aan de hand van de vier V's: de herkomst van gegevens.
• Een breuk: veranderingen in kwantiteit, kwaliteit, gewoonten.
• De waarde van gegevens: een verandering in belang.
• Gegevens als grondstof.
• Het vierde paradigma van de wetenschappelijke ontdekking.

Big data: verwerking van de verzameling tot het resultaat

• Stroom van de acties. Verzameling.
• Verzameling van gegevens: crawling, scraping.
• Beheer van gebeurtenisstromen (Complex Event Processing (CEP).
• Indexering van de inkomende stroom.
• Integratie in oude gegevens.
• Gegevenskwaliteit: een vijfde V?
• De verschillende soorten verwerking: zoeken, leren (Machine Learning, transactieverwerking, datamining).
• Andere stroommodellen: Amazon, e-Health.
• Een of meer gegevensbibliotheken? Van Hadoop tot in-memory.
• Van toonanalyse tot kennisontdekking.

Relaties tussen cloud en big data

• Architectuurmodel van openbare en privéclouds.
• XaaS-services.
• Doelstellingen en voordelen van cloudarchitecturen.
• Infrastructuren.
• Gelijkheden en verschillen tussen cloud en big data.
• Opslagclouds.
• Classificatie, beveiliging en vertrouwelijkheid van gegevens.
• Structuur als classificatiecriterium: ongestructureerd, gestructureerd, halfgestructureerd.
• Classificatie volgens levenscyclus: tijdelijke of permanente gegevens, actieve archieven.
• Moeilijkheden op het gebied van beveiliging: toenemende volumes, distributie.
• Mogelijke oplossingen.

Inleiding tot open data

• Filosofie van open gegevens en doelstellingen.
• Vrijgave van openbare gegevens.
• Implementatiemoeilijkheden.
• Essentiële kenmerken van open gegevens.
• Toepassingsgebieden. Verwachte voordelen.

Hardware voor opslagarchitecturen

• Servers, schijven, netwerken en gebruik van SSD-schijven, belang van netwerkinfrastructuur.
• Cloudarchitecturen en traditionelere architecturen.
• Voordelen en moeilijkheden.
• TCO. Stroomverbruik: servers (IPNM), schijven (MAID)
• Objectopslag: principe en voordelen.
• Objectopslag vergeleken met traditionele NAS- en SAN-opslag.
• Softwarearchitectuur.
• Indelingsniveaus van opslagbeheer.
• "Software Defined Storage".
• Gecentraliseerde architectuur (Hadoop File System).
• Peer-to-peerarchitectuur en gemengde architectuur.
• Interfaces en connectors: S3, CDMI, FUSE, enz.
• Toekomst van andere opslagmethoden (NAS, SAN) vergeleken met objectopslag.

Gegevensbescherming

• Bewaring in de tijd tegenover toenemende volumes.
• Back-ups maken, online of lokaal?
• Traditioneel archief en actief archief.
• Verbanden met opslaghiërarchiebeheer: toekomst van magnetische banden.
• Replicatie over meerdere locaties.
• Slechtere prestaties van opslagmedia.

Verwerkingsmethoden en toepassingsgebieden

• Classificatie van analysemethoden volgens gegevensvolume en verwerkingskracht.
• Hadoop: het Map Reduce-verwerkingsmodel.
• Hadoop-ecosysteem: Hive, Pig. Moeilijkheden van Hadoop.
• OpenStack en Ceph-gegevensbeheer.
• Complex Event Processing: een voorbeeld? Storm.
• Van BI tot big data.
• Vernieuwde Business Intelligence en transacties: NoSQL-databases. Typologie en voorbeelden.
• Gegevensopname en indexering. Twee voorbeelden: Splunk en Logstash.
• Open Source-crawlers.
• Zoeken en analyseren: Elasticsearch.
• Leren: Mahout. In-memory.
• Visualisatie: al dan niet in real time, in de cloud (Bime), vergelijking QlikView, Tibco Spotfire, Tableau.
• Een algemene dataminingarchitectuur via big data.

Gebruikscases aan de hand van voorbeelden en conclusie

• Verwachting: behoeften van gebruikers in bedrijven, onderhoud van uitrustingen.
• Beveiliging van personen, opsporing van fraude (post, belastingen), netwerk.
• Aanbeveling. Marketing- en impactanalyses.
• Routeanalyses. Distributie van video-inhoud.
• Big data voor de auto-industrie? Voor de aardolie-industrie?
• Moet u aan een big-dataproject beginnen?
• Welke toekomst voor gegevens?
• Governance van gegevensopslag: rol en aanbevelingen, Data Scientist, vaardigheden voor een big-dataproject.