bij het gebruik van data zijn de meeste mensen het erover eens dat uw inzichten en analyse slechts zo goed zijn als de data die u gebruikt. In wezen, vuilnis gegevens in is vuilnis analyse uit. Data cleaning, ook wel aangeduid als data cleansing en data scrubbing, is een van de belangrijkste stappen voor uw organisatie als u wilt een cultuur rond de kwaliteit van gegevens besluitvorming te creëren.

Wat is data opschonen?

data opschonen is het proces van het repareren of verwijderen van onjuiste, beschadigde, onjuist geformatteerde, dubbele of onvolledige gegevens binnen een dataset.

wanneer meerdere gegevensbronnen worden gecombineerd, zijn er veel mogelijkheden om gegevens te dupliceren of verkeerd te labelen. Als gegevens onjuist zijn, zijn uitkomsten en algoritmen onbetrouwbaar, ook al zien ze er misschien correct uit. Er is geen enkele absolute manier om de exacte stappen voor te schrijven in het gegevensopruimingsproces, omdat de processen zullen variëren van dataset tot dataset. Maar het is van cruciaal belang om een sjabloon voor uw data cleaning proces vast te stellen, zodat u weet dat u het elke keer op de juiste manier doet.

Wat is het verschil tussen data cleaning en data transformatie?

opschonen van gegevens is het proces dat gegevens verwijdert die niet in uw dataset thuishoren. Data transformatie is het proces van het omzetten van gegevens van het ene formaat of structuur in een andere. Transformatieprocessen kunnen ook worden aangeduid als data wrangling, of data munging, transformeren en in kaart brengen van gegevens van de ene “ruwe” data vorm in een ander formaat voor warehousing en analyseren. Dit artikel richt zich op de processen van het reinigen van die gegevens.

Hoe reinig je gegevens?

hoewel de technieken die worden gebruikt voor het opschonen van gegevens kunnen variëren afhankelijk van de soorten gegevens die uw bedrijf opslaat, kunt u deze basisstappen volgen om een raamwerk voor uw organisatie in kaart te brengen.

Stap 1: Verwijder dubbele of irrelevante observaties

verwijder ongewenste observaties uit uw dataset, inclusief dubbele observaties of irrelevante observaties. Dubbele waarnemingen zullen het vaakst gebeuren tijdens het verzamelen van gegevens. Wanneer u datasets van meerdere plaatsen combineert, gegevens schraapt of gegevens ontvangt van klanten of meerdere afdelingen, zijn er mogelijkheden om dubbele gegevens te maken. De-duplicatie is een van de grootste gebieden die in dit proces in aanmerking moeten worden genomen.

irrelevante waarnemingen zijn wanneer u observaties opmerkt die niet passen in het specifieke probleem dat u probeert te analyseren. Als u bijvoorbeeld gegevens over duizendjarige klanten wilt analyseren, maar uw dataset oudere generaties bevat, kunt u deze irrelevante waarnemingen verwijderen. Dit kan analyse efficiënter maken en afleiding van uw primaire doel minimaliseren—evenals het creëren van een meer beheersbaar en performanter dataset.

Stap 2: fix structurele fouten

structurele fouten zijn wanneer u gegevens meet of overdraagt en vreemde naamgevingsconventies, typefouten of onjuiste hoofdletters opmerkt. Deze inconsistenties kunnen verkeerd gelabelde categorieën of klassen veroorzaken. Bijvoorbeeld, kunt u vinden “N / A” en “niet van toepassing” beide verschijnen, maar ze moeten worden geanalyseerd als dezelfde categorie.

Stap 3: Filter ongewenste uitschieters

vaak zijn er eenmalige waarnemingen waarbij ze in één oogopslag niet lijken te passen binnen de gegevens die u analyseert. Als u een legitieme reden hebt om een uitschieter te verwijderen, zoals onjuiste gegevensinvoer, helpt dit de prestaties van de gegevens waarmee u werkt. Soms is het echter de verschijning van een uitschieter die een theorie zal bewijzen waar je aan werkt.

onthoud: alleen omdat er een uitschieter bestaat, betekent niet dat het onjuist is. Deze stap is nodig om de geldigheid van dat nummer te bepalen. Als een uitschieter niet relevant blijkt te zijn voor de analyse of een fout is, overweeg dan deze te verwijderen.

Stap 4: omgaan met ontbrekende gegevens

u kunt ontbrekende gegevens niet negeren omdat veel algoritmen ontbrekende waarden niet accepteren. Er zijn een paar manieren om met ontbrekende gegevens om te gaan. Geen van beide is optimaal, maar beide kunnen worden overwogen.

1. als eerste optie kunt u waarnemingen laten vallen die ontbrekende waarden hebben, maar als u dit doet, zal informatie vallen of verloren gaan, dus wees hier rekening mee voordat u deze verwijdert.
2. als tweede optie kunt u ontbrekende waarden invoeren op basis van andere waarnemingen; nogmaals, er is een kans om de integriteit van de gegevens te verliezen, omdat je kan werken vanuit veronderstellingen en niet werkelijke observaties.
3. als derde optie kunt u de manier veranderen waarop de gegevens worden gebruikt om effectief door null-waarden te navigeren.

Stap 4: Valideer en QA

aan het einde van het opschonen van gegevens zou u in staat moeten zijn deze vragen te beantwoorden als onderdeel van de basisvalidatie:

• hebben de gegevens zin?
• volgen de gegevens de toepasselijke regels voor het veld?
• bewijst of weerlegt het uw werktheorie, of brengt het enig inzicht aan het licht?
• kunt u trends vinden in de gegevens om u te helpen uw volgende theorie te vormen?
• zo niet, is dat vanwege een probleem met de gegevenskwaliteit?

onjuiste conclusies als gevolg van onjuiste of “vuile” gegevens kunnen slechte bedrijfsstrategie en besluitvorming ten goede komen. Valse conclusies kunnen leiden tot een beschamend moment in een rapportagevergadering wanneer u zich realiseert dat uw gegevens niet bestand zijn tegen controle.

voordat u daar komt, is het belangrijk om een cultuur van kwaliteitsgegevens in uw organisatie te creëren. Om dit te doen, moet u documenteren de tools die u zou kunnen gebruiken om deze cultuur te creëren en wat de kwaliteit van de gegevens voor u betekent.

componenten van kwaliteitsgegevens

het bepalen van de kwaliteit van gegevens vereist een onderzoek van de kenmerken ervan, dan wegen deze kenmerken op basis van wat het belangrijkst is voor uw organisatie en de toepassing(s) waarvoor ze zullen worden gebruikt.

5 kenmerken van kwaliteitsgegevens

1. geldigheid. De mate waarin uw gegevens voldoen aan bepaalde bedrijfsregels of beperkingen.
2. nauwkeurigheid. Zorg ervoor dat uw gegevens dicht bij de werkelijke waarden liggen.
3. volledigheid. De mate waarin alle vereiste gegevens bekend zijn.
4. consistentie. Zorg ervoor dat uw gegevens consistent zijn binnen dezelfde dataset en/of over meerdere datasets.
5. uniformiteit. De mate waarin de gegevens worden gespecificeerd met behulp van dezelfde meeteenheid.

voordelen van gegevensopruiming

het hebben van schone gegevens zal uiteindelijk de totale productiviteit verhogen en zorgen voor informatie van de hoogste kwaliteit in uw besluitvorming. Voordelen zijn onder meer:

• verwijdering van fouten wanneer er meerdere gegevensbronnen in het spel zijn.
• minder fouten zorgen voor gelukkigere klanten en minder gefrustreerde werknemers.
• mogelijkheid om de verschillende functies in kaart te brengen en wat uw gegevens zijn bedoeld om te doen.
• monitoring fouten en betere rapportage om te zien waar fouten vandaan komen, waardoor het gemakkelijker is om onjuiste of corrupte gegevens voor toekomstige toepassingen te repareren.
• het gebruik van hulpmiddelen voor het opschonen van gegevens zal leiden tot efficiëntere bedrijfspraktijken en snellere besluitvorming.

hulpprogramma ‘ s voor het opschonen van gegevens en software voor efficiëntie

Software zoals Tableau Prep kan u helpen een kwaliteitsgegevenscultuur aan te sturen door visuele en directe manieren te bieden om uw gegevens te combineren en schoon te maken. Tableau Prep heeft twee producten: Tableau Prep Builder voor het bouwen van uw gegevensstromen en Tableau Prep Conductor voor het plannen, bewaken en beheren van stromen binnen uw organisatie. Het gebruik van een data scrubbing tool kan een databasebeheerder een aanzienlijke hoeveelheid tijd besparen door analisten of beheerders te helpen hun analyses sneller te starten en meer vertrouwen in de gegevens te hebben.

inzicht in de gegevenskwaliteit en de tools die u nodig hebt om gegevens te maken, te beheren en te transformeren is een belangrijke stap in de richting van het maken van efficiënte en effectieve zakelijke beslissingen. Dit cruciale proces zal een datacultuur in uw organisatie verder ontwikkelen. Om te zien hoe Tableau Prep invloed kan hebben op uw organisatie, lees dan hoe marketingbureau Tinuiti meer dan 100 gegevensbronnen heeft gecentraliseerd in Tableau Prep en hun marketinganalyses heeft geschaald voor 500 klanten.