Python data mining

Datamining en algoritmen
Datamining is het proces van het ontdekken van voorspellende informatie uit de analyse van grote databases. Voor een datawetenschapper kan datamining een vage en ontmoedigende taak zijn – het vereist een gevarieerde reeks vaardigheden en kennis van veel dataminingtechnieken om onbewerkte gegevens te gebruiken en er met succes inzichten uit te halen. U wilt de basis begrijpen van statistieken en verschillende programmeertalen die u kunnen helpen bij datamining op grote schaal.

Deze gids biedt een introductie met voorbeelden van datamining met Python, een van de meest gebruikte tools voor datamining – van opschonen en gegevensorganisatie tot het toepassen van algoritmen voor machine learning. Laten we eerst een beter begrip krijgen van datamining en hoe dit wordt bereikt.

Een definitie van datamining

Het gewenste resultaat van datamining is het creëren van een model uit een bepaalde dataset waarvan de inzichten kunnen worden gegeneraliseerd naar vergelijkbare datasets. Een praktijkvoorbeeld van een succesvolle dataminingtoepassing is te zien in automatische fraudedetectie door banken en kredietinstellingen.

Uw bank heeft waarschijnlijk een beleid om u te waarschuwen als ze verdachte activiteiten op uw rekening detecteren, zoals herhaalde geldopnames of grote aankopen in een staat buiten uw geregistreerde woonplaats. Hoe verhoudt zich dit tot datamining? Datawetenschappers hebben dit systeem gecreëerd door algoritmen toe te passen om te classificeren en te voorspellen of een transactie frauduleus is door deze te vergelijken met een historisch patroon van frauduleuze en niet-frauduleuze kosten. Het model “weet” dat als je in San Diego, Californië woont, het zeer waarschijnlijk is dat de duizend dollar die in rekening wordt gebracht bij een dunbevolkte Russische provincie niet legitiem waren.

Dat is slechts een van de krachtige toepassingen van datamining. Andere toepassingen van datamining zijn onder meer genomische sequencing, sociale netwerkanalyse of misdaadbeeldvorming – maar de meest voorkomende use case is voor het analyseren van aspecten van de levenscyclus van de consument. Bedrijven gebruiken datamining om de voorkeuren van consumenten te ontdekken, verschillende consumenten te classificeren op basis van hun aankoopactiviteit en te bepalen wat een goedbetaalde klant is – informatie die ingrijpende gevolgen kan hebben voor het verbeteren van de inkomstenstromen en het verlagen van de kosten.

python data mining