Procesul de extragere a datelor este un instrument pentru descoperirea tiparelor semnificative statistic într-o cantitate mare de date. De obicei, implică cinci pași principali, care includ pregătirea, explorarea datelor, construirea modelului, implementarea și revizuirea. Fiecare pas al procesului implică un set diferit de tehnici, dar majoritatea folosesc o anumită formă de analiză statistică.
Înainte ca procesul de extragere a datelor să poată începe, cercetătorii stabilesc de obicei obiective de cercetare. Acest pas de pregătire determină, de obicei, ce tipuri de date trebuie studiate, ce tehnici de extragere a datelor ar trebui utilizate și ce formă vor lua rezultatele. Acest pas inițial al procesului poate fi crucial pentru a culege informații utile.
Următorul pas în procesul de extragere a datelor este explorarea. Acest pas implică de obicei colectarea datelor necesare de la un depozit de informații sau o entitate de colectare. Apoi, experții în minerit pregătesc de obicei seturile de date brute pentru analiză. Acest pas constă de obicei în colectarea, curățarea, organizarea și verificarea tuturor datelor pentru erori.
Aceste date pregătite intră de obicei în a treia etapă a procesului de extragere a datelor, construirea modelului. Pentru a realiza acest lucru, cercetătorii iau de obicei mostre mici de date și le aplică o varietate de tehnici de extragere a datelor. Etapa de modelare este adesea folosită pentru a determina cea mai bună metodă de analiză statistică necesară pentru a obține rezultatele dorite.
Există patru tehnici principale care pot fi aplicate în procesul de extragere a datelor. Prima este clasificarea, care aranjează datele în grupuri sau categorii predefinite. În cea de-a doua tehnică, numită grupare, cercetătorii permit computerului să organizeze datele în grupuri, după cum alege. O a treia tehnică de extragere a datelor caută asocieri între variabile. Cel de-al patrulea caută de obicei modele secvențiale în date care pot fi utilizate pentru a prezice tendințele viitoare.
Ultimul pas în procesul de extragere a datelor este implementarea. Pentru a face acest lucru, tehnicile alese în model sunt aplicate setului de date mai mare, iar rezultatele sunt analizate. Raportul care vine de la acest pas arată de obicei modelele găsite în întregul proces, inclusiv orice clasificări, clustere, asocieri sau modele secvenţiale existente în setul de date.
Revizuirea este adesea un pas final important. Această fază a procesului implică de obicei repetarea modelelor de minerit cu un nou set de date pentru a vă asigura că setul principal a fost reprezentativ pentru întreaga populație de date. Rezultatele nu pot prezice tendințe în populația mai mare dacă eșantionul de date nu o reprezintă cu acuratețe.