Ce este Web Data Mining?

Mai mult decât oricând, entitățile și indivizii deopotrivă folosesc World Wide Web pentru a efectua o serie de tranzacții de afaceri și personale. Drept urmare, companiile folosesc din ce în ce mai mult instrumente și tehnici de extragere a datelor web pentru a găsi modalități de a-și îmbunătăți profitul și de a-și crește baza de clienți. Exploatarea datelor web implică procesul de colectare și rezumare a datelor din structura de hyperlink, conținutul paginii sau jurnalul de utilizare a unui site Web pentru a identifica modele. Folosind data mining-ul web, o companie poate identifica un potențial concurent, poate îmbunătăți serviciile pentru clienți sau poate viza nevoile și așteptările clienților. O agenție guvernamentală poate încerca, de asemenea, să descopere amenințări teroriste sau alte activități criminale prin utilizarea unei aplicații web de extragere a datelor.

Unele tehnici comune de extragere a datelor Web includ extragerea conținutului web, extragerea utilizării web și extragerea structurii web. Exploatarea conținutului web examinează subiectul unui site web. De exemplu, minerii de conținut web pot analiza caracteristicile audio, text, imagini și video ale unui site. Minerii de conținut web se concentrează de obicei pe informațiile textuale ale unui site mai mult decât pe alte caracteristici ale site-ului. Procesarea limbajului natural și regăsirea informațiilor sunt două tehnici de extragere a datelor utilizate adesea de minerii de conținut web.

Miningul utilizării web este de obicei un proces automat prin care serverele web colectează și raportează modelele de acces ale utilizatorilor în jurnalele de acces la server. O companie poate, de exemplu, să folosească un instrument de extragere a datelor de utilizare a Web-ului pentru a raporta jurnalele de acces la server și informațiile de înregistrare a utilizatorilor pentru a crea o structură mai eficientă a site-ului Web. Exploatarea structurii web studiază structura nodului și a conexiunii site-urilor web. Poate fi util în identificarea asemănărilor și relațiilor care există între diferite site-uri Web. Exploatarea structurii web implică adesea descoperirea tiparelor din hyperlinkuri sau extragerea structurilor documentelor de pe o pagină Web.

Două tehnici generale de extragere a datelor care pot fi folosite de către minerii de date web sunt analiza asociației de extragere a datelor și regresia de extragere a datelor. Analiza asociației de extragere a datelor ajută la descoperirea unor relații demne de remarcat îngropate în seturi mari de date. Regresia de extragere a datelor este o tehnică statistică prin care formulele matematice sunt folosite pentru a prezice rezultate viitoare, cum ar fi marjele de profit, valorile caselor sau cifrele de vânzări.

Furnizorii de software pentru extragerea datelor oferă instrumente web de extragere a datelor care pot extrage informații predictive din cantități mari de date. Companiile folosesc adesea aceste instrumente de extragere software pentru a analiza seturi de date specifice privind comportamentul consumatorilor. Folosind rezultatele analizei datelor, companiile sunt capabile să prognozeze tendințele viitoare de afaceri.