Deduplicarea este un proces folosit pentru a elimina datele redundante. În timpul procesului, hard disk-ul unui computer este scanat pentru secvențe mari de date în ferestrele de comparație. În timpul scanării pentru date duplicate, sunt de obicei selectate secvențe de opt kiloocteți sau mai mult. Dacă secvența este găsită în altă parte a sistemului de stocare, fișierul duplicat este referit mai degrabă decât stocat din nou.
O deduplicare cu succes poate elimina câțiva kiloocteți de date de pe un computer, ceea ce duce la beneficii evidente. Dublarea datelor ocupă spațiu inutil în sistem, iar atunci când datele străine sunt eliminate, acest lucru lasă utilizatorului mai mult spațiu de stocare pe computer. Acest lucru va permite sistemului să ruleze mai rapid și mai eficient, deoarece nu este blocat cu datele suplimentare. În plus, îmbunătățirea lățimii de bandă este întotdeauna mai vizibilă atunci când un computer are mai mult spațiu liber.
Deduplicarea presupune referirea cantității mari de date la prima locație și ștergerea copiilor suplimentare ale datelor, care sunt, totuși, indexate în cazul în care ar fi nevoie de ele. Adesea, aceleași date exacte pot fi stocate în până la 100 de locuri diferite pe un hard disk. Dacă fiecare ocupă un megaoctet de spațiu, deduplicarea va reduce acest spațiu pe hard disk de la 100 de megaocteți la doar unul. Procesul funcționează prin arhivarea datelor, iar spațiul suplimentar care se câștigă este foarte benefic pentru hard disk-ul unui computer.
Beneficiile suplimentare ale deduplicarii includ reducerea cantității de spațiu de rezervă necesar cu până la 90 la sută, reducerea costurilor, cum ar fi cerințele de alimentare, spațiu și răcire, restabilirea unui nivel mai ridicat de servicii, eliminarea multor tipuri diferite de erori și recuperarea datelor la mai multe puncte diferite. Un dezavantaj al deduplicării este că identifică datele duplicate folosind funcții hash criptografice, care pot fi nesigure, iar o coliziune sau alt tip de eroare ar duce la pierderea datelor. De asemenea, dacă persoana care a autorizat procedura nu este conștientă de reducerea redundanței implicată, fiabilitatea computerului poate fi afectată negativ.
Deduplicarea datelor funcționează prin segmentarea mai întâi a fiecărei date care este procesată. Fiecare segment este identificat și comparat cu datele care sunt deja în sistem. Dacă datele sunt unice, acestea sunt stocate pe un disc. Dacă este o bucată de date duplicată, este creată o referință. Deduplicarea poate fi implementată folosind un software numit Data Domain, care funcționează cu sisteme de date și stocare pentru a filtra prin date, referindu-se, eliminând sau stocând fiecare octet, după caz.