تصور کنید یک فایل فنی ۵۰ مگابایتی در یک سازمان وجود دارد. واحد مهندسی این فایل را در پوشه پروژه ذخیره میکند، واحد کنترل کیفیت نسخهای از آن را در فضای کاری خود قرار میدهد و چند کارمند دیگر نیز همان فایل را برای استفاده در پروژههای مختلف آپلود میکنند. بعد از مدتی، ممکن است دهها نسخه کاملاً یکسان از یک فایل در بخشهای مختلف سازمان وجود داشته باشد؛ درحالیکه محتوای همه آنها تفاوتی با یکدیگر ندارد.
این اتفاق در سازمانهایی که روزانه با حجم زیادی از اسناد، تصاویر، فایلهای فنی و گزارشها سروکار دارند، چندان غیرمعمول نیست. هر بار ذخیرهسازی یک نسخه تکراری، میتواند بخشی از ظرفیت ذخیرهسازی را بدون ایجاد ارزش اطلاعاتی جدید اشغال کند.
یکی از روشهای فنی برای مقابله با این مسئله، Deduplication یا حذف دادههای تکراری است. این تکنیک با شناسایی بخشهای تکراری اطلاعات، از نگهداری چندباره محتوای یکسان جلوگیری میکند و میتواند به استفاده بهینهتر از ظرفیت ذخیرهسازی و کاهش هزینههای زیرساخت کمک کند.
در این مقاله بررسی میکنیم Deduplication چیست، چگونه دادههای تکراری را تشخیص میدهد، چه تفاوتی میان روشهای مختلف آن وجود دارد و چگونه میتواند در مدیریت فضای ذخیرهسازی سازمانی مؤثر باشد.
Deduplication چیست؟
Deduplication تکنیکی در حوزه مدیریت و ذخیرهسازی دادههاست که با شناسایی اطلاعات تکراری، از ذخیرهسازی چندباره محتوای یکسان جلوگیری میکند.
در حالت عادی، اگر چند کاربر یک فایل یکسان را در بخشهای مختلف یک فضای ذخیرهسازی آپلود کنند، ممکن است هر بار یک نسخه کامل از آن فایل روی زیرساخت ذخیره شود. در این حالت، حتی اگر محتوای فایلها کاملاً یکسان باشد، فضای فیزیکی جداگانهای برای هر نسخه مصرف خواهد شد.
اما در سیستمهایی که از Deduplication پشتیبانی میکنند، دادهها بررسی میشوند تا بخشهای تکراری شناسایی شوند. سپس بهجای ذخیرهسازی مجدد محتوای یکسان، سیستم میتواند از دادهای که قبلاً ذخیره شده است استفاده کند و برای نسخههای دیگر، فقط اطلاعات لازم برای ارجاع به آن داده را نگه دارد.
به بیان ساده، Deduplication کمک میکند یک محتوای یکسان، چندین بار فضای فیزیکی ذخیرهسازی را اشغال نکند.
البته باید توجه داشت که Deduplication با فشردهسازی (Compression) تفاوت دارد. در فشردهسازی، حجم داده با روشهای رمزگذاری و نمایش فشردهتر کاهش پیدا میکند؛ اما Deduplication به دنبال شناسایی و حذف نسخههای تکراری دادههاست. این دو تکنیک میتوانند در کنار یکدیگر استفاده شوند.
چرا دادههای تکراری در سازمانها به یک مسئله تبدیل میشوند؟
در سازمانهای متوسط و بزرگ، فایلها معمولاً در مسیرهای مختلفی ذخیره و میان افراد و واحدها به اشتراک گذاشته میشوند. همین موضوع احتمال ایجاد نسخههای تکراری را افزایش میدهد.
برای مثال:
- یک کارمند فایل مشخصات فنی محصول را در پوشه واحد مهندسی ذخیره میکند.
- کارمند دیگری همان فایل را در پوشه پروژه قرار میدهد.
- واحد فروش نسخهای از آن را برای استفاده در مستندات خود آپلود میکند.
- چند نفر دیگر نیز فایل را دانلود کرده و دوباره در فضای کاری خود قرار میدهند.
در این شرایط، ممکن است چندین نسخه یکسان از یک فایل در فضای ذخیرهسازی سازمان وجود داشته باشد.
مشکل فقط به اسناد متنی محدود نیست. فایلهای تصویری، ویدئوهای آموزشی، بستههای نصب نرمافزار، فایلهای پشتیبان و مستندات فنی حجیم نیز میتوانند بارها در بخشهای مختلف ذخیره شوند.
این مسئله در طول زمان چند پیامد دارد:
۱. افزایش مصرف فضای ذخیرهسازی: هر نسخه تکراری ممکن است بخشی از ظرفیت دیسک یا فضای ذخیرهسازی سازمان را اشغال کند.
۲. افزایش هزینه زیرساخت: با رشد حجم دادهها، سازمان ممکن است به دیسکهای بیشتر، تجهیزات ذخیرهسازی قدرتمندتر یا فضای ذخیرهسازی گستردهتر نیاز پیدا کند.
۳. دشوارترشدن مدیریت اطلاعات: وجود نسخههای متعدد از یک فایل میتواند تشخیص نسخه معتبر یا آخرین نسخه مورد استفاده را دشوار کند.
۴. افزایش حجم عملیات پشتیبانگیری: در صورتی که نسخههای تکراری وارد فرایند Backup شوند، ممکن است حجم دادههای موردنیاز برای پشتیبانگیری نیز افزایش پیدا کند؛ البته میزان این افزایش به معماری سامانه پشتیبانگیری و قابلیتهای Deduplication آن بستگی دارد.
در چنین شرایطی، حذف دادههای تکراری میتواند یکی از راهکارهای بهینهسازی مصرف منابع ذخیرهسازی باشد.
Deduplication چگونه دادههای تکراری را تشخیص میدهد؟
یکی از بخشهای مهم در فرایند Deduplication، تشخیص دقیق یکسانبودن دادههاست. سیستم باید بتواند مشخص کند دو فایل یا دو بخش از اطلاعات، واقعاً محتوای یکسانی دارند یا خیر.
یکی از روشهای رایج برای انجام این کار، استفاده از الگوریتمهای Hashing است.
Hashing چیست و چه نقشی در Deduplication دارد؟
Hashing فرایندی است که طی آن داده ورودی با استفاده از یک الگوریتم مشخص به یک خروجی با طول ثابت به نام Hash Value یا مقدار هش تبدیل میشود.
برای مثال، فرض کنید دو کاربر یک فایل یکسان را در فضای ذخیرهسازی آپلود میکنند. سیستم میتواند محتوای هر فایل را از طریق یک الگوریتم هش بررسی کند و برای هرکدام یک مقدار هش به دست آورد.
اگر محتوای دو فایل یکسان باشد، مقدار هش آنها نیز با احتمال بسیار بالا یکسان خواهد بود. بنابراین سیستم میتواند این دو فایل را بهعنوان گزینههای احتمالی برای بررسی تکراریبودن شناسایی کند.
نکته مهم این است که مقدار هش، خلاصهای محاسباتی از داده است و خود فایل محسوب نمیشود. همچنین، یکسانبودن Hash Value بهتنهایی اثبات ریاضی قطعی برای یکسانبودن محتوا نیست؛ زیرا احتمال برخورد هش (Hash Collision) وجود دارد. به همین دلیل، سیستمهای دقیقتر ممکن است پس از تطبیق هش، دادهها را نیز مقایسه کنند تا از یکسانبودن واقعی محتوا مطمئن شوند.
به این ترتیب، Hashing میتواند فرایند شناسایی دادههای تکراری را سریعتر و کمهزینهتر کند.
انواع Deduplication؛ تفاوت File-Level و Block-Level چیست؟
Deduplication میتواند در سطوح مختلفی انجام شود. دو روش شناختهشده در این حوزه عبارتاند از File-Level Deduplication و Block-Level Deduplication.
File-Level Deduplication؛ تشخیص فایلهای کاملاً یکسان
در روش File-Level Deduplication، سیستم هر فایل را بهعنوان یک واحد مستقل بررسی میکند.
اگر دو یا چند فایل از نظر محتوای باینری کاملاً یکسان باشند، سیستم میتواند آنها را بهعنوان نسخههای تکراری شناسایی کند. در این حالت، ممکن است بهجای نگهداری چند نسخه فیزیکی، یک نسخه از داده ذخیره شود و سایر ورودیها به همان محتوای ذخیرهشده ارجاع دهند.
برای مثال، فرض کنید یک فایل PDF با حجم ۲۰ مگابایت توسط ۱۰ کارمند مختلف آپلود شود. اگر محتوای هر ۱۰ فایل کاملاً یکسان باشد و سیستم از Deduplication در سطح فایل پشتیبانی کند، امکان جلوگیری از ذخیرهسازی ۱۰ نسخه فیزیکی از یک محتوای یکسان وجود دارد.
مزیت این روش، سادگی نسبی در شناسایی فایلهای کاملاً مشابه است؛ اما محدودیت آن این است که اگر حتی بخش کوچکی از فایل تغییر کند، ممکن است سیستم دیگر آن را یک فایل کاملاً تکراری تشخیص ندهد.
Block-Level Deduplication؛ شناسایی بخشهای تکراری فایل
در روش Block-Level Deduplication، سیستم بهجای بررسی کل فایل بهصورت یک واحد، محتوای آن را به بخشهای کوچکتری تقسیم میکند که معمولاً Block یا Chunk نامیده میشوند.
سپس هر بخش بهصورت جداگانه بررسی میشود تا بلوکهای تکراری میان فایلهای مختلف شناسایی شوند.
برای مثال، فرض کنید دو فایل فنی ۱۰۰ مگابایتی وجود دارند که محتوای آنها تا ۹۰ مگابایت یکسان است، اما بخش پایانی فایل دوم تغییر کرده است.
در File-Level Deduplication ممکن است این دو فایل متفاوت تشخیص داده شوند؛ اما در Block-Level Deduplication، سیستم میتواند بخشهای مشترک را شناسایی کند و فقط قسمتهای متفاوت را بهصورت مجزا ذخیره کند.
این روش در محیطهایی که فایلهای مشابه با تغییرات جزئی بهصورت مکرر تولید میشوند، میتواند صرفهجویی بیشتری ایجاد کند.
البته میزان اثربخشی آن به نحوه تقسیم دادهها، اندازه بلوکها، الگوریتم تشخیص و معماری سیستم ذخیرهسازی وابسته است.
مقایسه دو روش Deduplication
| معیار | File-Level Deduplication | Block-Level Deduplication |
| واحد بررسی | کل فایل | بخشهای کوچکتر فایل |
| تشخیص فایلهای کاملاً یکسان | بله | بله |
| تشخیص بخشهای مشترک فایلهای متفاوت | معمولاً خیر | بله |
| پیچیدگی پردازش | معمولاً کمتر | معمولاً بیشتر |
| کاربرد شاخص | فایلهای کاملاً تکراری | فایلهای مشابه با تغییرات جزئی |
| میزان صرفهجویی | وابسته به تعداد فایلهای کاملاً یکسان | وابسته به میزان بلوکهای مشترک |
تفاوت نسخه منطقی فایل با فضای فیزیکی ذخیرهسازی چیست؟
یکی از مفاهیم مهم در درک Deduplication، تفاوت میان تعداد نسخههای منطقی فایل و حجم فیزیکی مصرفشده است.
فرض کنید یک فایل با نام Technical-Report.pdf در سه پوشه مختلف سازمان قرار دارد و سه واحد مختلف باید به آن دسترسی داشته باشند.
از دید کاربران، ممکن است سه نسخه یا سه ورودی مجزا از فایل وجود داشته باشد. هر واحد نیز فایل را در مسیر کاری خودش مشاهده میکند؛ اما در یک سیستم دارای Deduplication، ممکن است محتوای فیزیکی فایل فقط یک بار ذخیره شده باشد و هر سه ورودی به همان داده مشترک ارجاع دهند.
بنابراین باید میان دو مفهوم تفاوت قائل شد:
- نسخه منطقی (Logical Copy): نسخهای که از دید کاربر یا ساختار پوشهها در دسترس است.
- نسخه فیزیکی (Physical Copy): دادهای که واقعاً روی فضای ذخیرهسازی نوشته شده است.
این تفاوت اهمیت زیادی دارد؛ زیرا تعداد فایلهایی که کاربران مشاهده میکنند، لزوماً نشاندهنده حجم واقعی مصرفشده روی دیسک نیست.
در پیادهسازیهای مبتنی بر Deduplication، سیستم باید ارتباط میان ورودیهای منطقی و داده فیزیکی مشترک را مدیریت کند. همچنین، هنگام تغییر یا حذف یک نسخه، باید اطمینان حاصل شود که داده مشترک تا زمانی که نسخه دیگری به آن نیاز دارد، از فضای ذخیرهسازی حذف نشود.
یک مثال محاسباتی؛ Deduplication چقدر در مصرف فضای ذخیرهسازی صرفهجویی میکند؟
برای درک بهتر تأثیر این تکنیک، یک سناریوی فرضی را در نظر بگیریم.
فرض کنید در یک سازمان، ۲۰۰ کارمند یک فایل آموزشی یا مستند فنی با حجم ۵۰ مگابایت را در پوشههای کاری مختلف آپلود کردهاند. اگر هر بار یک نسخه فیزیکی مستقل ذخیره شود، حجم مصرفشده برای این فایل به شکل زیر خواهد بود:
۲۰۰ × ۵۰ مگابایت = ۱۰٬۰۰۰ مگابایت
یعنی سازمان برای نگهداری یک محتوای یکسان، حدود ۱۰ گیگابایت فضا مصرف کرده است.
حالا فرض کنیم سیستم ذخیرهسازی از File-Level Deduplication پشتیبانی کند و بتواند تمام نسخههای یکسان را شناسایی کند. در این حالت، فقط یک نسخه فیزیکی ۵۰ مگابایتی از محتوا نگهداری میشود.
| وضعیت | فضای فیزیکی مصرفشده |
| بدون Deduplication | ۱۰٬۰۰۰ مگابایت |
| با Deduplication | ۵۰ مگابایت |
| فضای ذخیرهسازی صرفهجوییشده | ۹٬۹۵۰ مگابایت |
در این سناریوی فرضی، حدود ۹۹٫۵ درصد از فضای مصرفشده برای این فایل کاهش پیدا میکند.
البته این عدد به معنی آن نیست که هر سازمان با استفاده از Deduplication میتواند به همین میزان صرفهجویی کند. میزان واقعی کاهش مصرف فضا به عواملی مانند تعداد فایلهای تکراری، میزان شباهت دادهها، نوع فایلها و روش پیادهسازی Deduplication بستگی دارد.
اگر بیشتر فایلهای سازمان محتوای منحصربهفرد داشته باشند، میزان صرفهجویی نیز کمتر خواهد بود.
آیا Deduplication برای همه فایلها به یک اندازه مؤثر است؟
خیر. میزان اثربخشی Deduplication به نوع داده و نحوه ذخیرهسازی آن بستگی دارد.
برای مثال، در سازمانهایی که تعداد زیادی فایل PDF، اسناد اداری، تصاویر یا بستههای نرمافزاری یکسان نگهداری میشود، امکان شناسایی نسخههای تکراری میتواند قابلتوجه باشد.
در مقابل، فایلهایی که قبلاً فشرده یا رمزگذاری شدهاند، معمولاً الگوهای تکراری کمتری برای شناسایی در اختیار سیستم قرار میدهند. همچنین، اگر فایلها با تغییرات جزئی اما در ساختار داخلی متفاوت ذخیره شوند، تشخیص بخشهای مشترک ممکن است دشوارتر شود.
از طرف دیگر، Deduplication نیز هزینه پردازشی دارد. محاسبه هش، مقایسه بلوکها، نگهداری فهرست دادههای تکراری و مدیریت ارجاعها به منابع پردازشی و حافظه نیاز دارد.
به همین دلیل، انتخاب روش مناسب باید بر اساس الگوی مصرف فضای ذخیرهسازی، نوع دادهها و معماری زیرساخت سازمان انجام شود.
نقش Deduplication در مدیریت فایل سازمانی و مانیادرایو
در پلتفرمهای مدیریت فایل سازمانی، حجم اطلاعات بهمرور افزایش پیدا میکند. کاربران فایلهای مختلف را در پوشههای کاری خود ذخیره میکنند، اسناد را میان واحدها به اشتراک میگذارند و در پروژههای مشترک ممکن است نسخههای مشابهی از یک محتوا ایجاد شود.
در چنین شرایطی، تشخیص فایلهای تکراری و مدیریت آنها میتواند به استفاده بهینهتر از فضای ذخیرهسازی کمک کند.
بااینحال، باید میان دو قابلیت متفاوت تمایز قائل شد:
- تشخیص فایل تکراری (Duplicate Detection): شناسایی فایلهایی که محتوای یکسان یا مشابه دارند و اطلاعرسانی یا مدیریت آنها برای جلوگیری از ایجاد نسخههای غیرضروری.
- Deduplication در سطح ذخیرهسازی: جلوگیری از نگهداری چندباره دادههای تکراری در لایه فیزیکی ذخیرهسازی، بهگونهای که چند ورودی منطقی بتوانند به یک محتوای فیزیکی مشترک ارجاع دهند.
این دو قابلیت لزوماً یکسان نیستند. ممکن است یک سامانه بتواند فایلهای تکراری را شناسایی کند، اما برای حذف نسخههای فیزیکی تکراری به سازوکار Deduplication در لایه ذخیرهسازی نیاز داشته باشد.
بنابراین، هنگام بررسی قابلیتهای مانیادرایو باید مشخص شود که محصول در کدام سطح امکان شناسایی یا مدیریت فایلهای تکراری را فراهم میکند. اگر قابلیت موردنظر در سطح مدیریت فایل باشد، نباید آن را معادل Deduplication در سطح Block یا Storage معرفی کرد.
در واقع، ارزش یک راهکار سازمانی فقط به ذخیرهسازی فایلها محدود نمیشود؛ بلکه توانایی آن در مدیریت ساختار اطلاعات، جلوگیری از پراکندگی نسخهها و استفاده بهینه از منابع نیز اهمیت دارد.
جمعبندی؛ کاهش هزینه ذخیرهسازی با مدیریت دادههای تکراری
با افزایش حجم اطلاعات سازمانی، نگهداری نسخههای تکراری فایلها میتواند به یکی از عوامل مصرف غیرضروری فضای ذخیرهسازی تبدیل شود. Deduplication با شناسایی محتوای تکراری در سطح فایل یا بلوک، این امکان را فراهم میکند که دادههای یکسان بدون نیاز به ذخیرهسازی چندباره مدیریت شوند.
استفاده از Hashing، تشخیص محتوای تکراری و مدیریت ارتباط میان نسخههای منطقی و دادههای فیزیکی، از مهمترین بخشهای این فرایند هستند.
البته میزان صرفهجویی به نوع دادهها، تعداد نسخههای تکراری و معماری راهکار ذخیرهسازی بستگی دارد. به همین دلیل، پیش از انتخاب یا پیادهسازی Deduplication باید الگوی مصرف اطلاعات در سازمان بررسی شود.
در نهایت، مدیریت بهینه فضای ذخیرهسازی فقط به افزایش ظرفیت دیسکها وابسته نیست؛ گاهی با مدیریت هوشمندانه دادههای موجود نیز میتوان از منابع زیرساخت بهتر استفاده کرد.