.\" Automatically generated by Pandoc 3.1.11.1
.\"
.TH "Duperemove" "8" "01 Mar 2025" "duperemove 0.15.1" "System Manager\[cq]s Manual"
.SH "نام (NAME)"
\f[CR]duperemove\f[R] \- یافتن نواحی تکراری در فایل‌ها و ارسال آن‌ها جهت حذف تکرار
.SH "خلاصه دستور (SYNOPSIS)"
\f[B]duperemove\f[R] \f[I]گزینه‌ها\f[R] \f[I]فایل‌ها\&...\f[R]
.SH "توضیحات (DESCRIPTION)"
دستور \f[CR]duperemove\f[R] ابزاری ساده برای یافتن نواحی تکراری در فایل‌ها و ارسال آن‌ها جهت یکسان‌سازی و حذف تکرار داده‌ها (deduplication) است.
هنگامی که فهرستی از فایل‌ها به آن داده شود، محتوای آن‌ها را هش کرده و آن هش‌ها را با یکدیگر مقایسه می‌کند تا نواحی منطبق بر یکدیگر را شناسایی و دسته‌بندی نماید.
در صورت ارائه گزینه \f[CR]\-d\f[R]، دستور \f[CR]duperemove\f[R] این نواحی را با استفاده از فراخوانی کنترلی (ioctl) موسوم به FIDEDUPERANGE در هسته لینوکس، جهت حذف تکرار ارسال می‌کند.
.PP
دستور \f[CR]duperemove\f[R] هش‌ها را هم برای اکستنت‌های (extents) هر فایل و هم برای کل محتوای فایل محاسبه می‌کند.
به‌صورت اختیاری، امکان محاسبه هش‌ها بر مبنای هر بلوک نیز وجود دارد.
.PP
دستور \f[CR]duperemove\f[R] می‌تواند هش‌های محاسبه‌شده را در یک
\f[CR]فایل هش (hashfile)\f[R] ذخیره کند.
اگر یک فایل هشِ از پیش موجود به آن داده شود، \f[CR]duperemove\f[R] تنها هش فایل‌هایی را محاسبه می‌کند که از زمان آخرین اجرا تغییر کرده‌اند.
بنابراین می‌توانید با تغییر داده‌ها، \f[CR]duperemove\f[R] را مکرراً روی آن‌ها اجرا کنید بدون آنکه نیاز باشد داده‌های بدون تغییر دوباره بررسی و چِک‌سام شوند.
برای اطلاعات بیشتر درباره فایل‌های هش، گزینه \f[CR]\-\-hashfile\f[R] در ادامه و همچنین بخش \f[CR]مثال‌ها\f[R] را ببینید.
.PP
دستور \f[CR]duperemove\f[R] همچنین می‌تواند ورودی را از برنامه \f[CR]fdupes\f[R] دریافت کند؛ گزینه \f[CR]\-\-fdupes\f[R] در ادامه را بررسی کنید.
.SH "کلیات (GENERAL)"
ابزار Duperemove دارای دو حالت عملیاتی اصلی است که یکی از آن‌ها زیرمجموعه دیگری محسوب می‌شود.
.SS "حالت فقط‌خواندنی / بدون حذف تکرار (Readonly / Non\-deduplicating Mode)"
هنگامی که برنامه بدون گزینه \f[CR]\-d\f[R] (حالت پیش‌فرض) اجرا شود، duperemove یک یا چند جدول از اکستنت‌های منطبق را چاپ می‌کند که به تشخیص آن، نامزدهای مناسبی برای حذف تکرار هستند.
در نتیجه، حالت فقط‌خواندنی برای مشاهده اینکه duperemove در صورت اجرا با \f[CR]\-d\f[R] چه اقداماتی انجام خواهد داد مفید است.
.PP
به‌طور کلی، duperemove به نحوه بازنمایی زیربنایی اکستنت‌هایی که پردازش می‌کند اهمیتی نمی‌دهد.
برخی از آن‌ها ممکن است فشرده باشند، تحت عملیات ورودی/خروجی (I/O) قرار داشته باشند، یا حتی قبلاً تکرار آن‌ها حذف شده باشد.
در حالت حذف تکرار (dedupe)، هسته لینوکس این جزئیات را مدیریت می‌کند و بنابراین ما سعی نمی‌کنیم این کارها را دوباره تکرار کنیم.
.SS "حالت حذف تکرار (Deduping Mode)"
عملکرد این حالت مشابه حالت فقط‌خواندنی است، با این تفاوت که اکستنت‌های تکراریِ یافت‌شده در مرحله «خواندن، هش کردن و مقایسه»، در عمل برای حذف تکرار ارسال می‌شوند.
اکستنت‌هایی که تکرار آن‌ها قبلاً حذف شده است نادیده گرفته خواهند شد.
پس از تکمیل عملیات، تخمینی از کل داده‌های تکراری حذف‌شده چاپ خواهد شد.
این تخمین با مقایسه مقدار کل بایت‌های مشترک در هر فایل قبل و بعد از عملیات حذف تکرار محاسبه می‌شود.
.SH "گزینه‌ها (OPTIONS)"
.SS "گزینه‌های عمومی (Common options)"
آرگومان \f[CR]files\f[R] می‌تواند به فهرستی از فایل‌های معمولی و دایرکتوری‌ها اشاره کند یا یک خط تیره (\-) باشد تا فایل‌ها از ورودی استاندارد خوانده شوند.
اگر یک دایرکتوری مشخص شود، تمام فایل‌های معمولی درون آن نیز پویش خواهند شد.
همچنین می‌توان با سوییچ \f[CR]\-r\f[R] به duperemove دستور داد تا دایرکتوری‌ها را به‌صورت بازگشتی پویش کند.
.TP
\f[B]\-r\f[R]
فعال‌سازی پیمایش بازگشتی دایرکتوری‌ها.
.TP
\f[B]\-d\f[R]
حذف تکرار در نتایج \- تنها روی سیستم‌فایل‌های \f[CR]btrfs\f[R] و \f[CR]xfs\f[R] کار می‌کند.
استفاده از این گزینه به‌صورت دو بار باعث غیرفعال شدن بررسی سیستم‌فایل و تلاش برای اجرای ioctl در هر صورت می‌شود.
.TP
\f[B]\-\-hashfile\f[R]=\f[CR]hashfile\f[R]
استفاده از یک فایل برای ذخیره‌سازی هش‌ها به‌جای استفاده از حافظه رم.
این گزینه مصرف حافظه duperemove را به‌شدت کاهش می‌دهد و زمانی که مجموعه‌داده شما بیش از چند فایل باشد توصیه می‌شود.
همچنین \f[CR]فایل‌های هش\f[R] قابلیت استفاده مجدد دارند و به شما امکان می‌دهند میزان هش‌کردن انجام‌شده در اجراهای بعدی را بیش از پیش کاهش دهید.
.RS
.PP
اگر \f[CR]hashfile\f[R] وجود نداشته باشد ایجاد خواهد شد.
اگر وجود داشته باشد، \f[CR]duperemove\f[R] مسیرهای فایل ذخیره‌شده درون آن را برای بررسی تغییرات چک می‌کند.
فایل‌هایی که تغییر کرده باشند مجدداً پویش شده و هش‌های به‌روزشده آن‌ها در \f[CR]hashfile\f[R] نوشته خواهد شد.
فایل‌های حذف‌شده از \f[CR]hashfile\f[R] پاک می‌شوند.
.PP
فایل‌های جدید تنها در صورتی به \f[CR]hashfile\f[R] اضافه می‌شوند که از طریق آرگومان \f[CR]files\f[R] قابل کشف باشند.
به همین دلیل احتمالاً مایل خواهید بود در هر بار اجرای \f[CR]duperemove\f[R]، همان فهرست \f[CR]files\f[R] و آرگومان‌های \f[CR]\-r\f[R] را ارائه دهید.
الگوریتم کشف فایل کارآمد است و هر فایل را فقط یک بار بررسی می‌کند، حتی اگر از قبل در \f[CR]hashfile\f[R] وجود داشته باشد.
.PP
افزودن یک مسیر جدید به فایل هش به‌سادگی با اضافه کردن آن به آرگومان \f[CR]files\f[R] انجام می‌شود.
.PP
هنگام حذف تکرار با استفاده از فایل هش، duperemove از پردازش فایل‌هایی که از زمان آخرین عملیات تغییر نکرده‌اند خودداری می‌کند.
.RE
.TP
\f[B]\-B\f[R] \f[CR]N\f[R], \f[B]\-\-batchsize\f[R]=\f[CR]N\f[R]
اجرای فاز حذف تکرار به ازای هر \f[CR]N\f[R] فایل تازه‌پویش‌شده.
این گزینه مصرف حافظه را برای مجموعه‌داده‌های بزرگ یا هنگام جستجوی جزئی اکستنت‌ها به‌میزان زیادی کاهش می‌دهد، اما کارایی چندنخی (multithreading) را کم می‌کند.
.RS
.PP
به‌دلیل این بار اضافی کوچک، مقدار آن باید بر اساس اندازه متوسط فایل‌ها و \f[CR]blocksize\f[R] انتخاب شود.
.PP
مقدار پیش‌فرض برای جستجوهای صرفاً بر مبنای اکستنت معقول است، در حالی که اگر \f[CR]duperemove\f[R] را روی فایل‌های بسیار بزرگ (مانند ماشین‌های مجازی و غیره) اجرا می‌کنید، می‌توانید آن را تا مقدار \f[CR]1\f[R] پایین بیاورید.
.PP
به‌طور پیش‌فرض، اندازه دسته‌بندی روی 1024 تنظیم شده است.
.RE
.TP
\f[B]\-h\f[R]
چاپ اعداد با فرمت خوانا برای انسان.
.TP
\f[B]\-q\f[R]
حالت بی‌صدا (Quiet).
دستور duperemove تنها خطاها و یک خلاصه کوتاه از هر عملیات حذف تکرار را چاپ خواهد کرد.
.TP
\f[B]\-v\f[R]
نمایش خروجی با جزئیات کامل (Verbose).
.TP
\f[B]\-\-help\f[R]
چاپ متن راهنما.
.SS "گزینه‌های پیشرفته (Advanced options)"
.TP
\f[B]\-\-fdupes\f[R]
اجرا در حالت \f[CR]fdupes\f[R].
با این گزینه می‌توانید خروجی برنامه \f[CR]fdupes\f[R] را به duperemove لوله‌کشی (pipe) کنید تا تکرار فایل‌های یکسانِ یافت‌شده را حذف نماید.
هنگام دریافت فهرست فایل‌ها به این روش، duperemove از مرحله محاسبه هش صرف‌نظر خواهد کرد.
.TP
\f[B]\-L\f[R]
چاپ تمام فایل‌های موجود در فایل هش و خروج از برنامه.
به گزینه \f[CR]\-\-hashfile\f[R] نیاز دارد.
در صورت اجرا همراه با \f[CR]\-v\f[R]، اطلاعات بیشتری را درباره هر فایل چاپ خواهد کرد.
.TP
\f[B]\-R\f[R] \f[CR]files ..\f[R]
حذف فایل از پایگاه‌داده و خروج از برنامه.
اگر یک خط تیره (\-) ارائه شود، duperemove فهرست را از ورودی استاندارد می‌خواند.
به گزینه \f[CR]\-\-hashfile\f[R] نیاز دارد.
.RS
.PP
\f[CR]نکته:\f[R] اگر نام فایل‌ها را از نمونه دیگری از duperemove لوله‌کشی می‌کنید، توصیه می‌شود ابتدا آن‌ها را در یک فایل موقت ذخیره کنید، زیرا اجرای همزمان duperemove روی یک فایل هش یکسان ممکن است باعث خرابی آن فایل هش شود.
.RE
.TP
\f[B]\-\-skip\-zeroes\f[R]
خواندن بلوک‌های داده و نادیده گرفتن بلوک‌های صفرشده؛ این گزینه برای افزایش سرعت duperemove مفید است، اما می‌تواند مانع از حذف تکرار فایل‌های تمام‌صفر شود.
.TP
\f[B]\-b\f[R] \f[CR]size\f[R]
استفاده از اندازه بلوک مشخص‌شده برای خواندن اکستنت‌های فایل.
مقدار پیش‌فرض 128K است.
.TP
\f[B]\-\-io\-threads\f[R]=\f[CR]N\f[R]
استفاده از N نخ برای عملیات ورودی/خروجی (I/O).
این گزینه در فازهای محاسبه هش فایل و حذف تکرار استفاده می‌شود.
مقدار پیش‌فرض به‌طور خودکار بر اساس تعداد پردازنده‌های میزبان شناسایی می‌شود.
.TP
\f[B]\-\-cpu\-threads\f[R]=\f[CR]N\f[R]
استفاده از N نخ برای وظایف وابسته به پردازنده (CPU bound).
این گزینه در فاز یافتن اکستنت‌های تکراری استفاده می‌شود.
مقدار پیش‌فرض به‌طور خودکار بر اساس تعداد پردازنده‌های میزبان شناسایی می‌شود.
.RS
.PP
\f[CR]نکته:\f[R] قابلیت چندریسمانی همزمان (Hyperthreading) می‌تواند تأثیر منفی بر کارایی فاز یافتن اکستنت‌ها بگذارد.
اگر duperemove یک پردازنده اینتل با هایپرتردینگ را شناسایی کند، از نیمی از تعداد هسته‌های گزارش‌شده توسط سیستم برای وظایف وابسته به پردازنده استفاده خواهد کرد.
.RE
.TP
\f[B]\-\-dedupe\-options\f[R]=\f[CR]options\f[R]
فهرستی از گزینه‌ها با جداکننده کاما که نحوه حذف تکرار را تغییر می‌دهند.
برای غیرفعال کردن یک گزینه، عبارت `no` را به ابتدای آن اضافه کنید.
.RS
.TP
\f[B][no]partial\f[R]
برنامه duperemove اغلب می‌تواند با مقایسه بخش‌هایی از اکستنت‌ها با یکدیگر، موارد تکراری بیشتری پیدا کند.
این فرآیند می‌تواند وظیفه‌ای طولانی و نیازمند بار پردازشی شدید باشد، بنابراین به‌طور پیش‌فرض غیرفعال است.
برای محدود کردن اثرات منفی این گزینه، استفاده از \f[CR]\-\-batchsize\f[R] توصیه می‌شود.
.RS
.PP
کد مربوط به این گزینه در حال توسعه فعال است و در نتیجه ممکن است مفاهیم آرگومان \f[CR]partial\f[R] در آینده تغییر کند.
.RE
.TP
\f[B][no]same\f[R]
پیش‌فرض \f[CR]on\f[R] (فعال) است.
اجازه حذف تکرار اکستنت‌ها در درون همان فایل یکسان.
.TP
\f[B][no]only_whole_files\f[R]
پیش‌فرض \f[CR]off\f[R] (غیرفعال) است.
برنامه duperemove تنها روی کل فایل کار خواهد کرد.
هر دو حالت حذف تکرار مبتنی بر اکستنت و مبتنی بر بلوک غیرفعال خواهند شد.
فایل هش کوچک‌تر خواهد بود و برخی عملیات سریع‌تر می‌شوند، اما کارایی حذف تکرار مسلماً کاهش خواهد یافت.
.RE
.TP
\f[B]\-\-read\-hashes\f[R]=\f[CR]hashfile\f[R]
\f[B]این گزینه در درجه اول برای آزمایش است\f[R].
اگر قصد استفاده از فایل‌های هش را دارید، گزینه \f[CR]\-\-hashfile\f[R] را ببینید.
.RS
.PP
خواندن هش‌ها از یک فایل هش.
با این گزینه نیازی به ارائه فهرست فایل‌ها نیست.
عملیات حذف تکرار در صورتی قابل انجام است که duperemove از همان دایرکتوری پایه‌ای اجرا شود که در فایل هش ذخیره شده است (اساساً duperemove باید بتواند فایل‌ها را پیدا کند).
.RE
.TP
\f[B]\-\-write\-hashes\f[R]=\f[CR]hashfile\f[R]
\f[B]این گزینه در درجه اول برای آزمایش است\f[R].
اگر قصد استفاده از فایل‌های هش را دارید، گزینه \f[CR]\-\-hashfile\f[R] را ببینید.
.RS
.PP
نوشتن هش‌ها در یک فایل هش.
این هش‌ها را می‌توان در تاریخی دیگر خواند و عملیات حذف تکرار را بر اساس آن‌ها انجام داد.
.RE
.TP
\f[B]\-\-debug\f[R]
چاپ پیام‌های خطایابی؛ در صورت انتخاب، گزینه \f[CR]\-v\f[R] را نیز تحمیل می‌کند.
.TP
\f[B]\-\-hash\-threads\f[R]=\f[CR]N\f[R]
منسوخ شده است؛ گزینه \f[CR]\-\-io\-threads\f[R] در بالا را ببینید.
.TP
\f[B]\-\-exclude\f[R]=\f[CR]PATTERN\f[R]
می‌توانید فایل‌ها و پوشه‌های خاصی را از فرآیند حذف تکرار مستثنی کنید.
این امر به‌عنوان مثال می‌تواند برای نادیده گرفتن نقاط سوارشدن اسنپ‌شات‌های ساب‌والیوم (subvolume snapshot) مفید باشد.
مگر اینکه یک مسیر کامل برای استثنا ارائه دهید، الگوی استثنا نسبت به دایرکتوری کاری فعلی در نظر گرفته خواهد شد.
نکته دیگری که باید در نظر داشت این است که پوسته‌ها معمولاً الگوهای تطبیق (glob pattern) را گسترش می‌دهند، بنابراین الگوی ارائه‌شده باید در کوتیشن قرار گیرد.
با در نظر گرفتن همه موارد، روش صحیح ارائه الگوی استثنا به این صورت است:
\f[CR]duperemove \-\-exclude \[dq]/path/to/dir/file*\[dq] /path/to/dir\f[R]
.SH "مثال‌ها (EXAMPLES)"
.SS "استفاده ساده (Simple Usage)"
حذف تکرار فایل‌ها در دایرکتوری foo/ به‌همراه پیمایش بازگشتی در تمام زیردایرکتوری‌ها.
بهتر است از این حالت تنها برای مجموعه‌داده‌های کوچک استفاده کنید:
.IP
.EX
duperemove \-dr /foo
.EE
.PP
استفاده از duperemove به همراه fdupes برای حذف تکرار فایل‌های یکسان در زیر دایرکتوری foo:
.IP
.EX
fdupes \-r /foo | duperemove \-\-fdupes
.EE
.SS "استفاده از فایل‌های هش (Using Hashfiles)"
برنامه Duperemove می‌تواند به‌صورت اختیاری هش‌های محاسبه‌شده را در یک فایل هش ذخیره کند.
فایل‌های هش دو مزیت اصلی دارند: مدیریت مصرف حافظه و قابلیت استفاده مجدد.
هنگام استفاده از فایل هش، duperemove هش‌های محاسبه‌شده را به‌جای حافظه اصلی، به‌صورت جریانی در آن فایل می‌نویسد.
.PP
اگر Duperemove با یک فایل هش موجود اجرا شود، تنها فایل‌هایی را پویش می‌کند که از زمان آخرین به‌روزرسانی فایل هش تغییر کرده‌اند.
آرگومان \f[CR]files\f[R] مشخص می‌کند که duperemove کدام دایرکتوری‌ها را برای یافتن فایل‌های تازه اضافه‌شده پویش کند.
در ساده‌ترین حالت استفاده، duperemove را با همان پارامترها دوباره اجرا می‌کنید و این برنامه فقط فایل‌های تغییریافته یا تازه اضافه‌شده را پویش می‌کند \- مثال اول در زیر را ببینید.
.PP
حذف تکرار فایل‌ها در دایرکتوری foo و ذخیره هش‌ها در foo.hash.
می‌توانیم این دستور را بارها اجرا کنیم و duperemove تنها فایل‌های تغییریافته یا تازه اضافه‌شده را چِک‌سام کرده و تکرار آن‌ها را حذف می‌کند:
.IP
.EX
duperemove \-dr \-\-hashfile=foo.hash foo/
.EE
.PP
عدم پویش برای فایل‌های جدید، صرفاً به‌روزرسانی فایل‌های تغییریافته یا حذف‌شده و سپس حذف تکرار:
.IP
.EX
duperemove \-dr \-\-hashfile=foo.hash
.EE
.PP
افزودن دایرکتوری bar به فایل هش و کشف هرگونه فایلی که اخیراً به foo اضافه شده است:
.IP
.EX
duperemove \-dr \-\-hashfile=foo.hash foo/ bar/
.EE
.PP
فهرست کردن فایل‌های ردگیری‌شده توسط foo.hash:
.IP
.EX
duperemove \-L \-\-hashfile=foo.hash
.EE
.SH "پرسش‌های متداول (FAQ)"
.SS "آیا duperemove برای داده‌های من امن است؟"
بله.
به‌طور مشخص، duperemove خود داده‌ها را یکسان‌سازی نمی‌کند.
این ابزار صرفاً نامزدهای حذف تکرار را می‌یابد و آن‌ها را به ioctl موسوم به FIDEDUPERANGE در هسته لینوکس ارسال می‌کند.
به‌منظور تضمین یکپارچگی داده‌ها، هسته دسترسی‌های دیگر به فایل را مسدود کرده و پیش از اقدام به حذف تکرار، مقایسه‌ای بایت‌به‌بایت انجام می‌دهد.
.SS "آیا متوقف کردن برنامه (با Ctrl\-C) امن است؟"
بله.
هسته لینوکس وظیفه کار با داده‌های واقعی را بر عهده دارد.
از طرف duperemove نیز از یک موتور پایگاه‌داده تراکنشی استفاده می‌شود.
در نتیجه شما می‌توانید برنامه را در هر نقطه‌ای با ctrl\-c متوقف کرده و مجدداً اجرا نمایید بدون اینکه با خرابی فایل هش خود مواجه شوید.
در صورت بروز باگ، ممکن است فایل هش آسیب ببیند اما داده‌های شما هرگز دچار مشکل نخواهند شد.
.SS "دو فایل یکسان دارم، چرا تکرار آن‌ها حذف نمی‌شود؟"
برنامه duperemove به‌طور پیش‌فرض در سطح دقت اکستنت (extent granularity) عمل می‌کند.
این بدان معناست که اگر دو فایل از نظر منطقی یکسان باشند (محتوای یکسانی داشته باشند) اما با ساختار اکستنت متفاوتی روی دیسک قرار گرفته باشند، تکرار آن‌ها حذف نخواهد شد.
به‌عنوان مثال، اگر دو فایل هر کدام 128 کیلوبایت باشند و محتوای یکسانی داشته باشند، اما یکی از آن‌ها از یک اکستنت 128 کیلوبایتی منفرد و دیگری از دو اکستنت 64 کیلوبایتی تشکیل شده باشد، تکرار آن‌ها حذف نخواهد شد.
این رفتار وابسته به پیاده‌سازی فعلی است و با بهبود duperemove ممکن است تغییر کند.
.SS "هزینه و اثر جانبی حذف تکرار چیست؟"
حذف داده‌های تکراری منجر به افزایش تکه‌تکه‌شدگی (fragmentation) می‌شود.
اندازه بلوک انتخاب‌شده می‌تواند بر این امر اثرگذار باشد.
اندازه‌های بزرگ‌تر بلوک تکه‌تکه‌شدگی کمتری ایجاد می‌کنند اما ممکن است فضای زیادی را آزاد نکنند.
برعکس، اندازه‌های کوچک‌تر بلوک ممکن است فضای بیشتری آزاد کنند اما به قیمت افزایش تکه‌تکه‌شدگی تمام شوند.
.SS "چگونه می‌توانم از میزان فضای ذخیره‌شده پس از حذف تکرار مطلع شوم؟"
برنامه duperemove پس از عملیات حذف تکرار، تخمینی از فضای ذخیره‌شده را برای شما چاپ خواهد کرد.
.PP
با اجرای دستور `btrfs fi df` قبل و بعد از هر بار اجرای duperemove می‌توانید تصویر دقیق‌تری به دست آورید.
.PP
در مورد استفاده از ابزار `df` در btrfs دقت کنید \- معمول است که گزارش فضا در حین پردازش به‌روزرسانی‌های با تأخیر (delayed updates) «عقب بماند»، بنابراین اجرای فوری df بلافاصله پس از حذف تکرار ممکن است هیچ ذخیره فضایی را نشان ندهد.
.SS "چرا گزارش کل داده‌های تکراری حذف‌شده یک مقدار تقریبی است؟"
در حال حاضر duperemove می‌تواند تشخیص دهد که برخی از اکستنت‌های زیربنایی با فایل‌های دیگر به اشتراک گذاشته شده‌اند، اما نمی‌تواند مشخص کند که آن اکستنت‌ها دقیقاً با کدام فایل‌ها مشترک هستند.
.PP
تصور کنید duperemove در حال بررسی مجموعه‌ای از فایل‌ها است و متوجه یک ناحیه داده مشترک در یکی از آن‌ها می‌شود.
آن داده ممکن است با فایلی خارج از این مجموعه مشترک باشد.
از آنجا که duperemove نمی‌تواند این اطلاعات را تفکیک کند، داده‌های مشترک را به حساب عملیات حذف تکرار جاری منظور می‌کند، در حالی که در واقعیت ممکن است هسته سیستم‌عامل فرآیند حذف تکرار بیشتری را برای ما انجام داده باشد.
.SS "چرا فایل‌ها حذف تکرار را نشان می‌دهند اما فضای دیسک کم نمی‌شود؟"
این موضوع کمی پیچیده است، اما به قابلیتی در Btrfs به نام \f[I]bookending\f[R] مربوط می‌شود.
مطلب \c
.UR http://en.wikipedia.org/wiki/Btrfs#Extents
ویکی Btrfs
.UE \c
\ این موضوع را با جزئیات توضیح می‌دهد.
.PP
به‌طور کلی، بازنمایی زیربنایی یک اکستنت در Btrfs (به‌جز موارد استثنایی کوچک) قابل تفکیک نیست.
بنابراین گاهی اوقات ممکن است در شرایطی قرار بگیریم که یک اکستنتِ فایل تا حدی تکرارش حذف شود (و اکستنت‌ها به‌عنوان مشترک علامت‌گذاری شوند)، اما آیتم اکستنت زیربنایی در دیسک آزاد یا کوتاه (truncate) نشود.
.SS "آیا برای حجم داده‌ای که duperemove می‌تواند پردازش کند سقف مشخصی وجود دارد؟"
دستور duperemove در خواندن و فهرست‌بندی داده‌ها سریع عمل می‌کند.
اجراهای حذف تکرار با محدودیت حافظه رم مواجه خواهند شد، مگر اینکه از گزینه \f[CR]\-\-hashfile\f[R] استفاده شود.
گزینه \f[CR]\-\-hashfile\f[R] به duperemove اجازه می‌دهد تا هش‌های تکراری را موقتاً روی دیسک ذخیره کند، بنابراین سربار بزرگ حافظه رم برطرف شده و امکان پویش و حذف تکرار حجم بسیار بیشتری از داده‌ها فراهم می‌شود.
با این حال، در عمل شما با سرعت دیسک‌ها و پردازنده خود محدود خواهید شد.
در شرایطی که منابع محدود هستند، ممکن است با تقسیم مجموعه داده ورودی به بخش‌های کوچک‌تر به موفقیت دست یابید.
.PP
هنگام استفاده از فایل هش، duperemove تنها هش‌های تکراری را در حافظه رم ذخیره می‌کند.
در طول کارکرد عادی، درخت هش بیشترین بخش از مصرف حافظه duperemove را تشکیل می‌دهد.
از نسخه v0.11 برنامه Duperemove، اندازه ورودی‌های هش 88 بایت است.
اگر تعداد بلوک‌های تکراری در مجموعه داده خود را بدانید، می‌توانید با ضرب کردن آن در اندازه ورودی هش، به یک تخمین تقریبی از مصرف حافظه دست یابید.
.PP
ارقام واقعی کارایی به سخت‌افزار بستگی دارد \- اطلاعات به‌روز نتایج آزمایش‌ها در ویکی duperemove نگهداری می‌شود (پیوند زیر را ببینید).
.SS "حجم فایل هش که duperemove ایجاد می‌کند چقدر خواهد بود؟"
فایل‌های هش اساساً فایل‌های پایگاه‌داده sqlite3 با چند جدول هستند که بزرگ‌ترین آن‌ها جداول files و extents هستند.
هر ورودی جدول extents حدود 72 بایت است، اگرچه ممکن است با افزودن ویژگی‌های جدید افزایش یابد.
اندازه یک ورودی جدول files به مسیر فایل بستگی دارد، اما یک تخمین خوب حدود 270 بایت به ازای هر فایل است.
تعداد اکستنت‌ها در یک مجموعه داده مستقیماً با سطح تکه‌تکه‌شدگی فایل متناسب است.
.PP
اگر تعداد کل اکستنت‌ها و فایل‌ها را در مجموعه داده خود بدانید، می‌توانید اندازه فایل هش را به صورت زیر محاسبه کنید:
.IP
.EX
Hashfile Size = Num Hashes * 72 + Num Files * 270
.EE
.PP
به‌عنوان مثالی در دنیای واقعی برای ۱ ترابایت داده (۸۳۸۸۶۰۸ بلوک ۱۲۸ کیلوبایتی) توزیع‌شده در ۱۰۰۰ فایل:
.IP
.EX
8388608 * 72 + 270 * 1000 = 755244720
.EE
.PP
که معادل حدود ۷۲۰ مگابایت برای ۱ ترابایت داده در ۱۰۰۰ فایل است.
.PP
\f[CR]توجه داشته باشید که هیچ‌یک از این محاسبات سربار پایگاه‌داده را در نظر نمی‌گیرد.\f[R]
.SH "نکات (NOTES)"
در حال حاضر حذف تکرار داده‌ها تنها توسط سیستم‌فایل‌های \f[CR]btrfs\f[R] و \f[CR]xfs\f[R] پشتیبانی می‌شود.
.PP
صفحه پروژه Duperemove در گیت‌هاب: \c
.UR https://github.com/markfasheh/duperemove
github
.UE \c
.PP
همچنین صفحه ویکی پروژه: \c
.UR https://github.com/markfasheh/duperemove/wiki
wiki
.UE \c
.SH "همچنین ببینید (SEE ALSO)"
.IP \[bu] 2
\f[CR]hashstats(8)\f[R]
.IP \[bu] 2
\f[CR]filesystems(5)\f[R]
.IP \[bu] 2
\f[CR]btrfs(8)\f[R]
.IP \[bu] 2
\f[CR]xfs(8)\f[R]
.IP \[bu] 2
\f[CR]fdupes(1)\f[R]
.IP \[bu] 2
\f[CR]ioctl_fideduprange(2)\f[R]