clevercsv-detect - تشخیص
خودکار
گویش و
جداکننده‌های
فایل‌های CSV
clevercsv detect [-c | --consistency] [-e کدگذاری | --encoding=کدگذاری]
[-n تعداد_نویسه‌ها | --num-chars=تعداد_نویسه‌ها] [ -p | --plain |
-j | --json ] [--no-skip] [--add-runtime] <مسیر>
تشخیص
خودکار
گویش
(جداکننده،
نویسه
نقل‌قول و
نویسه گریز)
در
فایل‌های CSV.
-h, --help
نمایش
این پیام
راهنما و
خروج.
-c, --consistency
به‌طور
پیش‌فرض،
گویش
فایل‌های CSV
با استفاده
از یک
فرآیند
دومرحله‌ای
تشخیص داده
می‌شود.
ابتدا،
مجموعه‌ای
از
بررسی‌های
سخت‌گیرانه
برای
ارزیابی
مطابقت
فایل با یک
قالب بسیار
پایه‌ای
انجام
می‌گیرد
(برای
نمونه،
زمانی که
تمام
خانه‌های
جدول در
فایل از نوع
عدد صحیح
هستند). اگر
هیچ‌یک از
این
بررسی‌ها
موفقیت‌آمیز
نباشد، از
معیار
سازگاری
داده‌های
ون دن برگ و
همکاران (2019)
برای تشخیص
گویش
استفاده
می‌شود. با
استفاده از
این گزینه،
می‌توانید
فرآیند
تشخیص را
وادار کنید
که همواره
از معیار
سازگاری
داده‌ها
استفاده
کند. این
قابلیت
می‌تواند
برای اهداف
آزمایشی یا
پژوهشی
مفید باشد.
-e, --encoding
کدگذاری
فایل CSV
داده‌شده
به‌طور
خودکار با
استفاده از
chardet تشخیص
داده
می‌شود.
اگرچه chardet دقت
بسیار
بالایی
دارد، اما
بی‌نقص
نیست. در
موارد
نادری که در
تشخیص
کدگذاری
فایل
اشتباه رخ
می‌دهد،
می‌توانید
با تعیین
کدگذاری از
طریق این
گزینه، آن
را
بازنویسی
کنید. علاوه
بر این،
هنگامی که
چندین فایل CSV
با کدگذاری
مشخص
دارید،
می‌توانید
با استفاده
از این
گزینه سرعت
فرآیند
تولید کد را
افزایش
دهید.
-n, --num-chars
در
فایل‌های
بزرگ CSV، گاهی
ممکن است به
دلیل تعداد
بالای
گویش‌های
محتمل،
تشخیص گویش
کمی کند
باشد. برای
رفع این
مشکل،
می‌توانید
تعداد
نویسه‌های
مورد
استفاده
برای تشخیص
را محدود
کنید.
نکته‌ای
که باید در
نظر داشت
این است که
ممکن است CleverCSV
برای
استنباط
صحیح گویش
به خواندن
تعداد
مشخصی از
نویسه‌ها
نیاز داشته
باشد. برای
نمونه، در
فایل ``imdb.csv`` در
مخزن
گیت‌هاب،
گویش صحیح
تنها پس از
خواندن
حداقل ۶۶ خط
از فایل
قابل تشخیص
است.
بنابراین،
اگر امکان
اجرای CleverCSV روی
کل فایل
وجود دارد،
انجام این
کار به‌طور
کلی توصیه
می‌شود.
-p, --plain
چاپ
اجزای گویش
در خطوط
جداگانه.
-j, --json
چاپ گویش
در خروجی
استاندارد
در قالب یک
شیء JSON. این
شیء همواره
کلیدهای 'delimiter'،
'quotechar'، 'escapechar' و 'strict' را
خواهد داشت.
در صورت
مشخص شدن
--add-runtime، کلید 'runtime'
نیز اضافه
خواهد شد.
--no-skip
امتیاز
سازگاری
داده‌ها که
برای تشخیص
گویش
استفاده
می‌شود
شامل دو
مؤلفه است:
امتیاز
الگو (pattern score) و
امتیاز نوع
(type score). امتیاز
نوع بین ۰ و ۱
قرار دارد.
هنگام
محاسبه
معیارهای
سازگاری
داده‌ها
برای
گویش‌های
مختلف، اگر
متوجه شویم
که امتیاز
الگو کمتر
از بهترین
امتیاز
سازگاری
داده‌های
مشاهده‌شده
تا آن لحظه
است، از
محاسبه
امتیاز نوع
صرف‌نظر
می‌کنیم. با
استفاده از
این گزینه
می‌توان
این رفتار
را غیرفعال
کرد و
امتیاز نوع
را برای
تمام
گویش‌ها
محاسبه
نمود. این
قابلیت
بیشتر برای
مقاصد
اشکال‌زدایی
و آزمایش
مفید است.
--add-runtime
افزودن
زمان اجرای
فرآیند
تشخیص به
خروجی.
<مسیر>
مسیر
فایل CSV.
بخشی از
مجموعه‌ابزار
CleverCSV.
