پایان مرحلهٔ اول بازبینی خروجیهای OCR

مرحلهٔ اول بازبینی را با بیش از ۹۵۰۰۰ مورد بازبینی به پایان رساندیم (برخی بازبینیهای گذری شامل متون نامربوط و شیطنت‌آمیز بود که با فیلتر و گروه‌بندی بر اساس آی.پی فرستنده آنها را حذف کردم و این در آمار نهایی لحاظ نشده) که تقریباً تمامی ۵۳۰۰۰ و خرده‌ای خط شعر بریده شده از قصاید قاآنی به همراه عناوین و پاورقیهای آن و جلد اول غزلیات بیدل را پوشش می‌داد. با این حال از این تعداد حدود ۲۴۱۴۰ مورد (حدود ۴۶ درصد) تنها یک بار بازبینی شده‌اند و این احتمال وجود خطاهای زیاد در متن نهایی را بالا می‌برد.

در هر حال، با بازبینی کلی خروجیها نتیجه به نظرم رضایت‌بخش است ضمن آن که یکی از نشانه‌های آن که این بازبینی چقدر مؤثر بوده آن است که به دلیل آن که در نرم‌افزار OCR مورد استفاده در صورت تعیین نام فونت متن چاپی دقت بازشناسی افزایش می‌یابد من فونت تمام دیوان قاآنی را از پیش با یک فونت خاص تنظیم کرده بودم. فونتی که فقط شامل متن اشعار می‌شود و متأسفانه من نسبت به تیتر اشعار که فونت آن کاملاً متفاوت بود بی‌توجهی کرده بودم. در هر صورت، این قضیه را بعد از شروع کار بازبینی متوجه شدم و تصحیح این اشتباه مشکل بود. اثر تعیین فونت اشتباه برای متنها آن بود که تیتر اشعار بسیار بد بازشناسی شده بود و اغلب دوستانی که با این قسمتها برخورد می‌کردند باید کل متن را (که عموماً شامل القاب و عناوین ثقیل بود) از نو تایپ می‌کردند. جالب اینجاست که درصد بسیار بالایی از این عناوین با همان یک بار بازبینی توسط دوستان کاملاً تصحیح شده‌اند و این نشانگر میزان جدیت و دقتی است که دوستان در بازبینی اشعار به خرج داده‌اند.

تأثیر انتخاب فونت اشتباه و دقت بازبینی دوستان گنجور

در مجموع ۵۲۱۰ آی.پی مستقل از دوستانی که مشارکت کرده‌اند به ثبت رسیده است. نمودارهای زیر روند بازبینی را در ادامهٔ آمارهای قبلی (اینجا و اینجا) نشان می‌دهند.

آمار بازبینیهای گنجور
کشورهای بازبینهای گنجور

با تکمیل این مرحله مجموعاً (با احتساب قسمت کوچکی از کار که پیش‌تر بدون استفاده از سیستم عمومی بازبینی و توسط خود من انجام شده بود) حدود ۱۷۰۰۰ بیت از اشعار قاآنی (شامل کلیهٔ قصاید او) و حدود ۱۵۰۰۰ بیت از غزلیات بیدل دهلوی (جلد اول دیوان غزلیات بیدل چاپ انتشارات نگاه) در گنجور در دسترس قرار گرفته است. غزلیات بیدل بر اساس حروف آخر رَوی از نو مرتب شده‌اند (ترتیب پیش‌فرض نسخهٔ انتشارات نگاه بر اساس حرف آخر روی و سپس حرف اول مصراع اول غزل است که چندان کاربردی و قابل استفاده نیست). به زودی قسمتهای وزنیابی نشده از این اشعار را وزنیابی می‌کنم و صفحات آمار اشعار و وزنها (اینجا) را به‌روز می‌کنم.

قصاید قاآنی
غزلیات بیدل دهلوی

دیوان قاآنی تعداد قابل توجهی پاورقی دارد که آنها هم برای بازبینی در دسترس قرار گرفته بودند و عموماً تصحیح شده‌اند، این پاورقیها را که بعضاً شامل اطلاعات ارزشمندی هستند به مرور به صورت حاشیه پای اشعار او وارد خواهم کرد.

دوستانی که از گنجور رومیزی استفاده می‌کنند برای اضافه کردن این اشعار لازم است ابتدا از طریق ویرایشگر گنجور رومیزی، وارد اشعار بیدل و قاآنی شوند و با استفاده از عنوان «حذف شاعر» از منوی دکمهٔ شاعر جدید آثار این دو شاعر را از پایگاه داده‌های برنامه پاک کنند. سپس با دریافت این فایل برای غزلیات بیدل (شامل ۱۳۸۱ غزل) و این فایل برای قصاید قاآنی، خارج کردن آنها از حالت فشرده و سپس انتخاب آنها با کمک گزینهٔ «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها» این آثار را به گنجور رومیزی خود اضافه کنند.

غزلیات بیدل در گنجور رومیزی

در ادامهٔ کار، از دو هفته پیش، جلد دوم غزلیات بیدل را برای بازبینی در دسترس گذاشته‌ام. روند بازبینی را از حالت تصادفی قبلی به حالت ترتیبی تغییر داده‌ام تا در ابتدای کار، تمامی تکه‌ها حداقل یک بار بازبینی شوند. غزلیات و سایر اشعار قاآنی، کلیات اشعار ملک‌الشعرای بهار و کلیات دیوان امیرمعزی نیشابوری نیز اسکن و OCR شده‌اند و در مراحل بعد برای بازبینی در دسترس قرار خواهند گرفت.

تغییر بستهٔ میزبانی گنجور

متأسفانه در سه ماه اخیر هزینهٔ پنهان میزبانی گنجور در قالب بستهٔ خریداری شده از شرکت مدیاتمپل (سرویس گرید که راهکار ابتکاری این شرکت برای میزانی اشتراکی است) افزایش صعودی داشت و برای سرویس میزبانیی که قیمت آن سالانه ۲۰۰ دلار است در عرض سه ماه حدود ۱۸۰ دلار جریمهٔ مصرف بیش از حد منابع پرداخت شده بود (که البته هزینهٔ آن از محل کمکهای مالی دوستان تأمین شده بود).

هزینه‌های پنهان گنجور

با توجه به مشکل به وجود آمده و این که روند افزایشی این هزینهٔ پنهان به زودی به نقطه‌ای می‌رسید که تأمین آن امکان نداشت تصمیم گرفتم با خرید یک سرور مجازی از همین شرکت (که انشاالله هزینهٔ پنهان ندارد 😉 ) مشکل را حل کنم. در هر حال، امروز انتقال فایلها و پایگاه داده‌ها تکمیل شده و گنجور روی سرور جدید در دسترس قرار گرفته است.

اشعار فروغ در گنجور رومیزی

به لطف و زحمت سرکار خانم آزاده رستمی نویسندهٔ وبلاگ این شعر ماندنی است اشعار فروغ فرخزاد برای گنجور رومیزی آماده شده است.

شعر ایمان بیاوریم فروغ در گنجور رومیزی

خانم رستمی اشعار فروغ را در گام اول با استفاده از سایت ارزشمند آوای آزاد وارد گنجور رومیزی نموده‌اند، سپس متن آن را با آثار فروغ منتشر شده توسط انتشارات نوید در سال ۱۳۶۸ مقابله، تصحیح و نشانه‌گذاری نموده‌اند.

در هر حال برای استفاده از حاصل زحمت خانم رستمی، پس از دریافت این فایل، خارج کردن آن از حالت فشرده، سپس اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها»ی برنامه اشعار فروغ را به گنجور رومیزی خود اضافه کنید.

جستجوی بهتر در صفحهٔ جاری با گنجور رومیزی ۱.۹۲

جستجو در صفحهٔ جاری که با فشردن میانبر Ctrl+F یا کلیک بر روی دکمهٔ «برجسته‌سازی» بر روی نوار ابزار در دسترس قرار می‌گیرد در ویرایش جدید گنجور رومیزی بهبود یافته و کاربر می‌تواند با زدن کلید Enter در جعبهٔ متنی حاوی متن مورد نظر، یا کلیک بر روی دکمهٔ «بعدی» در مقابل این جعبهٔ متنی محل مورد بعدی یافته شده در صفحه را ببیند.

برجسته‌سازی مورد بعدی یافت شده در صفحه

علاوه بر آن، اشکالی که در نمایش عنوانهای طولانی برای اشعار (بخشهایی از مثنوی و …) در ویرایشهای پیشین مشاهده می‌شد در این ویرایش با نمایش چندخطی این گونه عنوانها رفع شده است.

نمایش عنوانهای طولانی در ویرایش جدید گنجور رومیزی

برخی از گزینه‌های پیکربندی که دیگر کاربرد چندانی ندارند و همینطور یکی از عنوانهای منو که عملکرد آن به طور کامل توسط یک عنوان دیگر جایگزین شده نیز در این ویرایش حذف شده‌اند.

نصاب بروزرسانی به این ویرایش را از اینجا دریافت کنید.

دیوان کسایی مروزی

به لطف و زحمت آقای مهرداد بیات نویسندهٔ وبلاگ عشق است مجموعه اشعار باقیمانده از کسایی مروزی از پیشاهنگان شعر فارسی با استفاده از صحیح شادروان استاد محمدامین ریاحی در گنجور در دسترس قرار گرفت. آقای بیات اشعار کسایی را با استفاده از ویرایشگر گنجور رومیزی وارد کرده‌اند. می‌توانید دیوان کسایی را در گنجور در این صفحه مشاهده کنید.

علاوه بر آن، علاقمندان با دریافت این فایل، خارج کردن آن از حالت فشرده، سپس اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها»ی برنامه می‌توانند اشعار این شاعر قرن چهارم هجری را به گنجور رومیزی خود اضافه کنند.

اشعار امام خمینی در گنجور رومیزی

به لطف و زحمت دوست گرامی آقای علی پی‌سپار (که پیشتر زحمت اضافه کردن اشعار سهراب سپهری را به گنجور رومیزی کشیده بودند) مجموعه اشعار امام خمینی با استفاده از سایت ایشان (این قسمت) برای کاربران گنجور رومیزی آماده شده و در دسترس قرار گرفت.

اشعار امام خمینی در گنجور رومیزی

علاقمندان با دریافت این فایل، خارج کردن آن از حالت فشرده، سپس اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها»ی برنامه می‌توانند اشعار امام را به گنجور رومیزی خود اضافه کنند.

گزارش دوم روند بازبینی خروجیهای OCR

در گزارش پیشین با توجه به روند جاری پیش‌بینی کرده بودم که چیزی حدود یک ماه بعد اولین خروجیهای بازبینی احتمالاً برای در دسترس قرار گرفتن از طریق سایت آماده می‌شوند. در هر حال، حالا چیزی بیش از یک ماه از آن موقع گذشته و هنوز به مرحلهٔ تولید خروجی نرسیده‌ایم. علت هم آن بوده که تعداد زیادی از تکه‌های متن هنوز حتی یک بار هم بازبینی نشده بودند. حدود دو هفته پیش تغییراتی در کد بازبینی دادم تا بازبینی‌نشده‌ها با اولویت بالاتری در معرض بازبینی قرار گیرند و با این روند امیدوارم سریع‌تر به مرحلهٔ تولید خروجی برسیم.

برای اطلاع دوستان از روند پیشرفت کار: تا این لحظه ۴۴۳۰۳ تکه (حدود ۸۳ درصد) از کل تصاویر حداقل یک بار بازبینی شده‌اند که از این تعداد ۱۸۳۲۱ تکه بیش از یک بار بازبینی شده‌اند. مجموعاً ۴۲۴۳ آی.پی مستقل از دوستانی که مشارکت کرده‌اند به ثبت رسیده. نمودارهای زیر روند مشارکت بازبینها را در ادامهٔ آمارهای گزارش اول نشان می‌دهند:

آمار بازدیدهای از سیستم بازبینی خروجیهای OCR
کشورهای بازبینها

پشتیبانی از نمایش متون منثور در گنجور رومیزی ویرایش ۱.۹

بعد از آن که گلستان سعدی از طریق سایت در دسترس قرار گرفت نیاز بود به گنجور رومیزی نیز امکان نمایش صحیح متون منثور را اضافه کنم. در ویرایش ۱.۹ چنین قابلیتی اضافه شده:

نمایش گلستان سعدی در گنجور رومیزی

پشتیبانی از پاراگرافهای متون منثور در چاپ، برجسته‌سازی (جستجو در صفحهٔ جاری) و ویرایش ناقص است و نیاز به کار بیشتری دارد.

پس از دریافت و نصب این بروزرسانی، می‌توانید گلستان سعدی را با دریافت این فایل و قسمتی از اشعار قاآنی را که در سایت در دسترس است با دریافت این فایل به گنجور رومیزی خود اضافه کنید (با طی مراحل اضافه کردن اشعار جدید شامل خارج کردن از حالت فشرده و سپس اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها» و انتخاب فایل حاوی اشعار).

آثار سهراب سپهری در گنجور رومیزی ویرایش ۱.۸۶

به لطف و زحمت دوست گرامی آقای علی پی‌سپار آثار سهراب سپهری با استفاده از این منبع به گنجور رومیزی اضافه شد. همزمان ویرایش ۱.۸۶ گنجور رومیزی که شامل چند رفع اشکال و یک قابلیت جدید در ویرایشگر است عرضه شد. جزئیات بیشتر راجع به تغییرات گنجور رومیزی را اینجا ببینید.

شعری از سهراب سپهری در گنجور رومیزی

توصیه می‌شود (جهت جلوگیری از وقوع خطایی که ممکن است در ویرایشهای قدیمی‌تر هنگام تلاش برای اضافه کردن اشعار جدید پیش آید) دوستان پیش از اضافه کردن آثار سهراب سپهری، نرم‌افزار خود را با دریافت این نصاب به‌روز کنند و سپس با دریافت این فایل، خارج کردن آن از حالت فشرده، سپس اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها»ی برنامه آثار سهراب را به گنجور رومیزی خود اضافه کنند.

ویرایشگر گنجور رومیزی

تعدادی از دوستان گاه و بیگاه درخواست اضافه شدن آثار شاعران مورد نظر خود را به گنجور می‌کنند. در جواب این دسته از دوستان معمولاً متذکر می‌شوم که امکانات در اختیار گنجور بسیار محدود است، حجم فعلی اشعار عمدتاً از منابع از پیش دیجیتالی شده به گنجور منتقل شده‌اند و راه‌حلهایی که در حال حاضر برای گسترش دامنهٔ داده‌های گنجور در پیش گرفته‌ام در کوتاه‌مدت برای اضافه کردن شاعران مورد علاقهٔ آنها کارایی ندارند. در هر حال به نظرم، برخی از دوستان در صورتی که علاقمند باشند ممکن است بخواهند خودشان (در کنار دوستانی که خروجیهای OCR را بازبینی می‌کنند) به گنجور برای گسترش دامنهٔ داده‌های سایت کمک کنند. یکی از راه‌حلهای ممکن استفاده از ویرایشگر نرم‌افزار گنجور رومیزی است. در این نوشته تلاش می‌کنم راهنمای اولیه‌ای برای استفاده از این قابلیت گنجور رومیزی در اختیار بگذارم.

«ویرایشگر شعر» یکی از امکانات جانبی گنجور رومیزی است که به کاربران امکان گسترش داده‌های این برنامه (و سایت گنجور) را می‌دهد. برای دسترسی به این قابلیت لازم است ابتدا با باز کردن پنجرهٔ «تنظیمات» در ردیف «دکمه‌های اختیاری» گزینهٔ «ویرایشگر» را فعال کنید و دکمهٔ «تأیید» را بزنید تا به دکمهٔ «ویرایشگر» در سمت چپ نوار ابزار گنجور رومیزی دسترسی پیدا کنید. با کلیک بر روی این دکمه پنجرهٔ «ویرایشگر شعر» باز می‌شود.

فعال کردن نمایش دکمه ویرایشگر
دکمهٔ ویرایشگر شعر

در قسمت میانی پنجرهٔ ویرایشگر، همانند پنجرهٔ اصلی گنجور رومیزی، سلسله‌مراتب «خانه -> نام شاعر -> بخش …» را مشاهده می‌کنید، همانند پنجرهٔ اصلی عنوان شعر در میانهٔ پنجره نوشته می‌شود اما مصرعها در قالب جعبه‌های متنی با متن قابل ویرایش نمایش داده می‌شوند. در صورتی که یکی از جعبه‌های متنی فوکوس داشته باشد با استفاده از کلیدهای جهتی بالا و پایین می‌توانید به مصرع بالا و پایین بروید و با استفاده از کلیدهای Tab و Shift+Tab به مصرع قبلی و بعدی. در صورتی که متن جعبهٔ متنی را تغییر دهید رنگ آن از سفید به زرد کمرنگ تغییر پیدا می‌کند. با جابجایی به جعبهٔ متنی دیگر یا رفتن به شعر دیگر یا بستن پنجره؛ تغییرات انجام شده به طور خودکار ذخیره می‌شود و رنگ زمینهٔ جعبهٔ متنی زرد به سفید تغییر پیدا می‌کند. زدن کلید Enter در حالتی که مصرعهای فرد (اول) فعال هستند باعث می‌شود مصرع زوج روبرو فعال شود ولی زدن Enter در حالتی که مصرعهای زوج فعال هستند باعث درج یک بیت جدید زیر بیت فعلی می‌شود. با استفاده از کلید ترکیبی Shift+Delete می‌توانید بیت جاری را حذف کنید (توجه داشته باشید که ویرایشهای انجام شده غیرقابل برگشت هستند و بلافاصله ذخیره می‌شوند بنابراین بهتر است برای آزمایش این دکمه‌ها روی شاعر جدید و شعر جدید فرضی آزمایش کنید نه روی داده‌های اصلی). در صورتی که در حال وارد کردن شعر نیمایی (مصرعهای تکی) هستید در منوی دکمهٔ «شعر جدید» گزینهٔ «شعری که درج می‌شود نیمایی یا آزاد است» را علامت بزنید. در این حالت زدن کلید Enter باعث درج یک تک‌مصراع نیمایی زیر مصراع جاری می‌شود.

پنجرهٔ ویرایشگر
ویرایش متن باعث تغییر رنگ زمینهٔ جعبهٔ حاوی آن می‌شود

برای اضافه کردن شاعران جدید به برنامه باید ابتدا ساختار داده‌ها در گنجور رومیزی را بشناسید: در گنجور رومیزی دسته‌بندی شعرها در بالاترین رده بر اساس نام شاعر صورت می‌گیرد. آثار هر شاعر در قالب بخشهای مختلف تقسیم‌بندی می‌شوند که هر یک از این بخشها می‌توانند زیربخشهای خاص خود را داشته باشند و این روند (زیربخشهای مختلف برای هر بخش) در سطح زیربخشها ادامه پیدا می‌کند.

بنابراین در صورتی که تمایل دارید آثار یک شاعر جدید را به برنامه اضافه کنید اولین گام اضافه کردن «شاعر جدید» است. برای این کار روی دکمهٔ متناظر کلیک کنید و نام شاعر را وارد کنید. از طریق منوی این دکمه می‌توانید نام شاعر فعلی (شاعری که نامش در پنجرهٔ میانی درج شده) را ویرایش کنید یا آن را (به همراه کلیهٔ آثار او) حذف کنید.

در صورتی که می‌خواهید اشعار شاعر جدید را در قالب بخشهای مختلف دسته‌بندی کنید می‌توانید با استفاده از دکمهٔ «بخش جدید» بخش جدیدی به عنوان زیربخش شاعر یا بخشی که در حال حاضر در آن قرار دارید ایجاد کنید. دکمهٔ «شعر جدید» همیشه باعث می‌شود که شعر به بخش جاری اضافه شود. عنوانهای «تغییر ترتیب زیربخشها» و «تغییر ترتیب اشعار بخش» امکانات لازم برای سازماندهی مجدد اشعار وارد شده را در اختیارتان می‌گذارند.

گنجور رومیزی در حال حاضر از چهار نوع شکلبندی برای شعرها پشتیبانی می‌کند. شکلبندی پیش‌فرض بیتهای دومصرعی است. با زدن کلید F1 دو مصرع یک بیت معمولی در اختیارتان قرار می‌گیرد. اشعار ترکیبی را با شکلبندیهای «بیت بند» (F2) و «مصرع بند» (F3) می‌توانید وارد کنید و تک‌مصرعهای نیمایی را با با شکلبندی «مصرع تنها» (F4). همچنان که پیشتر اشاره شد زدن کلید Enter روی بیت یا مصرع جاری معادل زدن کلید F1 یا F4 است.

ویرایشگر گنجور رومیزی علاوه بر تایپ راههای دیگری را برای ورود شعر در اختیارتان می‌گذارد. با استفاده از زیرمنوهای دکمهٔ «شعر جدید» می‌توانید شعر را از کلیپ‌بورد یا فایل متنی وارد کنید، علاوه بر آن امکان درج اشعار چند بندی نیز از کلیپ‌بورد وجود دارد.

برخی از منابع در دسترس (همانند کتابخانهٔ سایت تصوف ایرانی) اشعار را در قالب فایلهای Word و با قالب‌بندی جدولی در اختیار گذاشته‌اند. مشکلی که در کپی اشعار از این منابع ممکن است به آن بربخورید آن است که به دلیل نوع قالب‌بندی این فایلها تمام مصرعهای اول یک شعر در یک سلول و تمام مصرعهای دوم در سلول دیگر قرار دارند و کپی محتویات یک شعر و درج آن درست انجام نمی‌شوند. برای حل این مشکل از منوی دکمهٔ «ابزارها» فرمان «یک در میان چیدن خطوط دو ستون متنی» را انتخاب کنید. مصاریع اول را در ستون اول و مصاریع دوم را ستون دوم کپی کنید و نتیجه را با کلیک بر روی دکمهٔ «درج نتیجه در ویرایشگر» به ویرایشگر وارد کنید.

پس از تایپ اشعار مرحلهٔ آخر تهیهٔ فایل خروجی به منظور پشتیبان‌گیری، انتقال به کامپیوترهای دیگر یا ارسال برای سایت گنجور است (فایل خروجی را با اجرای فرمان «اضافه کردن مجموعه اشعار جدید» از منوی «ابزارها»ی گنجور رومیزی می‌توانید به گنجور رومیزی نصب شده روی کامپیوترهای دیگر اضافه کنید). برای انجام این کار با استفاده از منوهای دکمه‌های «شاعر جدید» یا «بخش جدید» (گزینه‌های «تولید خروجی») می‌توانید فایل خروجی مورد نظر خود را بسازید و در صورت تمایل برای اضافه شدن به گنجور آن را به نشانی ganjoor@ganjoor.net ارسال کنید (توجه داشته باشید که اضافه شدن آثار ارسالی به سایت یا اضافه شدن آن به گنجور رومیزی به دلیل زحمت و مشکلاتی که برای رفع تداخل‌های مجموعه‌ها وجود دارد منوط به تصمیم اداره‌کنندهٔ سایت است و در حال حاضر آثار شاعران ناشناس یا جوان معاصر و همینطور فایلهای حاوی حجم اندک از شعرهای یک شاعر یا شامل اشعار حاوی محتوای نامناسب از جمله مواردی هستند که پذیرفته نخواهند شد).