نمودارهای آمارهای گنجور

به تمام بخش‌های آماری گنجور نمودارهای متناظر آنها که امکان مقایسهٔ حداکثر ۱۰ مقدار بالای جدول آماری را فراهم می‌آورد اضافه شده است. نمودار متناظر هر جدول آماری زیر آن نمایش داده می‌شود.

نمودار آمارهای حافظ
ده وزن برتر گنجور
نمودار بسامد واژگان

آمار فراوانی تعداد ابیات شعرها

شاید برایتان سؤالاتی از این دست پیش آمده باشد که بیشتر غزلهای حافظ چند بیت دارند؟ سعدی چند بیت؟ مولانا چند بیت؟ طولانی‌تر قصیدهٔ باقیمانده از عنصری چند بیت دارد؟

با اضافه شدن آمار فراوانی تعداد ابیات اشعار به آمارهای گنجور می‌توانید پاسخ این سؤالها را بر مبنای متون در دسترس از طریق آن پیدا کنید:

آمار فراوانی تعداد ابیات غزلیات حافظ

در محاسبهٔ درصد فراوانی بر خلاف سایر آمارها نسبت را از تعداد ابیات حساب نکرده‌ایم و آن را از تعداد اشعار به دست آورده‌ایم. به همین دلیل تعداد کل اشعار را هم در سرستون ستون چهارم درج کرده‌ایم و از طریق آن اطلاعات آماری تعداد اشعار هر بخش -که پیشتر به آسانی در دسترس نبود- نیز در دسترس قرار گرفته است. آمار تعداد ابیات برای منظومه‌ها و مثنوی‌ها ممکن است آمار چندان معنی‌داری نباشد. این مسئله را در مقایسه‌ها خصوصاً در مورد عنوان بلندترین شعر بخش که پیش از این جدول نمایش داده می‌شود باید در نظر داشته باشید.

با لمس عددهای ستون «تعداد ابیات شعر» به صفحهٔ مشابه‌یابی گنجور هدایت می‌شوید و می‌توانید در آن شعرهای متناظر تعداد ابیات ارجاع شده را بیابید و یا آمار اشعار را برای از تعداد خاصی تا تعداد خاصی از ابیات را پیدا کنید (ورودی صفر برای حداقل یا حداکثر ابیات به این معنی است که آن ورودی برایتان اهمیتی ندارد و باید نادیده گرفته شود).

غزلیات ۹ بیتی مولانا در دیوان شمس

نکته‌ای که باید به آن توجه داشته باشید آن است که در اشعاری نظیر مخمس‌ها تک‌مصرع میانی بندهای شعرها را یک بیت حساب کرده‌ایم.

در این صفحه و همینطور صفحهٔ جستجو دکمه‌های حرکت بین صفحات را علاوه بر پایین در بالا هم اضافه کرده‌ایم و در قسمت پایین صفحات تعداد کل نتایج را هم نشان می‌دهیم.

تعداد کل نتایج

در قسمت اطلاعات اشعار هم تعداد ابیات را اضافه کردیم. هر چند تعداد ابیات بیشتر شعرها از روی شمارهٔ آخرین بیت قابل مشاهده است در شعرهای ترکیبی و همینطور متون منثور دارای ابیات منظوم این تعداد به آسانی قابل محاسبه نیست که به این ترتیب این مشکل هم حل می‌شود.

تعداد ابیات ترجیع بند سعدی

آمار زیربخش‌ها

به آمارهای زیر هر بخش قسمتی اضافه شده که آمار ابیات را به تفکیک زیربخش‌ها هم نشان می‌دهد. با استفاده از آن می‌توان مثلاً می‌توان تعداد ابیات هر یک از کتابهای پنج گنج نظامی را دید:

آمار خمسهٔ نظامی به تفکیک

تعداد اشعار باب‌های گلستان را مقایسه کرد:

تعداد بیتهای گلستان سعدی

و یا طولانی‌ترین بخش شاهنامه را پیدا کرد:

تعداد بیتهای بخش‌های شاهنامه

امکان حذف آثار یک یا چند شاعر از نتایج جستجو

گاهی در جستجوها ما به دنبال نتایج با حذف آثار یک یا چند شاعر هستیم مثلاً می‌خواهیم حاصل جستجوی یک کلمه را در آثار شاعرانی غیر از فردوسی و اسدی توسی بیابیم.

در نمایش نتایج جستجو دکمه‌ای زیر تصویر شاعر تعبیه شده که می‌توانید از آن برای حصول این نتیجه استفاده کنید.

حذف آثار یک شاعر از نتایج

تغییرات صفحات گنجور

با افزوده شدن خلاصه‌ها و برگردان‌های تولید شده توسط هوش مصنوعی صفحات گنجور بیش از پیش شلوغ و نیازمند اسکرول عمودی جهت رسیدن به بخش دلخواه شده بود.

برای رفع مشکل بخش‌های مختلف اَبَرداده‌های مربوط به شعر را در قالب زبانه‌های مجزا دسته‌بندی کردیم. منوی بازشوی کناری را حذف کردیم و تعداد دکمه‌های بالای شعرها را کاهش دادیم و محدود به موارد پراستفاده کردیم.

برای دسترسی به زبانه‌های ابرداده‌ها می‌توانید مطابق شکل زیر از دکمهٔ دوم از سمت راست نوار ابزار بالای صفحات گنجور استفاده کنید.

دسترسی به زبانه‌های ابرداده‌ها

زبانه‌های یاد شده در شکل زیر مشخص شده‌اند:

زبانه‌های ابرداده‌های گنجور

صفحات شاعران و بخش‌ها نیز زبانه‌بندی شده‌اند:

زبانه‌های بخش‌ها

منوی انتخاب کلمات نیز که به لحاظ عریض بودن عملاً روی صفحات موبایل قابل استفاده نبود عمودی شده و امکان جستجو در گوگل نیز به آن اضافه شده است.

منوی انتخاب کلمات گنجور

هر از چند گاه کاربرانی تماس می‌گرفتند و در مورد علت حذف شمارهٔ ابیات پیگیری می‌کردند که در واقع شمارهٔ ابیات حذف نشده بودند و فقط این دوستان سهواً روی دکمهٔ عدم نمایش شمارهٔ ابیات کلیک کرده بودند. با این تصور که ذخیرهٔ وضعیت این دکمه دلخواه کاربران نیست مدتی امکان ذخیرهٔ وضعیت آن را غیرفعال کرده بودیم. منتهی کاربران دیگری تماس گرفتند و جویای برگشت آن به وضعیت سابق بودند. از این جهت عملکرد این دکمه نیز به وضعیت سابق برگشت.

پی‌نوشت: بر اساس چند ایمیل دریافتی در این بازهٔ زمانی کوتاه به نظر می‌رسد که بیشتر دوستان با اسکرول به بخش مورد نظر می‌رسیدند و پیدا کردن حاشیه‌ها یا خوانش‌ها برای بعضی دوستان غیرممکن شده. به همین جهت طراحی صفحات شعرها مجدداً تغییر کرد و به جای مخفی کردن بخش‌های غیرفعال همهٔ بخش‌ها را نمایش می‌دهیم و بالای آنها انتخابگر بخش را تکرار می‌کنیم تا با اسکرول هم بتوان به بخش مد نظر رسید.

پروژه‌های انجام شده با اعتبار اعطایی اول‌ای‌آی

همانطور که پیشتر اشاره شد گنجور از جمله مشمولان اعطایی شرکت هوش مصنوعی اول‌ای‌آی بود.

اعتبار اول ای آی

با این اعتبار صد میلیون‌تومانی که ۴ روز پیش از سررسید انقضای آن در طول دو هفته به طور کامل مصرف شد این کارها انجام شد:

۱. تولید خلاصه‌های اشعار و برگردان به زبان ساده برای تمام ابیات و اشعار گنجور

۲. تصویرگری محتوای گنجور و تولید حدود پانزده‌هزار تصویر بر اساس آن

۳. استفاده از هوش مصنوعی برای بهبود خروجی OCR صفحات نسکبان (انجام شده برای حدود ۹ درصد از حدود نه میلیون و سیصد هزار صفحه از کتابهای نسکبان):

نمونه صفحهٔ منبع
نمونه صفحه از کتابهای نسکبان
خروجی OCR برای تصویر بالا
خروجی OCR برای تصویر بالا
خروجی OCR بازبینی شده توسط هوش مصنوعی
خروجی OCR بازبینی شده توسط هوش مصنوعی

همچنان که از تصاویر قبل و بعد بازبینی مشخص است متن خواناتر شده ولی هوش مصنوعی بخش‌هایی از متن اصلی را حذف کرده و بعضی بخشها را بازروایی کرده. متن دستکاری نشده را هم نگه داشته‌ایم و ممکن است آن را هم در صفحات در دسترس بگذاریم.

۴. استفاده از هوش مصنوعی برای استخراج فهرست مکانهای جغرافیایی مرتبط با اشعار و متون گنجور: ایده آن بوده که بعدها بتوانیم بر اساس اشارات به مکانهای جغرافیایی در محتوای گنجور جستجو کنیم یا نقشه‌هایی شبیه آنچه برای مسیر سفرنامهٔ ناصرخسرو ساخته‌ایم را راحت‌تر درست کنیم. خروجی فعلی داده‌های نامربوط زیادی دارد و شاید آن را بازبینی و یا کلاً حذف کنیم. نمونهٔ آن را در تصویر زیر در بخش «فتح بنارس» در تاریخ بیهقی می‌بینید.

مکانهای مرتبط با فتح بنارس

فانوس خیال: هزاران تصویر تولید شده با هوش مصنوعی از محتوای گنجور

از جمله کارهایی که به کمک اعتبار اول‌ای‌آی در حال انجام است (دربارهٔ آن نوشتهٔ پیشین را بخوانید) تصویرگری محتوای گنجور با هوش مصنوعی و به کمک موتور تصویرسازی دال-ای است.

روش کار به این صورت بوده که ابتدا از هوش مصنوعی خواسته‌ایم که متن یک شعر یا نثر گنجور را بررسی کند و ببیند در آن یک یا چند داستان وجود دارد یا نه. در صورتی که در آن داستانی یافت خلاصهٔ‌ آن را به نثر ساده بنویسد. سپس بر اساس این داستان یک فرمان تولید تصویر برای موتورهای تصویرسازی بسازد. سپس آن فرمان را به موتور تصویرسازی داده‌ایم و تصویر تولید شده را گرفته‌ایم و در یک مجموعهٔ اختصاصی در گنجینهٔ گنجور به نام فانوس خیال ذخیره کرده‌ایم. «قصه» یا همان خلاصهٔ تولید شده توسط هوش مصنوعی، «متن اولیه» یا همان متن شعر یا نثر گنجور و همینطور «AI Prompt» یا همان فرمان تولید تصویر را هم به صورت برچسب به آن ضمیمه کرده‌ایم. مهمتر از همه آن را به شعر منبع هم لینک کرده‌ایم و تصویر ذیل شعر در گنجور در دسترس است و از صفحهٔ تصویر نیز می‌توان به صفحهٔ گنجور رفت.

شاهدی گفت به شمعی کامشب ...
تصاویر فانوس خیال در گنجور

طبق معمول خیلی از عناصر کار مثل فهم هوش مصنوعی از متن و همینطور تصاویر تولید شده ناقص است. اما تصاویر تولید شده جالب و جذابند و ممکن است مفید باشند.

استفاده از هوش مصنوعی برای تولید خلاصه‌ها و برگردان به زبان سادهٔ ابیات

چندی پیش در لینکدین فراخوانی را از شرکت اول‌‌ای‌آی برای استفاده از طرح اول‌آورد این شرکت دیدم. طرحی که به لطف این شرکت به داوطلبان مبلغ ۱۰۰ میلیون تومان اعتبار استفاده از پلتفرمهای هوش مصنوعی به مدت محدود را می‌دهد. از طرف گنجور داوطلب شدم و این اعتبار به گنجور هم تعلق گرفت.

اعتبارات اعطا شده از سوی شرکت اول ای آی

مهمترین کاری که با این اعتبار تا به حال تکمیل شده تولید خلاصه‌های اشعار و متون منثور گنجور و همینطور تولید برگردان‌های به زبان ساده برای همهٔ ابیات و پاراگراف‌های نثر گنجور بوده.

خلاصه و برگردان به زبان ساده تولید شده توسط هوش مصنوعی

امکان درج دستی خلاصه‌ها و برگردان ابیات به نثر ساده قریب به دو سال است که روی گنجور در دسترس است. منتهی با وجود تلاش مستمر برخی همراهان فاضل گنجور روند آن طوری نیست که در زمان معقول بتواند حجم قابل توجهی از متون گنجور را پوشش دهد.

توانایی‌های هوش مصنوعی در فهم متون کهن فارسی محدود است اما از تلقی اولیهٔ من خیلی بهتر بود. این بود که به نظرم رسید غیر از آن که حجم قابل توجهی از خروجی‌های هوش مصنوعی در این زمینه خصوصاً برای دوستانی که در مطالعات ادبی تازه‌وارد و تازه‌کار محسوب می‌شوند مفید است، اضافه کردن آن می‌تواند محرک دوستان دیگر برای تصحیح و افزودن خروجی‌های انسانی باشد.

برای تفکیک نثرهای ماشینی اوّلِ همهٔ آنها نشانگر آن که با هوش مصنوعی را اضافه کرده‌ایم. هر گاه کاربری این خروجی‌ها را ویرایش می‌کند او را ملزم می‌کنیم که این عبارت را حذف کند.

ویرایش خروجی‌های هوش مصنوعی

در آینده نیز در صورت امکان استفاده از نسلهای به‌روزتر و بهتر هوش مصنوعی می‌توانیم نثرهای ماشینی را با کمک همین شاخص پیدا و جایگزین کنیم.

هوش مصنوعی قطعاً در این زمینه توانایی‌های دوستانی که به شکل حرفه‌ای با ادبیات مأنوسند را ندارد و جا به جا خروجی‌های غلط و نادرست هم تولید می‌کند. استفاده از آن در گنجور ترجیح چیزی مفید با توانایی‌های محدود بر هیچ است. از این جهت نگرانی دوستان بابت تأثیرات منفی خروجی‌های نادرست هوش مصنوعی با همت علاقمندانی که این خروجی‌ها را بهبود می‌دهند قابل رفع است.

اسکرول به بالا و پایین صفحات گنجور

نکاتی برای دستیابی آسان‌تر به بخش‌های مختلف صفحات گنجور

اخیراً و با اضافه شدن خلاصه‌ها و برگردان‌های به نثر ساده به کمک هوش مصنوعی صفحات شعرهای گنجور شلوغ‌تر از قبل شده‌اند و دوستانی راجع به این مسئله بازخورد داده‌اند.

شاید راه حل نهایی این مسئله استفاده از سربرگها (تب‌ها) باشد. اما تا آن زمان می‌توانید از امکانات موجود گنجور به شرح زیر برای بهبود پیمایش صفحات استفاده کنید:

۱. در گوشهٔ سمت چپ دو دکمه برای اسکرول به بالا و پایین صفحات وجود دارد:

اسکرول به پایین و بالای صفحات

این دو دکمه در بیشتر موارد بسیاری از مشکلات را حل می‌کنند.

۲. می‌توانید از دکمه‌های زیر عنوان شعر برای دستیابی سریع به بخش‌های مختلف صفحه مثل حاشیه‌ها و … استفاده کنید:

دسترسی به بخش‌های مختلف صفحات گنجور

۳. غیر از آن امکان بستن و باز کردن هر بخش هم می‌تواند برای دسترسی سریع به بخش بعدی مفید باشد:

بستن و باز کردن بخش‌ها

بروزرسانی گنجور تاجیکی: ۱۹۵ شاعر به همت آقای جلال حجتی فهیم

از زمان اعلان کار روی گنجور تاجیکی قریب به شش ماه می‌گذرد و در طول این چند ماه آقای جلال حجتی فهیم درگیر فرایند زمانبر تبدیل متن آثار روی گنجور (وگنجور رومیزی) به خط تاجیکی بوده‌اند.

به همت و بزرگواری ایشان در حال حاضر آثار ۱۹۵ شاعر پارسی‌گو به خط تاجیکی در دسترس قرار گرفته است.

گنجور تاجیکی

در طول این مدت امکان جستجو نیز به گنجور تاجیکی اضافه شده است. همچنان که پیشتر عنوان شد در دسترس‌گذاری امکان ویرایش متن تبدیل‌شده توسط خود کاربران تاجیک و همینطور در دسترس قرار دادن بخشی از امکانات ضروری روی این نسخه از گنجور نیز در برنامهٔ اجرایی گنجور قرار دارد. همچنین امیدواریم در صورت فراهم شدن فرصت، نسخه‌ای از متن تاجیکی را هم به شکل آفلاین در قالب یک برنامهٔ مجزا در دسترس قرار دهیم.

از همت و پیگیری آقای حجتی عزیز سپاسگزاریم و امیدواریم این کار قدمی مفید در جهت افزایش دسترسی فارسی‌زبانان تاجیک به‌ آثار اجداد و بزرگان مشترکمان باشد.