یکی از کارکردهای آمار بسامد واژگان مقایسهٔ فراوانی کاربرد یک واژه بین سخنوران مختلف است. اما این کار نیازمند مراجعه به صفحات مختلف و نگه داشتن آمارهای هر صفحه است که زمانبر و پیچیده است.

برای آسان‌سازی این کار به صفحهٔ جستجو امکانی اضافه شده که با آن می‌توان میزان فراوانی کاربرد یک واژه را میان سخنوران و بخش‌های مختلف مشاهده و مقایسه کرد. این امکان به طور پیش‌فرض پایین صفحات جستجو و مطابق تصویر بعد در دسترس است:

نتیجه:

در صورتی که هر کدام از پیوندهای ستون بخش را دنبال کنید می‌توانید بسامد آن واژه را به تفکیک زیربخش‌ها ببینید:

و این کار را برای زیربخش‌ها تکرار کنید.

در صفحات جستجویی که از طریق همین بخش یا بخش‌های بسامد واژگان در صفحات معرفی سخنوران یا زیربخش‌های آثار آنها و یا از طریق صفحهٔ آمار باز می‌شوند این قسمت به طور پیش‌فرض بالای صفحه قرار دارد و با باز شدن صفحه به طور خودکار محاسبه می‌شود.

غیر از این، آقای حسین سامانی چند روز پیش مشکلی را در محاسبهٔ بسامد واژگان برای بخش‌های دارای عمق زیاد از زیربخش‌ها گزارش کردند که این مشکل هم‌اکنون از لحاظ نرم‌افزاری حل شده، منتهی تصحیح اعداد نیازمند شمارش مجدد واژگان است که آن هم در دست انجام است.

به تمام بخش‌های آماری گنجور نمودارهای متناظر آنها که امکان مقایسهٔ حداکثر ۱۰ مقدار بالای جدول آماری را فراهم می‌آورد اضافه شده است. نمودار متناظر هر جدول آماری زیر آن نمایش داده می‌شود.

شاید برایتان سؤالاتی از این دست پیش آمده باشد که بیشتر غزلهای حافظ چند بیت دارند؟ سعدی چند بیت؟ مولانا چند بیت؟ طولانی‌تر قصیدهٔ باقیمانده از عنصری چند بیت دارد؟

با اضافه شدن آمار فراوانی تعداد ابیات اشعار به آمارهای گنجور می‌توانید پاسخ این سؤالها را بر مبنای متون در دسترس از طریق آن پیدا کنید:

در محاسبهٔ درصد فراوانی بر خلاف سایر آمارها نسبت را از تعداد ابیات حساب نکرده‌ایم و آن را از تعداد اشعار به دست آورده‌ایم. به همین دلیل تعداد کل اشعار را هم در سرستون ستون چهارم درج کرده‌ایم و از طریق آن اطلاعات آماری تعداد اشعار هر بخش -که پیشتر به آسانی در دسترس نبود- نیز در دسترس قرار گرفته است. آمار تعداد ابیات برای منظومه‌ها و مثنوی‌ها ممکن است آمار چندان معنی‌داری نباشد. این مسئله را در مقایسه‌ها خصوصاً در مورد عنوان بلندترین شعر بخش که پیش از این جدول نمایش داده می‌شود باید در نظر داشته باشید.

با لمس عددهای ستون «تعداد ابیات شعر» به صفحهٔ مشابه‌یابی گنجور هدایت می‌شوید و می‌توانید در آن شعرهای متناظر تعداد ابیات ارجاع شده را بیابید و یا آمار اشعار را برای از تعداد خاصی تا تعداد خاصی از ابیات را پیدا کنید (ورودی صفر برای حداقل یا حداکثر ابیات به این معنی است که آن ورودی برایتان اهمیتی ندارد و باید نادیده گرفته شود).

نکته‌ای که باید به آن توجه داشته باشید آن است که در اشعاری نظیر مخمس‌ها تک‌مصرع میانی بندهای شعرها را یک بیت حساب کرده‌ایم.

در این صفحه و همینطور صفحهٔ جستجو دکمه‌های حرکت بین صفحات را علاوه بر پایین در بالا هم اضافه کرده‌ایم و در قسمت پایین صفحات تعداد کل نتایج را هم نشان می‌دهیم.

در قسمت اطلاعات اشعار هم تعداد ابیات را اضافه کردیم. هر چند تعداد ابیات بیشتر شعرها از روی شمارهٔ آخرین بیت قابل مشاهده است در شعرهای ترکیبی و همینطور متون منثور دارای ابیات منظوم این تعداد به آسانی قابل محاسبه نیست که به این ترتیب این مشکل هم حل می‌شود.

به آمارهای زیر هر بخش قسمتی اضافه شده که آمار ابیات را به تفکیک زیربخش‌ها هم نشان می‌دهد. با استفاده از آن می‌توان مثلاً می‌توان تعداد ابیات هر یک از کتابهای پنج گنج نظامی را دید:

تعداد اشعار باب‌های گلستان را مقایسه کرد:

و یا طولانی‌ترین بخش شاهنامه را پیدا کرد:

گاهی در جستجوها ما به دنبال نتایج با حذف آثار یک یا چند شاعر هستیم مثلاً می‌خواهیم حاصل جستجوی یک کلمه را در آثار شاعرانی غیر از فردوسی و اسدی توسی بیابیم.

در نمایش نتایج جستجو دکمه‌ای زیر تصویر شاعر تعبیه شده که می‌توانید از آن برای حصول این نتیجه استفاده کنید.

با افزوده شدن خلاصه‌ها و برگردان‌های تولید شده توسط هوش مصنوعی صفحات گنجور بیش از پیش شلوغ و نیازمند اسکرول عمودی جهت رسیدن به بخش دلخواه شده بود.

برای رفع مشکل بخش‌های مختلف اَبَرداده‌های مربوط به شعر را در قالب زبانه‌های مجزا دسته‌بندی کردیم. منوی بازشوی کناری را حذف کردیم و تعداد دکمه‌های بالای شعرها را کاهش دادیم و محدود به موارد پراستفاده کردیم.

برای دسترسی به زبانه‌های ابرداده‌ها می‌توانید مطابق شکل زیر از دکمهٔ دوم از سمت راست نوار ابزار بالای صفحات گنجور استفاده کنید.

زبانه‌های یاد شده در شکل زیر مشخص شده‌اند:

صفحات شاعران و بخش‌ها نیز زبانه‌بندی شده‌اند:

منوی انتخاب کلمات نیز که به لحاظ عریض بودن عملاً روی صفحات موبایل قابل استفاده نبود عمودی شده و امکان جستجو در گوگل نیز به آن اضافه شده است.

هر از چند گاه کاربرانی تماس می‌گرفتند و در مورد علت حذف شمارهٔ ابیات پیگیری می‌کردند که در واقع شمارهٔ ابیات حذف نشده بودند و فقط این دوستان سهواً روی دکمهٔ عدم نمایش شمارهٔ ابیات کلیک کرده بودند. با این تصور که ذخیرهٔ وضعیت این دکمه دلخواه کاربران نیست مدتی امکان ذخیرهٔ وضعیت آن را غیرفعال کرده بودیم. منتهی کاربران دیگری تماس گرفتند و جویای برگشت آن به وضعیت سابق بودند. از این جهت عملکرد این دکمه نیز به وضعیت سابق برگشت.

پی‌نوشت: بر اساس چند ایمیل دریافتی در این بازهٔ زمانی کوتاه به نظر می‌رسد که بیشتر دوستان با اسکرول به بخش مورد نظر می‌رسیدند و پیدا کردن حاشیه‌ها یا خوانش‌ها برای بعضی دوستان غیرممکن شده. به همین جهت طراحی صفحات شعرها مجدداً تغییر کرد و به جای مخفی کردن بخش‌های غیرفعال همهٔ بخش‌ها را نمایش می‌دهیم و بالای آنها انتخابگر بخش را تکرار می‌کنیم تا با اسکرول هم بتوان به بخش مد نظر رسید.

همانطور که پیشتر اشاره شد گنجور از جمله مشمولان اعطایی شرکت هوش مصنوعی اول‌ای‌آی بود.

با این اعتبار صد میلیون‌تومانی که ۴ روز پیش از سررسید انقضای آن در طول دو هفته به طور کامل مصرف شد این کارها انجام شد:

۱. تولید خلاصه‌های اشعار و برگردان به زبان ساده برای تمام ابیات و اشعار گنجور

۲. تصویرگری محتوای گنجور و تولید حدود پانزده‌هزار تصویر بر اساس آن

۳. استفاده از هوش مصنوعی برای بهبود خروجی OCR صفحات نسکبان (انجام شده برای حدود ۹ درصد از حدود نه میلیون و سیصد هزار صفحه از کتابهای نسکبان):

همچنان که از تصاویر قبل و بعد بازبینی مشخص است متن خواناتر شده ولی هوش مصنوعی بخش‌هایی از متن اصلی را حذف کرده و بعضی بخشها را بازروایی کرده. متن دستکاری نشده را هم نگه داشته‌ایم و ممکن است آن را هم در صفحات در دسترس بگذاریم.

۴. استفاده از هوش مصنوعی برای استخراج فهرست مکانهای جغرافیایی مرتبط با اشعار و متون گنجور: ایده آن بوده که بعدها بتوانیم بر اساس اشارات به مکانهای جغرافیایی در محتوای گنجور جستجو کنیم یا نقشه‌هایی شبیه آنچه برای مسیر سفرنامهٔ ناصرخسرو ساخته‌ایم را راحت‌تر درست کنیم. خروجی فعلی داده‌های نامربوط زیادی دارد و شاید آن را بازبینی و یا کلاً حذف کنیم. نمونهٔ آن را در تصویر زیر در بخش «فتح بنارس» در تاریخ بیهقی می‌بینید.

از جمله کارهایی که به کمک اعتبار اول‌ای‌آی در حال انجام است (دربارهٔ آن نوشتهٔ پیشین را بخوانید) تصویرگری محتوای گنجور با هوش مصنوعی و به کمک موتور تصویرسازی دال-ای است.

روش کار به این صورت بوده که ابتدا از هوش مصنوعی خواسته‌ایم که متن یک شعر یا نثر گنجور را بررسی کند و ببیند در آن یک یا چند داستان وجود دارد یا نه. در صورتی که در آن داستانی یافت خلاصهٔ‌ آن را به نثر ساده بنویسد. سپس بر اساس این داستان یک فرمان تولید تصویر برای موتورهای تصویرسازی بسازد. سپس آن فرمان را به موتور تصویرسازی داده‌ایم و تصویر تولید شده را گرفته‌ایم و در یک مجموعهٔ اختصاصی در گنجینهٔ گنجور به نام فانوس خیال ذخیره کرده‌ایم. «قصه» یا همان خلاصهٔ تولید شده توسط هوش مصنوعی، «متن اولیه» یا همان متن شعر یا نثر گنجور و همینطور «AI Prompt» یا همان فرمان تولید تصویر را هم به صورت برچسب به آن ضمیمه کرده‌ایم. مهمتر از همه آن را به شعر منبع هم لینک کرده‌ایم و تصویر ذیل شعر در گنجور در دسترس است و از صفحهٔ تصویر نیز می‌توان به صفحهٔ گنجور رفت.

طبق معمول خیلی از عناصر کار مثل فهم هوش مصنوعی از متن و همینطور تصاویر تولید شده ناقص است. اما تصاویر تولید شده جالب و جذابند و ممکن است مفید باشند.

چندی پیش در لینکدین فراخوانی را از شرکت اول‌‌ای‌آی برای استفاده از طرح اول‌آورد این شرکت دیدم. طرحی که به لطف این شرکت به داوطلبان مبلغ ۱۰۰ میلیون تومان اعتبار استفاده از پلتفرمهای هوش مصنوعی به مدت محدود را می‌دهد. از طرف گنجور داوطلب شدم و این اعتبار به گنجور هم تعلق گرفت.

مهمترین کاری که با این اعتبار تا به حال تکمیل شده تولید خلاصه‌های اشعار و متون منثور گنجور و همینطور تولید برگردان‌های به زبان ساده برای همهٔ ابیات و پاراگراف‌های نثر گنجور بوده.

امکان درج دستی خلاصه‌ها و برگردان ابیات به نثر ساده قریب به دو سال است که روی گنجور در دسترس است. منتهی با وجود تلاش مستمر برخی همراهان فاضل گنجور روند آن طوری نیست که در زمان معقول بتواند حجم قابل توجهی از متون گنجور را پوشش دهد.

توانایی‌های هوش مصنوعی در فهم متون کهن فارسی محدود است اما از تلقی اولیهٔ من خیلی بهتر بود. این بود که به نظرم رسید غیر از آن که حجم قابل توجهی از خروجی‌های هوش مصنوعی در این زمینه خصوصاً برای دوستانی که در مطالعات ادبی تازه‌وارد و تازه‌کار محسوب می‌شوند مفید است، اضافه کردن آن می‌تواند محرک دوستان دیگر برای تصحیح و افزودن خروجی‌های انسانی باشد.

برای تفکیک نثرهای ماشینی اوّلِ همهٔ آنها نشانگر آن که با هوش مصنوعی را اضافه کرده‌ایم. هر گاه کاربری این خروجی‌ها را ویرایش می‌کند او را ملزم می‌کنیم که این عبارت را حذف کند.

در آینده نیز در صورت امکان استفاده از نسلهای به‌روزتر و بهتر هوش مصنوعی می‌توانیم نثرهای ماشینی را با کمک همین شاخص پیدا و جایگزین کنیم.

هوش مصنوعی قطعاً در این زمینه توانایی‌های دوستانی که به شکل حرفه‌ای با ادبیات مأنوسند را ندارد و جا به جا خروجی‌های غلط و نادرست هم تولید می‌کند. استفاده از آن در گنجور ترجیح چیزی مفید با توانایی‌های محدود بر هیچ است. از این جهت نگرانی دوستان بابت تأثیرات منفی خروجی‌های نادرست هوش مصنوعی با همت علاقمندانی که این خروجی‌ها را بهبود می‌دهند قابل رفع است.