بایگانی دسته: گنجور

پروژه‌های انجام شده با اعتبار اعطایی اول‌ای‌آی

همانطور که پیشتر اشاره شد گنجور از جمله مشمولان اعطایی شرکت هوش مصنوعی اول‌ای‌آی بود.

اعتبار اول ای آی

با این اعتبار صد میلیون‌تومانی که ۴ روز پیش از سررسید انقضای آن در طول دو هفته به طور کامل مصرف شد این کارها انجام شد:

۱. تولید خلاصه‌های اشعار و برگردان به زبان ساده برای تمام ابیات و اشعار گنجور

۲. تصویرگری محتوای گنجور و تولید حدود پانزده‌هزار تصویر بر اساس آن

۳. استفاده از هوش مصنوعی برای بهبود خروجی OCR صفحات نسکبان (انجام شده برای حدود ۹ درصد از حدود نه میلیون و سیصد هزار صفحه از کتابهای نسکبان):

نمونه صفحهٔ منبع
نمونه صفحه از کتابهای نسکبان
خروجی OCR برای تصویر بالا
خروجی OCR برای تصویر بالا
خروجی OCR بازبینی شده توسط هوش مصنوعی
خروجی OCR بازبینی شده توسط هوش مصنوعی

همچنان که از تصاویر قبل و بعد بازبینی مشخص است متن خواناتر شده ولی هوش مصنوعی بخش‌هایی از متن اصلی را حذف کرده و بعضی بخشها را بازروایی کرده. متن دستکاری نشده را هم نگه داشته‌ایم و ممکن است آن را هم در صفحات در دسترس بگذاریم.

۴. استفاده از هوش مصنوعی برای استخراج فهرست مکانهای جغرافیایی مرتبط با اشعار و متون گنجور: ایده آن بوده که بعدها بتوانیم بر اساس اشارات به مکانهای جغرافیایی در محتوای گنجور جستجو کنیم یا نقشه‌هایی شبیه آنچه برای مسیر سفرنامهٔ ناصرخسرو ساخته‌ایم را راحت‌تر درست کنیم. خروجی فعلی داده‌های نامربوط زیادی دارد و شاید آن را بازبینی و یا کلاً حذف کنیم. نمونهٔ آن را در تصویر زیر در بخش «فتح بنارس» در تاریخ بیهقی می‌بینید.

مکانهای مرتبط با فتح بنارس

فانوس خیال: هزاران تصویر تولید شده با هوش مصنوعی از محتوای گنجور

از جمله کارهایی که به کمک اعتبار اول‌ای‌آی در حال انجام است (دربارهٔ آن نوشتهٔ پیشین را بخوانید) تصویرگری محتوای گنجور با هوش مصنوعی و به کمک موتور تصویرسازی دال-ای است.

روش کار به این صورت بوده که ابتدا از هوش مصنوعی خواسته‌ایم که متن یک شعر یا نثر گنجور را بررسی کند و ببیند در آن یک یا چند داستان وجود دارد یا نه. در صورتی که در آن داستانی یافت خلاصهٔ‌ آن را به نثر ساده بنویسد. سپس بر اساس این داستان یک فرمان تولید تصویر برای موتورهای تصویرسازی بسازد. سپس آن فرمان را به موتور تصویرسازی داده‌ایم و تصویر تولید شده را گرفته‌ایم و در یک مجموعهٔ اختصاصی در گنجینهٔ گنجور به نام فانوس خیال ذخیره کرده‌ایم. «قصه» یا همان خلاصهٔ تولید شده توسط هوش مصنوعی، «متن اولیه» یا همان متن شعر یا نثر گنجور و همینطور «AI Prompt» یا همان فرمان تولید تصویر را هم به صورت برچسب به آن ضمیمه کرده‌ایم. مهمتر از همه آن را به شعر منبع هم لینک کرده‌ایم و تصویر ذیل شعر در گنجور در دسترس است و از صفحهٔ تصویر نیز می‌توان به صفحهٔ گنجور رفت.

شاهدی گفت به شمعی کامشب ...
تصاویر فانوس خیال در گنجور

طبق معمول خیلی از عناصر کار مثل فهم هوش مصنوعی از متن و همینطور تصاویر تولید شده ناقص است. اما تصاویر تولید شده جالب و جذابند و ممکن است مفید باشند.

استفاده از هوش مصنوعی برای تولید خلاصه‌ها و برگردان به زبان سادهٔ ابیات

چندی پیش در لینکدین فراخوانی را از شرکت اول‌‌ای‌آی برای استفاده از طرح اول‌آورد این شرکت دیدم. طرحی که به لطف این شرکت به داوطلبان مبلغ ۱۰۰ میلیون تومان اعتبار استفاده از پلتفرمهای هوش مصنوعی به مدت محدود را می‌دهد. از طرف گنجور داوطلب شدم و این اعتبار به گنجور هم تعلق گرفت.

اعتبارات اعطا شده از سوی شرکت اول ای آی

مهمترین کاری که با این اعتبار تا به حال تکمیل شده تولید خلاصه‌های اشعار و متون منثور گنجور و همینطور تولید برگردان‌های به زبان ساده برای همهٔ ابیات و پاراگراف‌های نثر گنجور بوده.

خلاصه و برگردان به زبان ساده تولید شده توسط هوش مصنوعی

امکان درج دستی خلاصه‌ها و برگردان ابیات به نثر ساده قریب به دو سال است که روی گنجور در دسترس است. منتهی با وجود تلاش مستمر برخی همراهان فاضل گنجور روند آن طوری نیست که در زمان معقول بتواند حجم قابل توجهی از متون گنجور را پوشش دهد.

توانایی‌های هوش مصنوعی در فهم متون کهن فارسی محدود است اما از تلقی اولیهٔ من خیلی بهتر بود. این بود که به نظرم رسید غیر از آن که حجم قابل توجهی از خروجی‌های هوش مصنوعی در این زمینه خصوصاً برای دوستانی که در مطالعات ادبی تازه‌وارد و تازه‌کار محسوب می‌شوند مفید است، اضافه کردن آن می‌تواند محرک دوستان دیگر برای تصحیح و افزودن خروجی‌های انسانی باشد.

برای تفکیک نثرهای ماشینی اوّلِ همهٔ آنها نشانگر آن که با هوش مصنوعی را اضافه کرده‌ایم. هر گاه کاربری این خروجی‌ها را ویرایش می‌کند او را ملزم می‌کنیم که این عبارت را حذف کند.

ویرایش خروجی‌های هوش مصنوعی

در آینده نیز در صورت امکان استفاده از نسلهای به‌روزتر و بهتر هوش مصنوعی می‌توانیم نثرهای ماشینی را با کمک همین شاخص پیدا و جایگزین کنیم.

هوش مصنوعی قطعاً در این زمینه توانایی‌های دوستانی که به شکل حرفه‌ای با ادبیات مأنوسند را ندارد و جا به جا خروجی‌های غلط و نادرست هم تولید می‌کند. استفاده از آن در گنجور ترجیح چیزی مفید با توانایی‌های محدود بر هیچ است. از این جهت نگرانی دوستان بابت تأثیرات منفی خروجی‌های نادرست هوش مصنوعی با همت علاقمندانی که این خروجی‌ها را بهبود می‌دهند قابل رفع است.

اسکرول به بالا و پایین صفحات گنجور

نکاتی برای دستیابی آسان‌تر به بخش‌های مختلف صفحات گنجور

اخیراً و با اضافه شدن خلاصه‌ها و برگردان‌های به نثر ساده به کمک هوش مصنوعی صفحات شعرهای گنجور شلوغ‌تر از قبل شده‌اند و دوستانی راجع به این مسئله بازخورد داده‌اند.

شاید راه حل نهایی این مسئله استفاده از سربرگها (تب‌ها) باشد. اما تا آن زمان می‌توانید از امکانات موجود گنجور به شرح زیر برای بهبود پیمایش صفحات استفاده کنید:

۱. در گوشهٔ سمت چپ دو دکمه برای اسکرول به بالا و پایین صفحات وجود دارد:

اسکرول به پایین و بالای صفحات

این دو دکمه در بیشتر موارد بسیاری از مشکلات را حل می‌کنند.

۲. می‌توانید از دکمه‌های زیر عنوان شعر برای دستیابی سریع به بخش‌های مختلف صفحه مثل حاشیه‌ها و … استفاده کنید:

دسترسی به بخش‌های مختلف صفحات گنجور

۳. غیر از آن امکان بستن و باز کردن هر بخش هم می‌تواند برای دسترسی سریع به بخش بعدی مفید باشد:

بستن و باز کردن بخش‌ها

بروزرسانی گنجور تاجیکی: ۱۹۵ شاعر به همت آقای جلال حجتی فهیم

از زمان اعلان کار روی گنجور تاجیکی قریب به شش ماه می‌گذرد و در طول این چند ماه آقای جلال حجتی فهیم درگیر فرایند زمانبر تبدیل متن آثار روی گنجور (وگنجور رومیزی) به خط تاجیکی بوده‌اند.

به همت و بزرگواری ایشان در حال حاضر آثار ۱۹۵ شاعر پارسی‌گو به خط تاجیکی در دسترس قرار گرفته است.

گنجور تاجیکی

در طول این مدت امکان جستجو نیز به گنجور تاجیکی اضافه شده است. همچنان که پیشتر عنوان شد در دسترس‌گذاری امکان ویرایش متن تبدیل‌شده توسط خود کاربران تاجیک و همینطور در دسترس قرار دادن بخشی از امکانات ضروری روی این نسخه از گنجور نیز در برنامهٔ اجرایی گنجور قرار دارد. همچنین امیدواریم در صورت فراهم شدن فرصت، نسخه‌ای از متن تاجیکی را هم به شکل آفلاین در قالب یک برنامهٔ مجزا در دسترس قرار دهیم.

از همت و پیگیری آقای حجتی عزیز سپاسگزاریم و امیدواریم این کار قدمی مفید در جهت افزایش دسترسی فارسی‌زبانان تاجیک به‌ آثار اجداد و بزرگان مشترکمان باشد.

نمایش وزن در کادر بازشوی بیت و وزنیابی دستی دسته‌ای برای وزنیابی نشده‌ها

تا پیش از آن که با استفاده از کار بزرگ دکتر فاضل –پایگاه سرود– امکاناتی برای اضافه شدن خودکار برچسب وزن به گنجور اضافه شود وزنیابی گنجور به صورت دستی و توسط گردانندهٔ آن صورت می‌گرفت.

کاری که برای حجمی حدود پانصدهزار بیت از اشعار تا آن روز انجام شده بود (آمار بروز گنجور را اینجا ببینید).

آمار وزنیابی دستی گنجور تا سال ۹۵

بعدها سرود هم فرایند کار را خودکار، و هم آن را تسریع کرد (شاید کمی از دقت کار در مورد وزنهای خاص کم شد اما در کل دقت خروجی قابل قبول است).

اما هنوز هم حجم قابل توجهی از اشعار به دلیل کم بودن تعداد ابیات یا مسائل دیگر به صورت خودکار وزنیابی نمی‌شدند. بخشی از این اشعار با اغماض در الگوریتمهای آماری که برای جمع‌بندی نتایج اعلامی از طریق پایگاه سرود استفاده می‌شد با دقت و درستی قابل قبولی به فهرست وزنیابی‌شده‌ها اضافه شدند (کاری که می‌کنیم این است که هر مصرع را جداگانه به سرود می‌دهیم و بر اساس تعداد مصرع‌ها وقتی به تعداد خاصی نتیجه دریافت کردیم میانگین‌گیری می‌کنیم و وزن پرتکرار اعلامی را به عنوان وزن کل شعر در نظر می‌گیرم).

بخش قابل توجهی نیز با مشارکت کاربران و از طریق ویرایشگر شعر و قطعات گنجور به این آمار اضافه شد که در این میان تلاش کاربری با نام مستعار کژدم کمک بسیار مؤثری بوده است.

چند روز پیش در حین رسیدگی به کار انتشار دیوان ناصر بخارایی بر اساس تلاش جناب الف. رسته متوجه شدم که الگوریتمهای وزنیابی برای بیش از ۴۰۰۰ بیت از دیوان او به جمع‌بندی درستی نرسیده و حدود نیمی از دیوان او وزنیابی نشده.

در هنگام جستجو بر اساس وزن (مثلاً موارد وزن‌یابی نشده) و زمانی که کاربر نام‌نویسی شدهٔ گنجور وارد شده باشد دکمه‌ای برای ویرایش وزن قطعه (شعر) پیشبینی شده اما پیشنهاد وزن با آن برای تعداد زیاد شعر بسیار زمانبر و پرزحمت است چرا که هر بار باید به صفحه‌ای جدا برویم و وزن را پیشنهاد بدهیم و ذخیره کنیم و برگردیم (با وجود این همه زحمت، کاربرانی مثل کژدم با همین حجم از مشقت به تکمیل وزنیابی گنجوردر حجم بالا کمک کرده‌اند).

به نظرم رسید با اضافه کردن قابلیت پیشنهاد وزن برای اشعار وزنیابی نشده می‌توانم این فرایند را بهبود بدهم. با اضافه شدن این قابلیت ظرف چند ساعت اشعار وزنیابی نشدهٔ ناصر بخارایی را وزنیابی کردم. فیلم زیر نحوهٔ کار را نمایش می‌دهد:

علاوه بر آن از آنجا که در متون مخلوط نثر و شعر راهکار مستقیمی برای نمایش وزن اشعار پیش‌بینی نشده بود (راهکار غیرمستقیمی وجود داشت که می‌توانستید با کلیک روی دکمهٔ موارد هماهنگ در کادر مربوط به بیت، وزن را ببینید) نمایش وزن به کادر بیتها هم اضافه شد.

وزن در کادر ابیات

دیوان ناصر بخارایی

دیوان ناصر بخارایی شاعر معاصر سلمان ساوجی و حافظ شامل بیش از ۸۵۰۰ بیت شعر، به همت الف. رسته -که پیش از این نیز به همت ایشان آثار متعددی به گنجور افزوده شده- در گنجور در دسترس قرار گرفته است.

دیوان ناصر بخارایی در گنجور

دربارهٔ ناصر بخارایی از زبان جناب رسته که مدتی مدید با دیوان او همدم بوده بخوانید:

زندگینامهٔ ناصر بخارائی (۷۱۵ – ۷۹۰ ه‌.ق.)

ناصر شاعری است غزل سرا از سدهٔ هشتم هجری، هم دوران حافظ و سلمان.

گمان بر این است که او در دههٔ دوم سدهٔ هشتم زاده شده است، از همین رو دکتر مهدی درخشان فراهم آورنده و ویراستار دیوان ناصر، با نشانه‌ها و پی‌گیری رد پای او در رویدادهای تاریخی، سال تولد او را در دهّ دوم سدهٔ هشتم ۷۱۵ هجری را گرفته است. سال درگذشت او را بین سالهای ۷۸۴ تا ۷۹۰ گمانه زنی کرده است.

پیش از انقلاب مشروطه ناصر آنچنان گمنام نبوده، نسخه های خطی دیوان او تا سده‌های اخیر هم بازنویسی میشده( یکی از منابع خطی دکتر درخشانی نوشته شده در آستانهٔ انقلاب مشروطه است به سال ۱۳۰۴ قمری)، اشعار او به ویژه ترجیع بندهای او در جُنگ‌ها یافت میشود. ولی در دوران پس از مشروطه به کلی فراموش شده بود و کمتر ادیبی او را می‌شناخت . نخستین کسی که در دوران جدیدپژوهشی در بارهٔ ناصرچاپ کرد دکتر پرویز خانلری بود که در مجلهٔ سخن آبان ماه ۱۳۴۵ با نام مستعار پژوهنده در مقاله‌ای مشترکات حافظ و ناصر بخاری سنجیده است.

از سوی دیگر دکتر مهدی درخشان سرگرم تهیهٔ نسخه‌های خطی دیوان و جمع آوری اشعار ناصر میگردد و با چندین سال کار دیوان ناصر را از روی ۷ نسخهٔ خطی تهیه و تصحیح کرده و در سال ۱۳۵۳ به چاپ می‌سپرد. او در دیباچهٔ دیوان ناصر شرح بلند بالائی از یافته‌های خود در بارهٔ زندگی و شعر ناصر داده است . دیوان ناصر را می‌توانید از کتابخانهٔ مجازی دانلود کنید.

دکتر درخشان زحمت فراوانی کشیده است و باید از او سپاسگزار بود ولی روش او ناقص است. به نظر من نسخه‌ای را که دکتر درخشان به عنوان اساس گزیده است انتخاب خوبی نبوده است، در حالی که نسخهٔ بهتری در دست داشته است و آن را مبنا قرار نداده است. درخشان اختلاف نسخه‌ها را گاه در پای صفحه نوشته است و گاه ننوشته است.

همچنین نسخه‌های دیگری در کشورهای آسیای میانه، تاجیکستان، ازبکستان، روسیه (غازان) و جمهوری آذربایجان وجود دارد که گفته می‌شود نسخه‌های بهتر و قدیمی تر از نسخه های ایران و ترکیه در بین آنها وجود دارد و تا کنون در ایران در بارهٔ آن‌ها اطلاعات کمی نوشته شده است.

اگر خوانندگان گنجور از آسیای میانه به آن نسخه‌ها دسترسی داشته باشند و به ما آگاهی دهند سپاسگزار خوهیم بود که در تهیهٔ نسخهٔ بهتری از دیوان ناصر در آینده فراهم خواهد شد.

جناب رسته کار آماده‌سازی دیوان ناصر را در یک زیردامنه از گنجور به نام خود او (naser.ganjoor.net) پیش برده‌اند و در همانجا مطالب بیشتری برای استفادهٔ علاقمندان در دسترس گذاشته‌اند.

تصویر متناظر متن چاپی مرجع جناب رسته (تصحیح دکتر مهدی درخشان) نیز زیر اشعار در دسترس است.

آثار ناصر بخارایی به روال سایر آثار در دسترس از طریق گنجور، از طریق گنجور رومیزی (با دریافت مجموعه‌ها) و سایر نرم‌افزارهای سازگار با آن و همینطور از طریق کتابخانهٔ گنجور قابل دریافت است.

گنجوریار: افزونه‌ای از آقای رضا سامانی برای بدلخواهسازی گنجور در مرورگر کروم

آقای رضا سامانی که اضافه شدن حالت تیره به گنجور مرهون تلاش‌های پیشین ایشان است افزونه‌ای به نام گنجوریار برای بدلخواهسازی فونت و نحوهٔ نمایش اشعار گنجور در مرورگر کروم آماده کرده‌اند که حالت بهینه‌تری هم برای حالت تیرهٔ گنجور ارائه می‌کند.

علاقمندان می‌توانند این افزونه را از اینجا دریافت و نصب کنند.

گنجوریار از آقای رضا سامانی

بعد از نصب و فعالسازی با باز کردن گنجور و رفتن به شعر مد نظر از قسمت افزونه‌های کروم روی نشان گنجوریار کلیک کنید.

گنجوریار از آقای رضا سامانی

با استفاده از گنجوریار می‌توانید فونت نمایش اشعار را از میان ۱۲ فونت پیشنهادی انتخاب کنید، اندازهٔ فونت را تغییر دهید و فاصلهٔ بین سطور را افزایش دهید .

گنجوریار آقای رضا سامانی
گنجوریار

علاوه بر آن با امکان عریض‌سازی شعر می‌توانید با استفاده از عرض بیشتر صفحه، شعرهایی را که به لحاظ طولانی بودن متن مصاریع با اندازه‌های درشت فونتها شکسته شده نمایش داده می‌شوند بهتر ببینید.

گنجوریار آقای رضا سامانی

گنجور تاجیکی، نسخهٔ آزمایشی

تاجیکستان علی‌رغم مردم فارسی‌زبانش مخاطبان زیادی در گنجور ندارد و این البته به نظر می‌رسد ناشی از تفاوتی است که خط سیریلیک ایجاد کرده باشد.

سالها پیش در گنجور قابلیتی ایجاد کردم که برای مخاطبان با زبان مرورگر تاجیکی نسخهٔ ترجمهٔ گوگل از فارسی به خط تاجیکی را نمایش بدهیم. این قابلیت تأثیر قابل مشاهده‌ای روی وضعیت مخاطبان تاجیکستانی گنجور نگذاشت و بعدتر به دلیل مسائل فنی ناخواسته‌ای که ایجاد کرد آن قابلیت را حذف کردم.

چندی پیش در مصاحبه‌های مربوط به کتاب گنجور: قدرت بی‌نهایت کوچک‌ها و در بحث مخاطبان گنجور در مناطق مختلف جهان مهدی سلیمانیهٔ عزیز در این مورد پرسید و من را دوباره به یاد این مسئله انداخت.

علت آن که نسخهٔ ترجمهٔ گوگل گنجور مخاطب پیدا نمی‌کند می‌تواند آن باشد که عمدهٔ ورودی‌ها و آشنایی اولیهٔ مخاطبان از راه خود گوگل و موتورهای جستجوست و چون نسخهٔ ترجمهٔ گوگل در نتایج جستجو ظاهر نمی‌شود مخاطب، گنجور را نمی‌یابد.

از این جهت به نظرم رسید با ایجاد یک سایت مستقل برای مخاطبان خط تاجیکی می‌توانیم مسئلهٔ کشف‌پذیر بودن گنجور را حل کنیم.

با این اوصاف به کمک کار بزرگی که سالهاست به همت آقای جلال حجتی فهیم و در قالب پروژهٔ پرشین تاجیک انجام شده نسخهٔ اولیه‌ای از برگردان اشعار گنجور به خط تاجیکی را برای چهار شاعر (حافظ، خیام، فردوسی و مولانا) در دسترس گذاشته‌ایم.

از آنجا که در خط تاجیکی کسرهٔ اضافه بر خلاف خط فارسی همه جا نوشته می‌شود لزوماً خروجی فعلی ایده‌آل نیست. اما شروعی است برای بهبودهای آینده. امیدواریم به زودی به اضافه کردن امکاناتی چون جستجو، خوانش اشعار و نهایتاً ویرایشگر برای تصحیح اشکالات خط تاجیکی راه را برای استفادهٔ بیشتر و بهتر همزبانان تاجیک فراهم کنیم.

نسخهٔ فعلی امکان مرور سلسله‌مراتبی آثار (نوار ناوبری بالا)، مشاهدهٔ شعر یا بخش بعد و مشاهدهٔ برگردان گوگل از نسخهٔ کامل صفحهٔ متناظر در گنجور را فراهم می‌آورد.

با وجود آن که سرویس ترجمهٔ گوگل کاری بیش از نویسه‌گردانی می‌کند و کلمات را با معادلهای آنها جایگزین می‌کند می‌تواند ابزار کمکی خوبی جهت دسترسی مخاطبان تاجیکی به منابع بیشتر باشد. از این جهت روی قسمتی از اشکالاتی که در نسخهٔ ترجمهٔ گوگل گنجور دیده می‌شد کار شده و اکنون در این نسخه بیشتر آیکون‌ها و نمادهای تصویری به درستی نمایش داده می‌شوند.

ترجمهٔ گوگل از فارسی به تاجیکی

لطفاً به دوستان تاجیک خود نسخهٔ تاجیکی گنجور را به نشانی tj.ganjoor.net معرفی کنید و اگر بازخورد و پیشنهادی در این زمینه داشتند آنها را ذیل همین نوشته منعکس بفرمایید.

امیدواریم به زودی همهٔ گنجور را در این نسخه پوشش دهیم و امکانات لازم برای ویرایش و بهبود توسط خود تاجیک‌ها را ارائه کنیم.

شمار و بسیاری واژگان یک شعر

در کنار آمارهای بسامد واژگان برای کل گنجور و هر سخنور و بخش امکان شمارش تعداد و فراوانی کلمات یک شعر نیز به بخش اطلاعات آن افزوده شده است که ممکن است به طور موردی به کار پژوهشگران بیاید. تصاویر زیر گویای روش دسترسی به و نحوهٔ استفاده از این قابلیت هستند.

بخش اطلاعات شعر
برای مشاهدهٔ بسامد واژگان اینجا کلیک کنید.
بسامد واژگان شعر