تیمی از دانشمندان علوم کامپیو‌تر در دانشگاه پردو دریافتند که چت‌بات هوش مصنوعی محبوب ChatGPT در پاسخ‌دهی به سؤالات برنامه‌نویسی دقت پایینی دارد و تعداد زیادی از جواب‌های آن نادرست است.
این گروه تحقیقاتی در مقاله‌ای که بخشی از مجموعه مقالات کنفرانس CHI در حوزه عوامل انسانی در سیستم‌های محاسباتی است، روش بررسی خود را تشریح کرده‌اند. محققان سؤالات را از وب‌سایت استخراج کرده و آن‌ها را به ChatGPT ارائه داده‌اند، سپس می‌زان دقت پاسخ‌ها را اندازه‌گیری کرده‌اند.
یافته‌های این تحقیق در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI ۲۰۲۴) که از ۱۱ تا ۱۶ می برگزار شده، ارایه شده است.
دانشمندان دقت ChatGPT را در پاسخ به سؤالات برنامه‌نویسی ارزیابی کردند
چت‌بات هوش مصنوعی ChatGPT و سایر مدل‌های زبانی بزرگ اخیرا مورد بررسی دقیق قرار گرفته‌اند. از آنجا که این برنامه‌ها در دسترس عموم قرار دارند، محبوبیت زیادی یافته‌اند. اما متأسفانه در کنار اطلاعات مفید موجود در پاسخ‌های این سیستم‌ها، حجم زیادی از نادرستی‌ها نیز وجود دارد. نکته نگران‌کننده‌تر این است که همیشه مشخص نیست این برنامه‌ها چه زمانی پاسخ‌های غلط می‌دهند.
در این مطالعه جدید، تیم تحقیقاتی دانشگاه پردو اشاره کرد که تعداد زیادی از دانشجویان برنامه‌نویسی از مدل‌های زبانی بزرگ، نه تنها برای کمک در نوشتن کد در تکالیف، بلکه برای یافتن جواب به سؤالات برنامه‌نویسی نیز استفاده می‌کنند.
این تیم ۵۱۷ سوال را بررسی کرد و مشاهده نمود که ChatGPT چند بار پاسخ صحیح می‌دهد. متأسفانه می‌زان دقت این چت‌بات تنها در ۵۲ درصد موارد گزارش شده است. بررسی‌های مربوط به پاسخ‌های چت‌بات‌های هوش مصنوعی همچنان ادامه دارد.
محققان از سؤالاتی استفاده کردند که به‌صورت رایگان در وب‌سایت در دسترس است. این وب‌سایت برای کمک به برنامه‌نویسان جهت یادگیری بیش‌تر از طریق تعامل با دیگران ایجاد شده است.