پیشرفتهترین مدل OpenAI، GPT-4، چندین امتحان را از نوار تا SAT در صدکهای برتر گذرانده است، اما برای امتحانات CFA به کمک نیاز دارد.
bluestocking/Getty Images
- چت ربات پر سر و صدا OpenAI، ChatGPT، قبلاً امتحانات پزشکی، حقوق و دانشکده بازرگانی را گذرانده است.
- و جدیدترین مدل آن، GPT-4 میتواند به موفقیت برسد و شانس معقولی برای قبولی در آزمون CFA دارد.
- خودی فهرستی از تکالیف، آزمونها و آزمونهایی که هر دو مدل موفق شدهاند را گردآوری کرد.
ثبتنام کنید تا از بزرگترین داستانهای امروزی در بازارها، فناوری و کسبوکار مطلع شوید – روزانه تحویل داده میشود. پیش نمایش را بخوانید
در حالی که در حال حرکت هستید به موضوعات مورد علاقه خود در فید شخصی شده دسترسی داشته باشید.
از آنجا که OpenAI ChatGPT را راه اندازی کرد نوامبر گذشته، مردم چت بات را به معنای واقعی کلمه با استفاده از آن برای نوشتن امتحانات و تولید مقاله مورد آزمایش قرار دادند. در حالی که این ربات در سطح دبیرستان و حتی در مقاطع تحصیلات تکمیلی عملکرد خوبی داشته است، مطمئناً اشتباهات خود را نیز انجام می دهد.
اما پس از آن، در ماه مارس، OpenAI GPT-4، پیشرفته ترین مدل خود را تا به امروز منتشر کرد. مدل یادگیری عمیق میتواند تصاویر را درک کرده و مورد بحث قرار دهد و هشت برابر متن قبلی خود، ChatGPT، تولید کند، که آن را به آزموندهندهای بسیار واضحتر تبدیل میکند.
اگر دقیقاً نمیدانید این ابزارهای هوش مصنوعی مولد چقدر هوشمند هستند، برخی از امتحانات دشواری را که امتحان کردهاند، قبول کردهاند و شکست خوردهاند، بررسی کنید.
GPT-4 شانس قبولی در امتحان CFA را دارد – اما ChatGPT؟ شانسی وجود ندارد.
ژنرال Z TikToker که با آموزش نوشتن مقاله به مردم ۶ شکل درست کرده بود، یکی از مقالات خود را سرقت علمی کرده است.
fizkes/Getty Images
GPT-4 “شانس مناسبی” برای قبولی در امتحانات سطح I و سطح II CFA با درخواست مناسب دارد، در حالی که ChatGPT در تمام تنظیمات آزمایش شده در یک مطالعه از تیمی از محققان دانشگاه کوئینز، ویرجینیا تک، و بخش تحقیقات هوش مصنوعی جی پی مورگان. محققان گفتند که این مدل با سطح II بیشتر از سطح I مشکل داشت و خاطرنشان کردند که “هیچ اتفاق نظری” وجود ندارد که کدام سطح برای شرکت کنندگان در آزمون دشوارتر است.
محققان دریافتند GPT-4 تقریباً در هر موضوعی بهتر از ChatGPT عمل می کند.
را مجموعه سه امتحانی که برای به دست آوردن CFA شما طول می کشد، برای انسان ها بسیار دشوار است، هم. نرخ قبولی برای سطوح I، II و III بین ۳۷٪ تا ۴۷٪ در اوت ۲۰۲۳ کاهش یافت. بر این اساس به موسسه CFA
نمره GPT-4 در صدک ۹۰ آزمون وکالت با امتیاز ۲۹۸ از ۴۰۰٫
thianchai sitthikongsak/Getty Images
در حالی که GPT-3.5 که نسخه رایگان ChatGPT را تقویت می کند، تنها در صدک دهم آزمون وکالت امتیاز کسب کرد. بر این اساس به OpenAI.
آستانه عبور از نوار از ایالت به ایالت دیگر متفاوت است. با این حال، در نیویورک، شرکت کنندگان در آزمون نیاز به نمره ۲۶۶ دارند، در حدود صدک ۵۰به تصویب بر این اساس به هیئت بازرسان قانون ایالت نیویورک.
GPT-4 در بخش Reading & Writing SAT با امتیاز ۷۱۰ از ۸۰۰ رتبه کسب کرد که آن را در صدک ۹۳ شرکت کنندگان در آزمون قرار می دهد.
رویترز
این در حالی است که GPT-3.5 در صدک ۸۷ با امتیاز ۶۷۰ از ۸۰۰ امتیاز کسب کرد. بر این اساس به OpenAI.
برای بخش ریاضی، GPT-4 امتیاز ۷۰۰ از ۸۰۰ را به دست آورد و در میان صدک ۸۹ شرکت کنندگان در آزمون قرار گرفت. بر این اساس به OpenAI. OpenAI اشاره کرد در حالی که GPT-3.5 در صدک ۷۰ امتیاز کسب کرد.
در مجموع، GPT-4 امتیاز ۱۴۱۰ از ۱۶۰۰ را به دست آورد. میانگین امتیاز در آزمون SAT در سال ۲۰۲۱ برابر با ۱۰۶۰ بود گزارش از هیئت کالج
نمرات GPT-4 در Graduate Record Examinations یا GRE، بسته به بخش ها بسیار متفاوت بود.
مداد روی یک امتحان چند گزینه ای نگه داشته می شود
bluestocking/Getty Images
در حالی که در صدک ۹۹ در بخش شفاهی امتحان و در صدک ۸۰ از بخش کمی امتحان، GPT-4 تنها در صدک ۵۴ آزمون نوشتاری امتیاز کسب کرد. بر این اساس به OpenAI.
GPT-3.5 همچنین در صدک ۵۴ آزمون نوشتاری امتیاز کسب کرد و به ترتیب در صدک ۲۵ و صدک ۶۳ برای بخش کمی و شفاهی امتیاز کسب کرد. بر این اساس به OpenAI.
به گفته OpenAI، GPT-4 در آزمون نیمه نهایی المپیاد زیست شناسی ۲۰۲۰ ایالات متحده در صدک ۹۹ تا ۱۰۰ امتیاز کسب کرد.
آریل اسکلی/گتی ایماژ
المپیاد زیست شناسی ایالات متحده یک مسابقه علمی معتبر ملی است که به طور منظم تعدادی از درخشان ترین دانش آموزان زیست شناسی در کشور را جذب می کند. دور اول شامل یک امتحان آنلاین آزاد ۵۰ دقیقه ای است که هزاران دانش آموز را در سراسر کشور به خود جذب می کند. بر این اساس به سایت USABO.
دور دوم – امتحان نیمه نهایی – یک امتحان ۱۲۰ دقیقه ای با سه بخش شامل سوالات چند گزینه ای، درست / نادرست و پاسخ کوتاه، USABO است. یادداشت در سایت خود دانش آموزانی که ۲۰ نمره برتر در آزمون نیمه نهایی را کسب کنند به مرحله نهایی کشوری راه خواهند یافت. بر این اساس به USABO.
GPT-4 مجموعه ای از امتحانات تکمیلی را گذرانده است، امتحاناتی برای دوره های سطح کالج که توسط دانش آموزان دبیرستانی که توسط هیئت کالج اداره می شود، گرفته شده است.
Lu/Getty Images را یاد بگیرید
نمرات از ۱ تا ۵ متغیر است که نمرات ۳ و بالاتر معمولاً نمره قبولی در نظر گرفته می شود. بر این اساس به هیئت کالج
GPT-4 در تاریخ هنر AP، AP Biology، AP Environmental Science، AP Macroeconomics، AP Microeconomics، AP Psychology، AP Statistics، AP US Government و AP US History، نمره ۵ دریافت کرد. بر این اساس به OpenAI.
در AP Physics 2، AP Calculus BC، AP Chemistry و AP World History، GPT-4 یک OpenAI 4 دریافت کرد. گفت.
GPT-4 هنوز با امتحانات ریاضی دبیرستان دست و پنجه نرم می کند.
یوتیوب
AMC 10 و ۱۲ امتحانات ۲۵ سوالی و ۷۵ دقیقه ای هستند که برای دانش آموزان دبیرستانی برگزار می شود که موضوعات ریاضی از جمله جبر، هندسه، مثلثات را پوشش می دهد، طبق انجمن ریاضی آمریکا. سایت.
در پاییز ۲۰۲۲، میانگین امتیاز از ۱۵۰ امتیاز کل در AMC 10 58.33 بود و ۵۹٫۹ در AMC 12به نقل از سایت MAA. GPT-4 به ترتیب امتیازهای ۳۰ و ۶۰ را کسب کرد و آن را بین صدک ۶ تا ۱۲ AMC 10 و صدک ۴۵ تا ۶۶ AMC 12 قرار داد. بر این اساس به OpenAI.
در حالی که دریافت اعتبارنامه خود به عنوان یک مهماندار شراب بسیار دشوار است، GPT-4 امتحانات را برای تبدیل شدن به یک سوملیه پشت سر می گذارد.
Shutterstock.com
GPT-4 امتحانات Sommelier مقدماتی، Certified Sommelier و Advanced Sommelier را با نرخ های ۹۲%، ۸۶% و ۷۷% گذرانده است. بر این اساس به OpenAI.
GPT-3.5 با ۸۰٪، ۵۸٪ و ۴۶٪ برای همان امتحانات، OpenAI آمد. گفت.
ChatGPT در برخی از بخشهای آزمون MBA وارتون به خوبی عمل میکند، اما با برخی دیگر مشکل دارد.
مدرسه وارتون
عکس دیوید ترن / شاتر استوک
کریستین ترویش پروفسور وارتون اخیراً این فناوری را آزمایش کرده است با سوالات امتحان نهایی خود در مدیریت عملیات – که زمانی کلاس مورد نیاز همه دانشجویان MBA بود – و یافته های خود را منتشر کرد.
ترویش به این نتیجه رسید که ربات “کار شگفت انگیزی” انجام داد و به سؤالات عملیات اساسی بر اساس مطالعات موردی پاسخ داد، که معاینات متمرکز یک فرد، گروه یا شرکت است و روشی متداول که مدارس کسب و کار به دانش آموزان آموزش می دهند.
اگرچه در موارد دیگر، ChatGPT اشتباهات سادهای در محاسباتی مرتکب شد که ترویش فکر میکرد فقط به ریاضیات کلاس ششم نیاز دارد. ترویش همچنین خاطرنشان کرد که ربات مشکلاتی با سوالات پیچیده تری دارد که نیاز به درک چگونگی کارکرد چندین ورودی و خروجی با هم دارد.
در نهایت، Terwiesch گفت ربات B یا B- را در امتحان دریافت می کند.
ChatGPT هر سه بخش از آزمون مجوز پزشکی ایالات متحده را در یک محدوده راحت گذراند.
دکتر به طور همزمان از کامپیوتر و گوشی هوشمند استفاده می کند.
گتی ایماژ
محققان ChatGPT را از طریق آزمون مجوز پزشکی ایالات متحده – یک آزمون سه بخشی که پزشکان مشتاق بین دانشکده پزشکی و رزیدنتی انجام می دهند – قرار دادند و یافته های خود را در یک آزمون گزارش کردند. کاغذ منتشر شده در دسامبر ۲۰۲۲٫
مال کاغذ خلاصه اشاره کرد که ChatGPT “در یا نزدیک به آستانه قبولی برای هر سه امتحان بدون هیچ آموزش یا تقویت تخصصی انجام داد. علاوه بر این، ChatGPT سطح بالایی از هماهنگی و بینش را در توضیحات خود نشان داد.”
در نهایت، نتایج نشان میدهد که مدلهای زبان بزرگ – که ChatGPT روی آنها آموزش دیده است – ممکن است “پتانسیل” برای کمک به آموزش پزشکی و حتی تصمیمگیری بالینی را داشته باشند. اشاره شد.
این تحقیق هنوز در دست بررسی است، Insider اشاره شد بر اساس گزارشی از Axios
در حالی که ChatGPT مقالات قانعکنندهای را در مواقعی تولید کرده است، اما به دلیل انتشار اطلاعات نادرست بهخوبی نوشتهشده نیز باعث افزایش ابروها میشود.
Tech Insider
طولی نکشید که ChatGPT منتشر شد تا دانش آموزان شروع به استفاده از آن برای مقاله کنند و مربیان نگران سرقت ادبی شوند.
در دسامبر، متیو اس. شوارتز، پادکست بلومبرگ توییت کرد که «انشای خانه را مرده است». او خاطرنشان کرد که او یک مقاله مقاله دانشکده حقوق را به ChatGPT داده است و “فوراً* با یک پاسخ محکم پاسخ داده است.”
— Atthew S. Schwartz (@SchwartzReports) 7 دسامبر ۲۰۲۲
در نمونهای دیگر، یک استاد فلسفه در دانشگاه فورمن، دانشجویی را که متوجه شد مقالهای که توسط هوش مصنوعی تولید شده بود، «اطلاعات نادرست نوشتهشده» دارد، را گرفت. گزارش شده است.
پروفسور به اینسایدر گفت: «کلمه به کلمه این مقاله به خوبی نوشته شده بود. با این حال، همانطور که او با دقت بیشتری نگاه کرد، متوجه شد که دانش آموز ادعایی در مورد فیلسوف دیوید هیوم دارد که “بی معنی است” و “صرفاً اشتباه می کند” Insider گزارش شده است.
در یک مصاحبه در ژانویه، سام آلتمن– مدیر عامل OpenAI که ChatGPT را می سازد – گفت که اگرچه این شرکت راه هایی را برای کمک به مدارس در تشخیص سرقت ادبی ابداع خواهد کرد، او نمی تواند تشخیص کامل را تضمین کند.
ChatGPT یک آزمون میکروبیولوژی در سطح کالج را انجام داد.
Clouds Hill Imaging Ltd./Getty Images
روزنامه نگار علمی و سردبیر اجرایی Big Think، الکس برزو، ChatGPT را با یک آزمون میکروبیولوژی ۱۰ سوالی که او طراحی کرده بود، آزمایش کرد.
برزو، که دارای مدرک دکترای میکروبیولوژی است، خاطرنشان کرد که این سؤالات برای امتحان نهایی برای دانشجویان سطح کالج مناسب است. برزو نوشت ChatGPT “آن را منفجر کرد.”
در یک مثال، برزو پرسید:
“یک بیمار اورژانس با سردرد وحشتناک و سفتی گردن مراجعه می کند. پزشک برای جمع آوری مایع مغزی نخاعی شیر نخاعی را تجویز می کند. رنگ آمیزی گرم CSF وجود دیپلوکوک های گرم منفی را نشان می دهد. تشخیص چیست؟”
که ChatGPT به درستی به آن پاسخ داد:
بر اساس اطلاعاتی که ارائه کردید، رنگ آمیزی گرم مایع مغزی نخاعی (CSF) وجود دیپلوکوک های گرم منفی را نشان می دهد که باکتری هایی هستند که به طور معمول بیضی شکل هستند و به صورت جفت ایجاد می شوند. این یافته با تشخیص مننژیت مطابقت دارد.
در موردی دیگر پرسید:
“در پنج کلمه یا کمتر، فرضیه های کخ چیست؟”
که ChatGPT به آن گفت:
ایجاد علیت بین میکروب و بیماری.
برزو با بیرون آوردن کلمه “و” گفت: ChatGPT “مخلوط شد.”
ChatGPT به سختی امتحانات دانشکده حقوق را گذراند و چیزی نزدیک به C+ کسب کرد.
Jacobs Stock Photography Ltd/Getty Images
ChatGPT اخیراً در چهار دوره دانشکده حقوق امتحانات را گذرانده است در دانشگاه مینه سوتا، بر اساس الف مقاله اخیرا منتشر شده است توسط چهار استاد دانشکده حقوق در دانشکده نوشته شده است.
در مجموع، ربات به بیش از ۹۵ سوال چند گزینه ای و ۱۲ سوال مقاله پاسخ داد که به صورت کورکورانه توسط اساتید درجه بندی شدند. در نهایت، اساتید به ChatGPT «نمره کم اما قبولی در هر چهار درس» تقریباً معادل C+ دادند.
با این حال، نویسندگان چندین پیامد را برای آنچه که این ممکن است برای وکلا و آموزش حقوق معنی می دهد اشاره کردند. در یک بخش نوشتند:
اگرچه ChatGPT دانشجوی حقوق متوسطی بود، اما عملکرد او برای کسب موفقیت آمیز مدرک JD از یک دانشکده حقوق بسیار انتخابی کافی بود، با این فرض که کار او در سراسر دانشکده حقوق ثابت می ماند (و نادیده گرفتن سایر شرایط فارغ التحصیلی که شامل مهارت های مختلف می شود). دوره ای که برگزاری آزمون از راه دور به یک امر عادی تبدیل شده است، این امر می تواند به طور فرضی منجر به این شود که یک دانشجوی حقوق با مشکل از ChatGPT برای کسب JD استفاده کند که نشان دهنده توانایی ها یا آمادگی او برای وکالت نیست.”
اما این ربات در یک مرحله نهایی استدلال بالینی دانشکده پزشکی استنفورد موفق شد.
(عکس از دیوید مدیسون/گتی ایماژ)
ChatGPT فینال دانشکده پزشکی استنفورد در استدلال بالینی را پشت سر گذاشت. طبق یک یوتیوب ویدئو آپلود شده توسط اریک استرانگ – دانشیار بالینی در استنفورد – ChatGPT یک آزمون استدلال بالینی را با نمره کلی ۷۲ گذراند.
در ویدئواسترانگ استدلال بالینی را در پنج بخش تشریح کرد. این شامل تجزیه و تحلیل علائم و یافته های فیزیکی بیمار، فرضیه سازی تشخیص های احتمالی، انتخاب تست های مناسب، تفسیر نتایج آزمایش و توصیه گزینه های درمانی است.
او گفت: “این یک علم پیچیده و چند وجهی برای خودش است، علمی که بسیار بیمار محور است و کاری که هر پزشک شاغلی به طور معمول انجام می دهد.”
قوی در ویدیو ذکر شده است که آزمون استدلال بالینی معمولاً به دانشجویان سال اول پزشکی داده می شود که برای قبولی نیاز به نمره ۷۰ درصد دارند.
در ادامه بخوانید
هوش مصنوعی
منبع: https://www.businessinsider.com/list-here-are-the-exams-chatgpt-has-passed-so-far-2023-1