Od czasu wydania Chatgpt w 2022 r. Instruktorzy martwią się, w jaki sposób uczniowie mogą obejść uczenie się, wykorzystując bot czatu w celu wykonania pracy domowej i innych zadań. Przez lata duży model językowy umożliwił AI rozszerzenie swojej bazy danych i zdolności do odpowiedzi na bardziej złożone pytania, ale czy może całkowicie zastąpić wysiłki ucznia?
Absolwenci z University of Illinois w Urbana-Champaign’s College of Engineering zintegrowali duży model językowy na studia licencjackie inżynierii lotniczej Aby ocenić jego wyniki w porównaniu z pracą przeciętnego ucznia.
Naukowcy, Gokul Puthumanaillam i Melkior Ornik, stwierdzili, że Chatgpt zdobył przelotną ocenę na kursie bez większego szybkiego inżynierii, ale bot czatu nie wykazał zrozumienia ani zrozumienia koncepcji wysokiego poziomu. Ich praca ilustrująca jego możliwości i ograniczenia były opublikowany Na platformie otwartej ARXIV, obsługiwanej przez Cornell Tech.
Tło: LLM mogą rozwiązać różne zadania, w tym kreatywne pisanie i analizy techniczne, co powoduje obawy dotyczące studentów Integralność akademicka w szkolnictwie wyższym.
Znaczna liczba studentów przyznaje Wykorzystanie generatywnej sztucznej inteligencji Do Wypełnij zadania kursu (i profesorowie Przyznaj się do używania generatywnej sztucznej inteligencji do przekazywania informacji zwrotnychW Utwórz materiały kursowe i praca akademicka). Według ankiety z Wiley w 2024 r. Większość studentów twierdzi, że tak się stało łatwiejsze do oszukiwaniaDzięki AI.
Naukowcy starali się zrozumieć, w jaki sposób student inwestujący minimalny wysiłek będzie wykonywał na kursie, rozładowując pracę do Chatgpt.
Oceniona klasa, Aerospace Control Systems, oferowana jesienią 2024 r., Jest wymaganym kursem dla studentów inżynierii lotniczej. W tym terminie studenci przesyłają około 115 rezultatów, w tym problemy domowe, dwa egzaminy śródokresowe i trzy projekty programowe.
„Struktura kursu podkreśla postępową złożoność zarówno w zrozumieniu teoretycznym, jak i praktycznym”, napisali autorzy badań w swoim artykule.
Skopiowali i wkleili pytania lub przesłały zrzuty ekranu pytań do bezpłatnej wersji bota czatu bez dodatkowych wskazówek, naśladując ucznia, który inwestuje minimalny czas w swoje zajęcia.
Wyniki: Pod koniec kadencji Chatgpt osiągnął klasę B (82,2 procent), nieco poniżej średniej klasy wynoszącej 85 procent. Ale to nie osiągnęło wszystkich rodzajów przypisań.
W przypadku problemów z treningiem LLM uzyskał średnią 90,4 procent (w porównaniu ze średnią klasową 91,4 procent), osiągając najlepsze pytania wielokrotnego wyboru. Chatgpt otrzymał wyższą średnią egzaminu (89,7 procent) w porównaniu z klasą (84,8 procent), ale załamał się znacznie więcej w sekcjach pisemnych niż na komponentach autogradowych.
Chatgpt wykazał najgorszą wydajność w projektach programowania. Chociaż miało to rozsądne matematyczne rozumowanie na pytania teoretyczne, wyjaśnienie modelu było sztywne i szablonowe, a nie dostosowując się do konkretnych niuansów problemu, napisali naukowcy. Stworzyło to również nieefektywne lub nadmiernie złożone rozwiązania programowania, pozbawione „optymalizacji i niezawodności rozważań, które charakteryzują wysokiej jakości zgłoszenia uczniów”, zgodnie z artykułem.
Odkrycia pokazują, że AI jest w stanie przekazać rygorystyczny kurs licencjacki, ale systemy LLM mogą jedynie osiągnąć rozpoznawanie wzorców, a nie głębokie zrozumienie. Wyniki wskazują również naukowcom, że dobrze zaprojektowane zajęcia mogą ocenić możliwości studentów w inżynierii.
No to co? Na podstawie swoich ustaleń naukowcy zalecają członkom wydziału zintegrowania pracy projektowej i otwartych wyzwań projektowych w celu oceny zrozumienia i możliwości technicznych, szczególnie w syntezie informacji i dokonywania praktycznych osądów.
W tym samym duchu zasugerowali, że wykładowcy powinni zaprojektować pytania, które oceniają ludzką wiedzę specjalistyczną, wymagając od uczniów wyjaśnienia ich uzasadnienia lub uzasadnienia ich odpowiedzi, a nie tylko uzyskania poprawnej odpowiedzi.
Chatgpt nie był również w stanie uchwycić integracji systemu, solidności i optymalizacji w stosunku do podstawowej implementacji, więc skupienie się na tych wymaganiach zapewniłoby lepsze wskaźniki oceny.
Naukowcy zauważyli również, że ponieważ CHATGPT jest w stanie odpowiadać na problemy z praktyką, instrukcje powinny mniej koncentrować się na rutynowej pracy technicznej, a bardziej na koncepcjach inżynierii wyższego poziomu i umiejętnościach rozwiązywania problemów. „Wyzwanie przede wszystkim nie leży w zapobieganiu wykorzystaniu sztucznej inteligencji, ale opracowywaniu podejść edukacyjnych, które wykorzystują te narzędzia, jednocześnie rozwijając prawdziwą wiedzę inżynieryjną” – napisali naukowcy.
