Sprawdzanie faktów: Jak godne zaufania są kontrole faktów AI? |. Wiadomości światowe
„Hej, @GrokCzy to prawda? ”Od czasów Elona PiżmoS XAI uruchomiło generatywną sztuczną inteligencję chatbot Grok w listopadzie 2023 r., A zwłaszcza, że w grudniu 2024 r. Został on wdrożony dla wszystkich użytkowników niebędących premiium, tysiące X (wcześniej Twittera) zadaje to pytanie o przeprowadzenie szybkich sprawdzania faktów na informacjach, które widzą na platformie.Niedawna ankieta przeprowadzona przez brytyjską publikację technologii online TechRadar wykazała, że 27% Amerykanów korzystało z sztucznej inteligencji, takich jak Chatgpt Openai, Meta AI Meta, Meta, Google’s Gemini, Microsoft’s Copilot lub aplikacje takie jak zakłopotanie zamiast tradycyjnych wyszukiwarek, takich jak Google lub Yahoo. Ale jak dokładne i niezawodne są odpowiedzi chatbotów? Wiele osób zadało sobie to pytanie w obliczu ostatnich stwierdzeń Grok na temat „białego ludobójstwa” w Południowej Afryce. Oprócz problematycznej postawy GROK na ten temat, X Użytkownicy byli również zirytowani faktem, że bot zaczął mówić o tym problemie, gdy zapytano go o zupełnie inne tematy, jak w poniższym przykładzie:
Zdjęcie: x
Dyskusja na temat domniemanego „białego ludobójstwa” powstała po tym, jak administracja Trumpa przyniosła Białym Południowym Afrykanom do Stanów Zjednoczonych jako uchodźców. Trump powiedział, że w swojej ojczyźnie stoją w obliczu „ludobójstwa” – zarzuty, który nie ma dowodu i wielu uważa jako związany z rasistowskim mitem spiskowym o „wielkim zamienniku”.XAI obwinił „nieautoryzowaną modyfikację” za obsesję Grok na punkcie tematu „białego ludobójstwa” i powiedział, że „przeprowadził dokładne dochodzenie”. Ale czy takie wady zdarzają się regularnie? Jak pewni użytkownicy mogą uzyskać wiarygodne informacje, gdy chcą sprawdzić coś z AI?Przeanalizowaliśmy to i odpowiedzieliśmy na te pytania w tym sprawie faktów DW.
Badanie pokazuje błędy faktyczne i zmienione cytaty
Dwa badania przeprowadzone w tym roku przez brytyjskiego nadawcy publicznego BBC i How Center for Digital Journalism w Stanach Zjednoczonych znaczące niedociągnięcia, jeśli chodzi o zdolność generatywnych chatbotów AI do dokładnego przekazywania raportów prasowych.W lutym badanie BBC wykazało, że „odpowiedzi wyznaczone przez asystentów AI zawierały znaczne niedokładności i zniekształcone treści” wyprodukowane przez organizację.Kiedy poprosił Chatgpt, Copilot, Gemini i zakłopotanie, aby odpowiedzieć na pytania dotyczące bieżących wiadomości, wykorzystując artykuły BBC jako źródła, stwierdził, że 51% odpowiedzi Chatbots miało „istotne problemy z jakiejś formy”.Stwierdzono, że dziewiętnaście procent odpowiedzi dodało własne błędy faktyczne, a 13% cytatów zostało albo zmienionych lub wcale nie obecnych w cytowanych artykułach.„Na asystenci AI nie mogą obecnie polegać na dostarczaniu dokładnych wiadomości i ryzykują wprowadzanie w błąd publiczności” – powiedział Pete ArcherDyrektor programu AI generatywnego BBC.
AI oferuje nieprawidłowe odpowiedzi z „alarmującym zaufaniem”
Podobnie, badania przeprowadzone przez Center for Digital Journalisms, opublikowane w Columbia Journalism Review (CJR) w marcu, wykazały, że osiem generatywnych narzędzi wyszukiwania AI nie było w stanie poprawnie zidentyfikować pochodzenia fragmentów artykułów w 60% przypadków.Zakłopotanie najlepiej działało z wskaźnikiem awarii „tylko” 37%, podczas gdy Grok odpowiedział 94% zapytań niepoprawnie.CJR powiedział, że szczególnie martwi się „alarmującym zaufaniem”, z jaką narzędzia AI przedstawiły nieprawidłowe odpowiedzi. „Na przykład Chatgpt nieprawidłowo zidentyfikował 134 artykuły, ale zasygnalizował brak zaufania zaledwie piętnaście razy z dwóchset (całkowitych) odpowiedzi i nigdy nie odmówił udzielenia odpowiedzi”, powiedział raport.Ogólnie rzecz biorąc, badanie wykazało, że chatboty „ogólnie złe w odmowie odpowiedzi na pytania, na które nie mogli odpowiedzieć dokładnie, oferując niepoprawne lub spekulacyjne odpowiedzi” i że narzędzia wyszukiwania AI „sfabrykowały linki i cytowały syndykowane i skopiowane wersje artykułów”.
Chatboty AI są tak dobre, jak ich „dieta”
A skąd sama AI otrzymuje swoje informacje? Jest zasilany różnymi źródłami, takimi jak obszerne bazy danych i wyszukiwania internetowe. W zależności od tego, jak szkolone i programowane są chacie AI, jakość i dokładność ich odpowiedzi mogą się różnić.„Jednym z niedawno pojawił się zanieczyszczenie LLM (duże modele językowe – notatka redaktora) przez rosyjską dezinformację i propagandę. Tak więc wyraźnie pojawia się problem z„ dietą ”LLM”, powiedział Tommaso Canetta. Jest zastępcą dyrektora włoskiego projektu sprawdzania faktów Pagella Politica i koordynatorem sprawdzania faktów w Europejskim Obserwatorium Mediów Digital.„Jeśli źródła nie są godne zaufania i jakościowe, odpowiedzi najprawdopodobniej będą tego samego rodzaju” – wyjaśniła Canetta. Powiedział, że regularnie spotyka odpowiedzi, które są „niekompletne, a nie precyzyjne, wprowadzające w błąd, a nawet fałszywe”.Dodał, że w przypadku Xai i Grok, którego właściciel, Elon Musk, jest zaciekłym zwolennikiem prezydenta USA Donalda Trumpa, istnieje wyraźne niebezpieczeństwo, że „dieta” może być kontrolowana politycznie.
Kiedy AI wszystko się myli
W kwietniu 2024 r. Meta AI podobno opublikowała na Facebooku w nowojorskiej grupie rodzicielskiej, że miała niepełnosprawne, ale utalentowane naukowo dziecko i oferowała porady na temat specjalnego nauki.W końcu chatbot przeprosił i przyznał, że nie miał „osobistych doświadczeń ani dzieci”, jak powiedział Meta 404Media, który poinformował o tym incydencie:„To jest nowa technologia i nie zawsze może zwrócić reakcję, którą zamierzamy, która jest taka sama dla wszystkich generatywnych systemów AI. Od czasu uruchomienia stale wydawaliśmy aktualizacje i ulepszenia naszych modeli i kontynuujemy pracę nad ich lepszym ” – powiedział rzecznik w oświadczeniu.W tym samym miesiącu GROK błędnie zinterpretował wirusowy żart o słabo wykształcającym koszykarze i powiedział użytkownikom w sekcji trendów, że był badany przez policję po oskarżeniu o niszczenie domów z cegieł w Sacramento w Kalifornii.Grok źle zrozumiał wspólny wyraz koszykówki, w którym zawodnik, który nie dostał żadnego z rzutów na cel, mówi się, że „rzucał cegły”.Inne błędy były mniej zabawne. W sierpniu 2024 r. GROK rozprzestrzenianie się dezinformacji dotyczących terminu dla kandydatów na prezydenta USA, które zostaną dodane do głosowania w dziewięciu stanach federalnych po wycofaniu byłego prezydenta Joe Bidena z wyścigu.W publicznym liście do Musk, Sekretarza Stanu w Minnesocie, Steve Simonnapisał, że w ciągu kilku godzin od ogłoszenia Biden Grok wygenerował fałszywe nagłówki, które wiceprezydent Kamala Harris nie kwalifikowałby się na głosowanie w wielu stanach – nieprawdziwe informacje.
Grok przypisuje ten sam obraz AI do różnych prawdziwych zdarzeń
To nie tylko wiadomość, z którą czatoty AI wydają się mieć trudności; Wykazują również poważne ograniczenia, jeśli chodzi o identyfikację obrazów generowanych przez AI.W szybkim eksperymencie DW poprosił Grok o zidentyfikowanie daty, lokalizacji i pochodzenia obrazu pożaru w zniszczonym hangaru lotniczym pobranym z filmu Tiktok. W odpowiedzi i wyjaśnieniach Grok stwierdził, że obraz pokazał kilka różnych incydentów w kilku różnych lokalizacjach, od małego lotniska w Salisbury w Anglii, po międzynarodowe lotnisko Denver w Kolorado, po międzynarodowe lotnisko Tan Son Nhat w Ho Chi Minh City w Wietnamie.W ostatnich latach rzeczywiście wystąpiły wypadki i pożary w tych lokalizacjach, ale ten obraz nie pokazał żadnego z nich. DW zdecydowanie uważa, że została wygenerowana przez sztuczną inteligencję, której Grok wydawał się niezdolny do rozpoznania, pomimo wyraźnych błędów i niespójności na obrazie – w tym odwrócone płetwy ogonowe na samolotach i nielogicznych strumieniach wody z węży pożarowych.Jeszcze bardziej niepokojące, Grok rozpoznał część znaku wodnego „Tiktok” widocznego w rogu obrazu i zasugerował, że „popiera jego autentyczność”. I odwrotnie, zgodnie z kartą „więcej szczegółów”, Grok stwierdził, że Tiktok był „platformą często używaną do szybkiego rozpowszechniania treści wirusowej, co może prowadzić do dezinformacji, jeśli nie jest odpowiednio zweryfikowane”.Podobnie w tym tygodniu Grok poinformował X użytkowników (po portugalsku), że wirusowe wideo rzekomo pokazujące ogromną anakondę w Amazonii, najwyraźniej mierząca kilkaset metrów (ponad 500 stóp), było prawdziwe – mimo że wyraźnie zostało wygenerowane przez sztuczną inteligencję, a GroK nawet rozpoznając znak wodny Chatgpt.
AI Chatbots „nie należy postrzegać jako narzędzi do sprawdzania faktów”
Chatboty AI mogą pojawiać się jako wszechwiedzący byt, ale nie są. Popełniają błędy, źle rozumieją rzeczy, a nawet mogą być manipulowane. Felix Simon, doktorant badawczy w AI oraz AI Digital News and Research Associate w Oxford Internet Institute (OII), podsumowuje: „Systemy AI, takie jak Grok, Meta AI lub Chatgpt, nie powinny być postrzegane jako narzędzia do sprawowania faktów. Chociaż można je wykorzystać do końca sukcesu, jest to niejasne, jak dobrze i konsekwentnie działają w tym zadaniu.„W przypadku Canetta w Pagella Politica chatboty AI mogą być przydatne do bardzo prostych kontroli faktów. Ale radzi także ludziom, aby nie ufali im całkowicie. Obaj eksperci podkreślili, że użytkownicy powinni zawsze dwukrotnie sprawdzać odpowiedzi z innymi źródłami.
