„Pozdrowienia! Zostałeś dodany do systemu redakcyjnego naszego czasopisma, ponieważ uważamy, że służyłbyś jako doskonały recenzent manuskryptu (nieobsługiwanego tytułu)…”
Prawdopodobnie też je dostaniesz. Wydaje się, że takie e -maile się propagują. System recenzji może być nadal najlepszy, jaki mamy w zakresie zapewniania jakości akademickiej, ale jest podatny na przeciążenie ludzkie, preferencje, a nawet nastrój. Rezultatem może być niskie, późne lub niepokonstruujące recenzje, ale najpierw redaktorzy muszą mieć szczęście, że w ogóle ktoś chce dokonać recenzji. Powinien być lepszy sposób. Oto pomysł przemyślenia procesu alokacji recenzentów.
Presja na recenzję
Jak Liczba artykułów akademickich stale rośniePodobnie jak zadania o sędziowaniu. Naukowcy starają się nadążyć za rosnącymi wymaganiami publikowania własnej pracy, a jednocześnie przyjmując niewdzięczne zadanie przeglądu pracy innych. Po tym, niski efekt, wygenerowany AI, a nawet Plagiatowe raporty recenzentów Znajdź żyzny grunt, karmiąc błędne koło, które powoli podważa proces. Wspólna ocena – podłoże naukowej kontroli jakości – jest pod presją.
Redaktorzy eksperymentują ze sposobami przemyślenia procesu recenzowania. Pomysły obejmują płacący recenzentówW Dystrybucja zadań przeglądowych Spośród wielu recenzentów (w sprawie propozycji projektu), Przejrzysty publikowanie recenzji (Już dla niektórych Natura czasopisma) lub śledzenie i udzielanie wirtualnych kredytów do recenzji (jak w przypadku Publion). Jednak w jednym aspekcie czasopisma najwyraźniej niewiele eksperymentowały: jak przypisać przesłane dokumenty wykwalifikowanym recenzentom.
Standardowym podejściem do wyboru recenzentów jest dopasowanie zapisanych sędziów do przesłanych artykułów przy użyciu wyszukiwania słów kluczowych, listy referencyjnej papieru lub wiedzy redaktorów na temat pola i społeczności. Recenzenci są zaproszeni do przejrzenia tylko jednego artykułu na raz – ale często masowo zabezpieczając wystarczającą recenzje – a jeśli odmówią, ktoś inny może zostać zaproszony. To nieproduktywny proces.
Wybór przydziału zadań w pracy może poprawić wydajność
Zainspirowany naszym Trwające badania Dając pracownikom większy wybór przydziału zadań w pracy w warunkach produkcyjnych, uderzyło mnie, że sędziowie akademiccy mają ograniczone wybory, gdy poproszono go o sprawdzenie artykułu na czasopismo. Zasadniczo jest to „tak, wezmę to” lub „Nie, nie”. Mają tylko wybór akceptowania lub odrzucenia jednego artykułu z czasopisma na raz. To wydaje się być modus operandi we wszystkich dyscyplinach, które spotkałem.
W naszym badaniu w kontekście fabrycznym wydajność wzrosła, gdy pracownicy mogli wybierać spośród kilku zadań pracy. Producent, z którym współpracowaliśmy, wdrożył system alokacji zadań oparty na smartwatch: pracownicy nosili smartwatche, pokazując otwarte zadania, które mogliby zaakceptować lub odrzucić. W eksperymencie terenowym zapewniliśmy niektórym pracownikom możliwość wyboru z menu otwartych zadań zamiast jednego. Nasze wyniki pokazały, że zapewnienie wyboru poprawa wydajności pracy.
Nowe podejście: wybór recenzentów
Podobnie jak w warunkach produkcyjnych, recenzenci akademiccy mogą również lepiej radzić sobie w systemie, który upoważnia ich opcjami. Jednym ze sposobów na poprawę wzajemnej oceny może być tak proste, jak przedstawienie potencjalnych sędziów w kilku przesłanych tytułach i streszczeniach do wyboru do przeglądu.
Korzyści z wyboru w alokacji recenzentów są realistyczne: sędziowie mogą być bardziej skłonni do zaakceptowania przeglądu, gdy poproszono o wybranie jednego spośród kilku, a ich wynikowe raporty z przeglądu powinny być bardziej terminowe i rozwojowe, gdy są naprawdę ciekawe tematu. Na przykład recenzenci mogą wybrać jeden spośród ograniczonego zestawu tytułów i streszczeń, które pasują do ich obszaru domeny lub wiedzy metodologicznej.
Idąc dalej, wydawcy mogą rozważyć łączenie zgłoszeń z kilku czasopism w ramach przesyłania międzyświzyjnego i platformie recenzji. Może to pomóc, aby proces przeglądu koncentrował się na badaniach, a nie na tym, gdzie jest on przedłożony – uwzględniony z San Francisco Deklaracja oceny badań. Zauważam, że recenzje z podwójnym ślepym zmniejszyć uprzedzenia na podstawie przynależności i nazwisk.
Co może pójść nie tak
W świetle zwiększonej presji na proces publikowania przemyślenie procesu recenzji jest ważne same. Jednak przeniesienie do alternatywnego systemu opartego na wyborze wprowadza kilka nowych wyzwań. Po pierwsze, istnieje ryzyko ujawnienia pomysłów na szerszy zestaw recenzentów, którzy mogą być bardziej zainteresowani uzyskaniem pomysłów na następny projekt niż angażowanie się w konstruktywny proces przeglądu.
W związku z tym, jeśli platforma jest czasoprzestrzenna, autorzy mogą wahać się przed ujawnieniem swojej pracy wielu recenzentom w przypadku odrzucenia. Po drugie, autorzy mogą ulec pokusie korzystania z tytułów i streszczeń Clickbait – choć może to cofnąć się do autorów, gdy recenzenci nie znajdują tego, czego oczekiwali w dokumentach. Po trzecie, marginalizowane lub nowe tematy mogą nie znaleźć zainteresowanych recenzentów. Podobnie jak w przypadku klasycznego procesu recenzji, takie artykuły mogą być nadal obsługiwane przez redaktorów równolegle. Chociaż należy wziąć pod uwagę przeszkody, testowanie rozwiązania powinno mieć niskie ryzyko.
Zadzwoń do działania
Wydawcy mają już wielozadaniowe platformy przesyłania, co ułatwia autorom przesyłanie artykułów do szeregu czasopism lub przenoszenie między nimi rękopisów. Przyznanie większej liczby opcji recenzentom powinno być technicznie łatwe do wdrożenia. Najprostszym sposobem byłoby użycie obecnych platform do przypisania recenzentom niskiej liczby dokumentów i poproszenia ich o wybranie jednego. Minusem może być wydłużone czasy zwrotu, więc korzystne może być łączenie dokumentów w podzbiorze czasopism.
W celu sukcesu recenzenci powinni zostać sprawdzone i zaakceptować kodeks postępowania. Redaktorzy czasopisma muszą zaakceptować, że ich czasopisma zostaną sprawdzone na tym samym poziomie i z taką samą kontrolą jak inne czasopisma w puli. Być może mogą istnieć wytyczne Tit-for-TAT, takie jak wypełnienie dwóch konstruktywnych recenzji lub więcej dla każdego artykułu, który zespół autora złoży do recenzji. Takie zasady mogą działać, gdy w czasopismach, recenzentach i dokumentach istnieje ekonomia skali. Redaktorzy, kto spróbuje najpierw?
