Theo một nghiên cứu mới của Trường Quản trị Rady, Đại học California San Diego, những bài báo không thể tái lặp được kết quả (và do đó có tính chính xác thấp hơn) trong các tạp chí tâm lý học, kinh tế và khoa học hàng đầu lại thường là những bài báo được trích dẫn nhiều nhất trong nghiên cứu học thuật.
Được xuất bản trên tạp chí Science Advances, bài báo này đã đào sâu vào “cuộc khủng hoảng tái lặp” (the replication crisis) mà giới học thuật đang phải đối mặt. Trong đó các nhà nghiên cứu đã phát hiện ra rằng nhiều phát hiện trong lĩnh vực khoa học xã hội và y học không cho ra kết quả như kỳ vọng khi các nhà nghiên cứu khác cố gắng lặp lại các thí nghiệm.
Bài báo cho thấy rằng những phát hiện từ các nghiên cứu có kết quả không thể được xác minh sau khi tái thực hiện các thí nghiệm, thực chất lại có ảnh hưởng lớn hơn theo thời gian. Điều này thể hiện ở việc rất lâu sau khi thất bại trong việc tái lặp các kết quả, các nghiên cứu này vẫn có xu hướng được trích dẫn như thể các kết quả của chúng là đúng.
Các tác giả Marta Serra-Garcia, giáo sư trợ tá kinh tế và chiến lược tại trường Rady và Uri Gneezy, giáo sư kinh tế học hành vi tại trường Rady viết: “Chúng tôi cũng biết rằng các chuyên gia có thể dự đoán tốt bài báo nào có kết quả có thể được tái lặp trong tương lai.” Với dự đoán này, chúng tôi đặt ra câu hỏi “tại sao các bài báo không thể tái lặp lại kết quả lại được chấp nhận xuất bản ngay từ đầu?”
Với họ, câu trả lời khả dĩ là các nhóm phản biện của các tạp chí học thuật phải đối mặt với sự đánh đổi. Khi kết quả có vẻ “thú vị hơn”, họ sẽ áp dụng các tiêu chuẩn thấp hơn về khả năng nhân rộng của chúng.
Mối liên hệ giữa sự thú vị của những phát hiện và tính không thể tái lặp của các kết quả nghiên cứu cũng có thể giải thích tại sao nó được trích dẫn với tỷ lệ cao hơn nhiều — các tác giả nhận thấy rằng những bài báo thành công trong việc tái lặp các kết quả nghiên cứu được trích dẫn ít hơn 153 lần so với những bài báo thất bại.
“Những phát hiện thú vị hoặc hấp dẫn cũng được truyền thông đưa tin nhiều hơn hoặc được chia sẻ trên các nền tảng như Twitter, tạo ra rất nhiều sự chú ý, nhưng điều đó không khiến chúng trở nên đúng hơn,” Gneezy nói.
Serra-Garcia và Gneezy đã phân tích dữ liệu của ba dự án có tầm ảnh hưởng có mục tiêu tái thực hiện các nghiên cứu, trong đó những phát hiện trên các tạp chí tâm lý học, kinh tế và khoa học tổng hợp hàng đầu (Nature/Science) được cố gắng tái lặp một cách có hệ thống. Trong tâm lý học, chỉ có 39% trong số 100 thí nghiệm được tái lặp thành công. Về kinh tế học, 61% trong số 18 nghiên cứu được tái lặp thành công cũng như 62% trong số 21 nghiên cứu được công bố trên Nature hoặc Science.
Với những phát hiện từ ba dự án này, các tác giả đã sử dụng Google Scholar để kiểm tra xem liệu các bài báo với kết quả không tái lặp được có được trích dẫn thường xuyên hơn so với các bài báo đã được nhân rộng thành công hay không, cả trước và sau khi các dự án tái lặp được công bố. Sự khác biệt lớn nhất nằm ở các bài báo được xuất bản trên Nature/Science: các bài báo với kết quả không thể tái lặp lại được trích dẫn nhiều hơn 300 lần so với các bài báo có thể tái lặp.
Khi các tác giả tính đến những đặc điểm của các nghiên cứu gốc — chẳng hạn như số lượng tác giả, tỷ lệ tác giả là nam, các chi tiết của thí nghiệm (địa điểm, ngôn ngữ và cách thức triển khai) cũng như là lĩnh vực mà bài báo được xuất bản — thì mối quan hệ giữa khả năng kết quả được tái lặp và số lần được trích dẫn vẫn không thay đổi.
Họ cũng cho thấy tác động của số lần được trích dẫn tăng lên theo thời gian. Số lượng trích dẫn hàng năm cho thấy một khoảng cách rõ rệt giữa các bài báo có kết quả được tái lặp và những bài không. Trung bình, các bài báo với kết quả không thể tái lặp được trích dẫn nhiều hơn 16 lần mỗi năm. Khoảng cách này vẫn còn ngay cả sau khi kết quả của các dự án tái lặp được công bố.
Các tác giả viết: “Đáng chú ý là, chỉ có 12% trích dẫn sau tái lặp về những phát hiện không thể tái lặp thừa nhận sự thất bại của việc tái thực hiện thí nghiệm.”
Nếu được xuất bản trên một tạp chí uy tín, ảnh hưởng của một bài báo không chính xác có thể gây ra hậu quả trong nhiều thập kỷ. Ví dụ, nghiên cứu của Andrew Wakefield được công bố trên tạp chí The Lancet vào năm 1998 đã khiến hàng chục nghìn phụ huynh trên khắp thế giới phản đối vacxin sởi, quai bị và rubella bởi nó đã ngụ ý về mối liên hệ giữa việc tiêm chủng và chứng rối loạn phổ tự kỷ. Những phát hiện không chính xác đã được rút lại bởi The Lancet 12 năm sau đó, nhưng những sai lầm rằng việc chứng rối loạn phổ tự kỷ có liên quan đến vacxin vẫn còn đó.
Các tác giả nói thêm rằng các tạp chí có thể cảm thấy áp lực phải công bố những phát hiện thú vị, và giới học thuật cũng vậy. Ví dụ, trong các quyết định tiến cử, hầu hết các tổ chức học thuật sử dụng trích dẫn như một thước đo quan trọng trong việc quyết định có đề bạt một giảng viên hay không.
Đây có thể là nguồn gốc của “cuộc khủng hoảng tái lặp”, được nhận ra lần đầu tiên vào đầu những năm 2010.
“Chúng tôi hy vọng nghiên cứu của chúng tôi khuyến khích độc giả thận trọng hơn khi đọc một cái gì đó thú vị và hấp dẫn,” Serra-Garcia nói. “Bất cứ khi nào các nhà nghiên cứu định trích dẫn một công trình thú vị hơn hoặc đã được trích dẫn nhiều lần, chúng tôi hy vọng họ sẽ kiểm tra xem liệu có sẵn các dữ liệu sau tái lặp hay không và những phát hiện đó có thể có ý nghĩa gì”.
Gneezy nói thêm, “Chúng tôi quan tâm đến lĩnh vực này, và mong muốn nó sẽ giúp đem đến những nghiên cứu thật sự chất lượng.”
Minh Vũ dịch
Nguồn:
Christine Clark. (May 21, 2021). A New Replication Crisis: Research that is Less Likely to be True is Cited More. UC San Diego News Center