Bir araştırmacıyı adil bir şekilde nasıl değerlendirebiliriz?
Metrikler, bir araştırmacının araştırma çıktısını ve akademik etkisini değerlendirmenize yardımcı olabilir. Ancak, bir araştırmacıyı değerlendirirken metriklerin sahip olabileceği sınırlamaları anlamak önemlidir.
Araştırma yönetimiyle ilgili kararlar alırken ideal durum, üç tür girdiye sahip olmaktır: hakem değerlendirmesi, uzman görüşü ve nicel kanıtlara dayanan bilgi.
Bu tamamlayıcı yaklaşımlar aynı yönde sonuç verip 'örtüştüğünde', kararınızın sağlam olduğundan emin olabilirsiniz. Çelişkili sonuçlar ise genellikle daha fazla araştırma yapılması gerektiğine dair faydalı bir uyarıdır.
Neyi ölçmeye çalışıyorsunuz?
Öncelikle neyi ve neden ölçmeye çalıştığınızı anlamanız gerekir. Aşağıdaki grafik, farklı varlık türleri için her ölçüm nedenine bağlı riski göstermektedir.
Araştırmacılar söz konusu olduğunda metrik kullanımının, tüm ölçüm türlerinde orta ila yüksek risk taşıdığına dikkat edin. Bunun nedeni, eksik ya da hatalı içeriğin az miktarda bile olsa metrik sonuçları üzerinde potansiyel olarak büyük bir etki yaratabilmesidir. Bu nedenle, araştırmacıları değerlendirirken uzman görüşünü tamamlayacak metriklerin seçimi konusunda son derece dikkatli olunması gerekmektedir.
Anlama: Örneğin, “bilimin bilimi”. Kullandığınız veritabanına dayalı olarak bilimi anlamanıza yardımcı olur
Gösterme: Örneğin, tanıtım materyallerinde bir kurumu pazarlamak veya hibe başvurusu için kanıt sağlamak
İzleme: Örneğin, bir hedefe göre ilerlemeyi çizmek
Karşılaştırma: Örneğin, üniversite sıralamaları
Teşvik Etme: Örneğin, bir araştırmacının açık bilimi ne kadar desteklediğini göstermek için OA içeriğini ölçmek
Ödüllendirme: Örneğin, iş terfisi, hibe, ödül veya takdir
Kimi ölçmeye çalışıyorsunuz?
Tüm araştırmacılar eşit değildir. Aklınızda bulundurmanız gerekenler:
Araştırmacı ne kadar süredir aktif olarak yayın yapıyor?
Kariyerinde hangi aşamada?
Hastalık, çocuk veya başka nedenlerle ara vermiş mi?
Hangi alanda çalışıyorlar?
Tüm bu sorular, bir araştırmacıyı incelerken veya birden fazla araştırmacıyı karşılaştırırken doğru göstergeleri seçmenize yardımcı olabilir. Nicelik ve nitelik göstergelerini bir arada kullanarak dengeli bir sonuç elde edebilirsiniz.
Metrikler hakkında tavsiyeler
Alan Ağırlıklı Atıf Etkisi (FWCI)’yı araştırmacıları veya küçük kuruluşları karşılaştırmak için neden kullanmamalısınız?
Araştırmacıları veya küçük kuruluşları karşılaştırmak için Alan Ağırlıklı Atıf Etkisi (FWCI) kullanılması önerilmez. Araştırmacılar genellikle az sayıda yayına sahiptir ve bu yayınlar, analiz edilen kuruluşun genel profiline uymayan veya istisnai yayınlar tarafından etkilenebilir.
Örneğin, bir yazarın her yayınının FWCI'si 0,5 olsun, ancak toplam 5 yayından biri birkaç atıf almış ve FWCI'si 15 olsun. Bu durum, yazarın genel FWCI'sini orantısız bir şekilde etkileyerek yükseltecektir.
Birkaç araştırmacıdan oluşan bir grup gibi küçük bir kuruluş için de endişeler aynıdır: yayın sayısı azsa, önemli bir uç değer etkisi riski vardır.
FWCI yerine hangi metrikleri kullanabilirsiniz?
FWCI'ye alternatif olarak, alana göre normalleştirilmiş bir dizi ölçüt bulunmaktadır:
Tek bir ortalama ölçüt yerine yayın başına FWCI'ni kullanın
Araştırmacının 10 yayından 2'sinin FWCI'si en az 2 olduğunu söylemek kesinlikle sorun değildir
En çok atıf alan yüzde dilimlerinde alan ağırlıklı çıktıları kullanın (1, 10 veya 25%)
Bu metrik, araştırmacının toplam yayınlarına göre yüzdeye dönüştürülerek normalleştirilen bir sayı olduğundan, çok büyük FWCI değerleri tarafından çarpıtılamaz.
Kariyerinin başındaki araştırmacılar için hangi metrikler kullanılabilir?
Kariyerinin başındaki araştırmacılar veya yeni bir stratejinin ilk aşamalarında olan ve en çok atıf alan yüzde dilimlerinde yer alabilmek için yeterli zaman geçmemiş araştırmacılar aşağıdaki metrikleri kullanabilir:
Akademik Çıktı – boyut göstergesi olarak ve durumu belirlemek için yararlıdır
En İyi Dergi Yüzdelik Dilimlerinde Çıktılar – bu metrik, dergi verilerine dayandığından ve tek tek yayınların aldığı atıfları temel almadığından, birikmesi zaman alacaktır
Uluslararası veya kurumsal işbirliği yüzdesi – genellikle bu iki tür işbirliği, daha yüksek bir yayın FWCI'sine yol açar
Alan Ağırlıklı Görüntüleme Etkisi – bu, tek tek yayınlara olan ilginin erken bir göstergesi olabilir
Alan ağırlıklı atıf etkisi – bireysel yayın düzeyinde
Scopus yazar profillerini anlama
Scopus, indekslediği yayınları otomatik olarak tek bir yazar tarafından yayımlananlar şeklinde gruplamak için yatırım yapmıştır. Bu algoritma, yayınları eşleştirmek için yazar adındaki benzerliklerin yanı sıra kurum bilgisi, dergi portföyü ve disiplin gibi unsurları dikkate alır. Eşleştirme algoritması oldukça başarılıdır; ancak kullandığı veriler tamamen eksiksiz veya tutarlı olmadığından, hiçbir zaman %100 doğru sonuç veremez.
Ayrıca, Scopus yazar profilleri bir araştırmacının çalışmalarına dair yalnızca kısmi bir görünüm sunar. Çünkü bu profiller öğretim ve öğrenim faaliyetleri, idari deneyimler, tüm fon bilgileri, tamamlanan doktora öğrencileri ve editörlük, davetli açılış konuşmacılığı, politika danışmanlığı gibi saygınlık göstergeleri gibi unsurları içermez.
Bu yazı How can I make sure I'm evaluating a Researcher fairly? başlıklı yayından derlenmiştir.
İlgili Yayınlar