Blog de la Biblioteca de Matemàtiques i Informàtica

Tag Archives: mètriques


by 2 comentaris

Les noves mètriques alternatives: Metrics toolkit

Metrics toolkit

Les altmetrics són les mètriques alternatives a les estàndard, emprades per avaluar l’impacte de la recerca més enllà del nombre de cites d’un article o d’un autor. Mesuren l’impacte sobre sèries de dades, codi font, pàgines web…, tot cobrint les bases de dades i de coneixement que l’inclouen, les consultes, els comentaris, les visualitzacions i les descàrregues, les mencions i les recomanacions en mitjans no considerats habitualment en la literatura acadèmica. L’any 2010, davant la necessitat de disposar d’una mètode per avaluar l’impacte social web —descàrregues , avaluació d’experts, citacions, emmagatzematge, enllaços, bookmarks, converses—, alguns acadèmics van impulsar l’Altmetrics Manifesto. L’any 2014, Máire Geoghegan-Quinn, comissària Europea de Recerca, Innovació i Ciència durant el període 2010-2014, va vincular la importància de les altmetrics per a l’expansió del concepte d’impacte científic mitjançant les noves aplicacions web, amb el desenvolupament de l’anomenada Ciència 2.0.

Els investigadors van començar a utilitzar-les després de 2010, afegint aquests indicadors als seus currículums per tal que s’utilitzessin per a la promoció acadèmica o bé per recollir fons destinats a la seva activitat investigadora. Es fan servir per cridar l’atenció, per difondre la recerca a la societat en general i no únicament a la comunitat acadèmica o investigadora.

Se’n recomana l’ús:

  • Per complementar l’evidència qualitativa i quantitativa, i així donar suport a aspectes d’influència, compromís, ús i impacte.
  • Per presentar dades quantitatives contextualitzades i utilitzar-les amb indicadors normalitzats.
  • Per acostar la ciència a la ciutadania, perquè indica que el cicle de la investigació no és únicament resultat i impacte, sinó que pot incloure avaluació sobre la popularitat de la temàtica.
  • Per treballar amb fonts en obert si no es troben d’altres indicadors fiables.

Avantatges i inconvenients

  • La majoria de dades són transparents, reutilitzables i gratuïtes.
  • Mostren també l’impacte negatiu de l’objecte a mesurar.
  • S’ha d’utilitzar objectes alineats per poder fer una comparació. Si es comparen proves quantitatives, s’han de triar objectes de la mateixa disciplina, any de publicació i/o idioma. En el cas d’autors, amb la mateixa etapa professional, i/o que treballen en institucions similars.
  • Són fàcilment manipulables: compres de mencions, utilització de bots, diversitat de mètodes a l’hora de recopilar dades, etc.
  • Com els estàndard, els indicadors de les altmetrics mostren el resultat del seguiment i com s’utilitza la investigació, si el treball influeix en el seu camp d’estudi, però no la qualitat de la informació.
  • La immediatesa treballa en contra de l’exhaustivitat. És a dir, l’alta captació de la web social arriba perquè els articles s’esmenten quan es publiquen i no hi ha una revisió retroactiva. Amb els indicadors tradicionals, aquesta temporalitat també està present: les cites necessiten temps per generar-se.

Metrics Toolkit

4 maneres de mesurar l'impacteÉs una eina pensada per a ajudar als investigadors a escollir i fer servir el recurs d’avaluació de recerca pertinent segons les seves necessitats. Està desenvolupada per un grup de professionals de la informació vinculats a l’avaluació de la recerca. Va guanyar la beca Force11 el 2016.

Dóna informació sobre mètrica de recerca entre disciplines; el mètode de càlcul de cada sistema, quina plataforma l’utilitza i com s’ha d’aplicar perquè sigui útil i tingui sentit. Inclou exemples sobre les diverses aplicacions.

Hi ha dues maneres de treballar amb Metrics:

  • Explore metrics: permet escollir la plataforma més adient d’entre una llista multidisciplinar, amb la possibilitat de filtrar per tipus de font d’informació on aplicar-la.
  • Choose metrics: permet escollir la plataforma més adient filtrant per tipus d’impacte, l’objecte de la recerca i la disciplina de l’estudi.

Sigui quina sigui la manera d’escollir plataforma, la suggerida es presenta amb una fitxa detallada amb les seves característiques:

  • Field: descripció del camp o àrea temàtica on s’aplica.
  • Name: nom de la plataforma.
  • Can apply to: l’objecte d’aplicació de la mètrica: revista, autor, article, etc.
  • Metric definition: descripció del càlcul de la mètrica.
  • Metric calculation: formulació/notació matemàtica de la mètrica.
  • Data sources: font de les dades utilitzades per calcular la mètrica.
  • Appropriate use cases: llista els casos relacionats amb l’impacte on la mètrica és aplicable.
  • Limitations: llista les limitacions de la mètrica.
  • Inappropriate use cases: llista els casos on l’ús de la mètrica no és apropiat.
  • Available sources: fonts que fan manteniment de la mètrica.
  • Transparency: capacitat d’accedir i verificar les dades d’origen i els algorismes per obtenir mètriques.
  • Website: URL de la pàgina oficial de la plataforma.
  • Timeframe: Abast temporal o cobertura utilitzada en el càlcul de la mètrica.

A dia 12 de març de 2018, Metrics Toolkit buida 32 mètriques diferents, entre les que cal destacar: Wikipedia Citations, Github, Journal Impact Factor, H-Index, Citations, Software, Twitter Mentions, citations, data, etc.

Metrics toolkit

Bibliografia