sábado 15 de octubre de 2011

Sobre el peer review en ciencia (ojo, opinión personal y sesgada!)

Últimamente me he "hecho un hombre": ya me han mandado artículos para revisar, debido a "mi expertise en modelado" como dice un editor, o debido a que soy "líder en mi área de investigación" como dice otro. Obviamente ambos son extremadamente amables y generosos, o realmente no están muy al día sobre mi escueto CV. El caso es que me han llegado el momento de hacer amigos revisando artículos ajenos.


Y lo cierto es que la primera reacción ha sido rechazar las revisiones, y no convertirme en parte del sistema (del "juego"). Porque el sistema de revisión por pares NO ME GUSTA (que quede claro). Y eso ocurre por un par de motivos (o más):
  • Un manuscrito solo es la punta del iceberg de un trabajo de investigación, y es lo único que un referee tiene para evaluar. Hay muchas cosas que no se cuentan en un manuscrito, porque son tediosas, porque son caminos que no llevaban a ninguna parte, o porque hay que escribirlo todo de forma muy "cool", para vender la moto lo mejor posible. Por tanto el referee tiene una información sesgada, y en la mayor parte de los casos insuficiente para saber si tu trabajo es nuevo o no, o contempló otras posibilidades a las expresadas en el texto (que es limitado en todas las revistas, excepto "Ecological Monographs").
  • Dos o tres referees ya cargados de tareas tienen que evaluar en unos pocos días los resultados de un trabajo de muchos meses o años de un equipo que puede ser bastante grande. Es decir, dos o tres personas no involucradas en un proyecto más o menos grande se supone que tienen más criterio que el equipo de trabajo que realizó la investigación. Me resulta difícil de creer, por muy experto que sea uno.
  • Los referees son científicos, y los científicos tienen el ego desproporcionado (yo no, soy una bella persona). Si tu trabajo entra en conflicto el ego de un referee, la has liado. Sobre esto no hay mucho que comentar, pasa en todos los ámbitos de la vida académica.
  • Los referees, aunque en teoría no tienen el poder de rechazar trabajos (ellos solo recomiendan), en la práctica sí lo tienen, porque los editores no suelen molestarse en tomar la última decisión y respetan el criterio de los referees. Esto hace que los referees tengan mucho poder. Y todos sabemos que el poder es un potente afrodisíaco. Pero los científicos hacen poco el amor (me consta). El resultado es un gran grupo de referees con mucha mala leche acumulada (si relacionaste los términos de ambas frases, lo siento, no era mi intención ser tan gráfico), que se desahogan de formas realmente crueles a la hora de revisar.
  • Las revistas buscan maximizar el número de citas que reciben, y prefieren publicar trabajos de científicos reputados y muy citados (lo que hace a su vez que sean más citados, bonita espiral de fama y gloria). Esto tiene consecuencias que ya conocen todos los investigadores jóvenes sin un padrino potente.
  • Pon aquí tu razón (hay más), de las posibles soluciones ya hablaré otro día, que las hay.
Sin embargo tengo que admitir que una buena revisión ayuda y mucho a que los artículos mejoren, aunque eso solo sirve si finalmente los publicas, claro.

Bueno, que me pierdo. El caso es que he consultado con la almohada, con mis compañeros, con mi prima y con mi perra, y la disparidad de criterios en sus consejos me ha llevado a tomar la decisión por mi mismo. Y sí, voy a jugar. Y ojo, ¡yo no hago prisioneros!.

Abrazos a todos aquellos que han estado viniendo a ver si aparecía algo nuevo por aquí.

5 comentarios:

JuanMac dijo...

Si cuando no hay revisión por pares se puede producir esto:
http://en.wikipedia.org/wiki/Sch%C3%B6n_scandal

y cuando si que hay peer review se puede dar esto otro:

http://es.wikipedia.org/wiki/Esc%C3%A1ndalo_Sokal
http://es.wikipedia.org/wiki/Esc%C3%A1ndalo_Bogdanov

¿Qué modelos alternativos propones/conoces?

Mi conocimiento sobre el tema es nulo aunque en alguna ocasión he oído hablar por ahí de la idea de un repositorio único en la que las revisiones se hagan de forma colectiva (quizás con algún modelo mixto comunidad-expertos), pero no sé si ya hay alguna experiencia en uso ya.

Felicidades por el "ascenso" científico :P Seguro que lo llevas con buen criterio.

Curro Bonet dijo...

Muy bueno Blas. Me ha encantado tu reflexión. Queda clarísimo que el asunto te ha tocado la fibra sensible.

Estoy casi totalmente de acuerdo en todo lo que comentas. Pero al hilo de lo que dice Juanma, ¿qué alternativas tenemos?. O mejor, ¿Qué podemos hacer para cambiar este sistema que no nos gusta?.

Hay soluciones extremas que no son factibles. Una es suicida (=no publicar), y otra es poco realista (=publicar más que nadie y luego, cuando eres un Dios dejar de hacerlo y cambiar el sistema por la fuerza bruta). Supongo que entre estos extremos habrá posiciones intermedias que contribuyan a hacer este sistema algo mejor. Tu entrada es una de esas posiciones, creo. Se me ocurre que otra opción podría ser la de publicar algún artículo en revistas abiertas de esas que son revisadas por la comunidad.

En fin, como dijo uno, mirada larga y paso corto ;)

Anónimo dijo...

Podríamos facilitarle las relaciones sexuales a los revisores para favorecer un ambiente de distensión más agradable para todos.

Adrián Rodríguez dijo...

Imaginad que a Darwin le hubiesen impuesto un sistema como éste... Nunca hubiese podido publicar un solo artículo. Además, le habrían presionado para que publique unos cuantos artículos por año, para así justificar su salario y aparecer en un máximo de referencias. Probablemente nunca hubiese publicado sus teorías en tales condiciones...

jdalcaraz dijo...

Dos cositas:
Muchas veces no se toman en cuenta la ciencia aplicada, que también es ciencia, por el motivo de que los resultados son muy locales. La consecuencia es que la trasferencia de saber no se produce y estamos fallando en una de las premisas más importantes de los científicos, trasmitir conocimientos.
Por otro lado, muchos de los problemas que se comentan se solucionarían publicando en revistas abiertas (que las hay, con el mismo sistema de revisión por pares) donde el interés económico no prima.