domingo, 3 de octubre de 2010

Publicaciones científicas y revisión por pares

Este es el primero de una serie de posts en los que pretendo explicar brevemente como es el método científico actual. Esto es, en mi opinión, de un interés muy general, tanto para científicos como para profanos, ya que continuamente se producen nuevos avances científicos que son de relevancia para la población en general. Obviamente para el no entendido en cuestiones científicas es bueno saber distinguir a un científico de un cantamañanas que se quiere aprovechar de él. Igualmente hay que saber cuando algo está "demostrado científicamente" (cuestión que tomará un post propio), que es ciencia y que no y distinguir entre una hipótesis y un resultado definitivo.

En este primer post hablaré de las publicaciones científicas. Es obvio que los científicos no pueden trabajar de espaldas unos a otros, y que lo que descubren lo tienen que compartir con el resto. Si no sería equivalente a no descubrir nada. Para esto a lo largo de la historia y en la actualidad ha habido multitud de métodos distintos: Libros autoeditados, congresos, cartas personales, revistas. Sin embargo actualmente lo más extendido sin duda son las revistas científicas con revisión por pares, y es de ellas de las que quiero aclarar un poco las cosas.

Lo primero es que nunca hay que confundir una publicación científica con que en un periódico un día publiquen un artículo sobre ciencia. Igualmente no son publicaciones científicas ni Muy Interesante, ni QUO, ni National Geographic. Cualquier revista es libre de hablar de ciencia en cualquier momento, pero las revistas que publican nuevos resultados científicos son diferente como veremos ahora. Aparte no puedo dejar de mencionar que en los periódicos y revistas epañolas hoy en día se pueden leer barbaridades científicas a diario, como bien se puede ver en uno de mis blogs favoritos: malaprensa.

http://xkcd.com/799/




Revisión por pares

Esta es hoy por hoy la parte principal del proceso de publicaciones científicos. Básicamente se basa en someter el trabajo del científico a revisión por parte de otros científicos especialistas en el mismo tema.

Básicamente pasa así. Yo hago un artículo de óptica cuántica que considero que es la pera limonera y lo mando a una revista para su publicación. Antes que nada el artículo lo recibe el equipo editorial de la revista, que son los que deciden que se publica o no. Estos lo leen por encima y se lo adjudican a un editor en concreto que ellos consideran que entiende algo del tema (aunque no sea un experto, porque no pueden tener expertos de todas las ramas). En ese momento el editor puede aceptar el artículo o rechazarlo si considera que no tiene que ser aceptado. Esto último puede ocurrir por diversos motivos: que no case con el tema de la revista, que sea algo totalmente absurdo o que el editor no lo considere interesante. Si decide aceptarlo entonces tiene que buscar a los referees (árbitros en inglés, aunque casi nucna se traduce, por lo que aquí usaremos el término inglés).


Referees son prácticamente todos los científicos, sin necesidad de trabajar para una revista en concreto. Simplemente si el editor te conoce de haber leído algún paper tuyo o por algún otro motivo te puede mandar un paper y pedirte que lo referees (es decir que hagas un informe), entonces tú decides si te interesa hacerlo o no. Esto se hace por contribuir al método científico pues no se cobra en ninguna revista por hacerlo, que yo sepa, aunque alguna revista te da como recompensa el acceso a una base de datos de pago o algo similar. Los referees tienen una semana o así para decidir si aceptan referear el artículo o no y luego sobre un mes para enviar su informe (aunque eso varía según la revista). Dejadme remarcar que aunque el proceso se llama "revisión por pares" (peer rewiev) no son necesariamente dos los referees de un artículo, pueden mandarlo a 1 ó 3 o los que los editores determinen.





Los referees deben hacer un informe lo más detallado posible del artículo, explicando si les parece interesante o no, si es novedoso, científicamente plausible o si tiene algún error. También tienen que emitir un veredicto: si recomiendan su publicación, lo rechazan o lo aceptan si se hacen algunos cambios. Hay que remarcar (y esto es lo más importante) que NO es trabajo de los referees comprobar que lo que hay escrito sea correcto. Me explico, si el trabajo es experimental el referee no tiene que rehacer el experimento y ver si sale lo mismo (cosa que en la mayoría de los casos es imposible), si es matemático no tiene porqué hacer todo el desarrollo para ver si es correcto. Pueden hacerlo si quieren, e incluso pueden ir al laboratorio y pedirte que rehagas el experimento delante suya, pero no es su obligación y la mayoría no lo hacen. Lo publicado sepublica siempre bajo la responabilidad de los autores y no de los referees o la revista.

Los informes de los referees se envían al editor y este tiene que tomar una decisión: o publica el paper tal como está, o lo rechaza y se acabó la historia o continua con el proceso. Si toma esta última opción le enviará los informes de los referees a los autores y estos reharán el artículo siguiendo los consejos de los referees que estimen oportuno y lo volverán a enviar al editor, este a su vez a los referees y vuelta a empezar. Lo remarcable es que al final no son los referees los que deciden que se publica o que no, sino el editor que siempre puede enviarlo a más referees si lo cree oportuno o no hacerles caso. Obviamente eso ocurre en muy pocas ocasiones, porque la gente terminaría negándose a referear papers de una revista que no les hace caso.

En cuanto a la identidad de los autores y los referees el proceso más estándar hoy por hoy es que los referees saben quienes son los autores pero estos no saben quienes son los referees. Hay algunas revistas que usan otros métodos, como que no se sepa la identidad de los autores o que todos sepan las de todos, pero es algo minoritario hoy en día.

Más información sobre el peer review se puede consultar en la Wikipedia.


Alternativas a la revisión por pares

Recientemente el proceso de revisión está siendo objeto de muchas críticas y se están proponiendo métodos alternativos. Un buen resumen se puede ver en esta tira de PHD comics.




La crítica se basa principalmente en que en definitiva son los editores los que deciden, de modo que si un cierto grupo se afianza en lo más alto del escalafón científico puede decidir sobre lo que se publica o lo que no, censurando así las líneas de investigación ajenas. Además es una crítica muy extendida el hecho de que el refereato no es igual si el artículo lo manda alguien de prestigio reconocido que si lo manda un novato de la ciencia. Eso último es algo muy cierto, porque los referees también son humanos y se dejan impresionar por los nombres. Además en el proceso entran cuestiones muy subjetivas, como si el artículo es interesante o novedoso para la comunidad científica.

La principal alternativa a este proceso la realiza la revista PLoS ONE. Esta revista está especializada en medicina y biología y es de libre acceso, es decir todos los artículos ahí publicados tienen licencia Creative Commons. Tienen un proceso de refereato, pero en principio este sólo juzga los aspectos técnicos del paper, sin juzgar nunca su interés o novedad. La idea es dejar los aspectos subjetivos a juicio de los lectores. En la información de su web viene:

Too often a journal's decision to publish a paper is dominated by what the Editor/s think is interesting and will gain greater readership — both of which are subjective judgments and lead to decisions which are frustrating and delay the publication of your work. PLoS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound. Judgments about the importance of any particular paper are then made after publication by the readership (who are the most qualified to determine what is of interest to them).

Traducción libre: Demasiado  a menudo la decisión de una revista de publicar o no un artículo está dominada por que piensa el/los editor/es que es interesante y atraerá más lectores - ambos son juicios subjetivos y conducen a decisiones frustrantes y al retraso en la publicación de tu artículo. PLoS ONE revisará rigurosamente los artículos recibidos y publicará todos aquellos que sean técnicamente adecuados. Los juicios sobre la importancia de un paper se harán posteriormente por los lectores (que son los más cualificados a la hora de determinar que es de interés para ellos).

Otra alternativa se ha creado a partir de la página http://arxiv.org/. Esta se ideo como una base de datos de artículos, donde colgarlos para que estén accesibles a todo el mundo. Actualmente acepta artículos de matemáticas, física, biología cuantitativa y otras más. Muchos físicos colocamos ahí nuestros artículos aunque ya estén publicados, para que estén accesibles a todo el mundo y para publicitarlos. Algunos van más allá y consideran que ese es el futuro de la publicación científica, que no haya ningún tipo de control y sea la comunidad la que decida, aunque por ahora es un porcentaje muy bajo el que defiende eso.


Citas e índice de impacto

Por último quiero tratar un tema de la calidad de las publicaciones y las revistas. ¿Son todas las revistas iguales? ¿Cómo se evalúa la calidad de un científico? ¿Al que más artículos tenga? Tristemente esto es algo que hay que hacer, porque si hay una plaza y dos científicos la quieren habrá que decidir cual se la merece más, igualmente si pides dinero para un proyecto habrá que evaluar luego si se ha invertido bien o no.

http://www.thescientificcartoonist.com


Una cuestión es clara, si tu artículo es interesante lo leerá mucha gente y si les ayuda usarán tus resultados en sus investigaciones, así que en sus artículos te citarán y tendrás muchas citas a tus artículos. Esa es sin duda una manera de cuantificar la calidad de un paper (manera muy cuestionable, pero manera al fin y al cabo). El número de artículos también es relvante, porque mide tu producción, aunque hay maneras de aumentarlo, como publicar lo mismo en distintas revistas (eso se hace mucho tristemente).

Un índice que está ahora muy de moda es el índice H. Este se calcula de la siguiente manera. Tienes un índice H=x si tienes  x artículos con x (o más) citas y el resto de tus artículos tiene un número de citas menor a x cada uno. Como ejemplo yo tengo un índice H=2, porque tengo 8 artículos, de los cuales uno tiene 4 citas, otro 2 y el resto 0 ó 1. Obviamente el índice H puede variar incluso sin que tú publiques nuevas cosas, porque puede aumentar tu número de citas. En mi caso por ejemplo la mitad de los artículos son de 2010, por lo que aún no han tenido mucho tiempo para ser citados.



En cuanto a las revistas el método estándar de evaluarlas es el Factor de impacto. Este lo calcula el Institute for Scientific Information de la siguiente manera (según la wikipedia)

  • A = Número de veces en que los artículos publicados en el periodo 2001-2002 han sido citados por las publicaciones a las que se les da seguimiento a lo largo del año 2003
  • B = Número de artículos publicados en el periodo 2001-2002.
  • Factor de impacto 2003 = A/B
  • de modo que es una manera de contabilizar las citas que tienen los artículos de una revista en las otras revistas. Como índice de calidad tiene bastantes detractores, pero es el más estándar hoy en día. Por otro lado el índice de impacto cambia mucho según el tema de la revista, no teniendo sentido por ejemplo comparar una de física con una de medicina porque las segundas tienen unos índices de impacto mucho más altos. También hay que decir que el índice de impacto no es lineal, es decir revistas de mucho prestigio pueden tener un índice de impacto 20 veces (p. ej.) mayor que otras del mismo sector, pero eso no indica que tengan 20 veces más impacto en la sociedad científica.

    A modo de ejemplo de ciencia en general son muy prestigiosas Nature (34.480) o Science (29.747). En física algunas muy buenas son Review of Modern Physics (33.145) o Physical Review Letters (7.328). En medicina, como ya he dicho tienen los índices de impacto más altos como Ca-A Cancer Journal for Clinicians (que con su 87.925 es la revista de mayor índice de impacto) o el New England Journal of Medicine (47.050). [Nota: datos de cuando se escribió la entrada]

    Y con esto termino. Por último dejadme remarcar lo que considero más importante: Las revistas científicas son el mejor método que hay actualmente para garantizar unos mínimos de calidad y buena praxis a las comunicaciones científicas, sin embargo no son responsables de la veracidad de lo que se publica, eso corresponde únicamente a los autores. Obviamente una revista en la que se publicaran continuamente resultados incorrectos perdería todo su prestigio, así que confiamos en que se cuidarán de evitarlo. Por otro lado hay casos muy famosos de publicaciones fraudulentas como la de la memoria del agua que se publicó en Nature (1). En este paper se "probaba" la memoria del agua, y por lo tanto la posible utilidad de la homeopatía, pero luego se demostró que sus resultados estaban falseados (lo probó la misma revista para proteger su prestigio). Todo esto dio lugar a un documental que en español se llamó "El Gran Fraude de la Homeopatía" y que me gustaría linkar pero ha sido borrado de Youtube. Si alguien lo encuentra me lo puede comunicar.

    Editado: Encontré el documental, está en este otro post.


    (1) Nature 333, 816-818 (30 June 1988) doi:10.1038/333816a0

    4 comentarios:

    1. Muy buen post, entonces queda claro que las revistas no son las que comprueban que lo que dicen es cierto. ¿quién lo hace entonces, el resto de la comunidad cientifica?¿ Se hace mucho lo de comprobar que lo que ha publicado alguien es correcto?

      Y otra cosa, si alguien quiere extender y divulgar a gente que no vive en la comunidad cientifica debería explicar que significan esos conceptos en el lenguaje del posible receptor, al menos al principio hasta que el receptor esté introducido en el mundillo científico

      ResponderEliminar
    2. Gracias por tu comentario. He introducido un par de aclaraciones sobre el idioma que espero que sean útiles para el lector.

      En cuanto al tema de quien comprueba sobre eso quiero hacer otro post, pero en efecto es el resto de la comunidad científica. Un requisito de un buen paper (artículo) es que los resultados sean reproducibles, es decir, que se de la información necesaria para que se pueda comprobar si es correcto o no de forma independiente.

      ResponderEliminar
    3. Cuando se habla de "revisión por pares", se habla de que lo revisen personas que están a tu par (nivel), no a que sean dos revisores :-p

      ResponderEliminar
    4. ¿Es este el documental: http://youtu.be/ODyqe4gz7qM ?

      ResponderEliminar

    Agradecemos mucho tu opinión, pero comentarios difamatorios, insultantes o con ánimo de ofender, trollear o spamear serán eliminados. Tampoco se aceptan comentarios anónimos.