Evaluation criteria of scientific journals
Abstract
The evaluation of scientific journals is carried out to have indicators that allow to classify publications by quality. Journal rankings according to their quality can be found in different platforms, which base their evaluations on different types of criteria and indicators. Journal platforms are categorized according to their purpose, establishing three categories: impact platforms (bibliometric purpose), content platforms (bibliographic purpose), and quality platforms (qualitative purpose). The study defines each type of journal platform and provides examples of each group. The main objective of this research is to characterize scientific journal evaluation models and to establish indicators that can be applied to any type of scholarly journal platform or service. The study establishes quantitative and qualitative indicators that are grouped into three blocks of criteria. The specific objective is to have data on the use of indicators in the rankings of publications produced by the different journal platforms. A methodology is used in which a series of fifteen indicators have been established, organized based on three criteria: editorial, bibliometric and dissemination. Three representative platforms of each type were selected and the degree of compliance or presence of the fifteen indicators in the nine selected platforms was examined: impact (Scopus, Web of Science, Google Scholar), content (Redalyc, Dialnet, Redib) and quality (MIAR, Latindex, CARHUS). The study concludes that the editorial indicators are the most present in the scientific journal platforms, while the dissemination indicators are hardly contemplated in them.
References
Abadal, E. (Ed.). (2017). Revistas científicas: Situación actual y retos de futuro. Universitat de Barcelona. http://hdl.handle.net/2445/117374
Alfonso Manzanet, J. E., Zayas Mujica, R., Dorta-Contreras, A. J., y Cadenas Freixas, J. L. (2018). Propuesta para la evaluación de la calidad y el funcionamiento de revistas científicas en ciencias de la salud. Revista Habanera de Ciencias Médicas, 17(2), 325-334. https://www.redalyc.org/journal/1804/180459978017/
Alperin, J. P., y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. https://doi.org/10.17533/udea.rib.v40n3a04
Aparicio, A., Banzato, G., y Liberatore, G. (2016). Manual de gestión editorial de revistas científicas de ciencias sociales y humanas. CLACSO. http://sedici.unlp.edu.ar/handle/10915/90378
Baiget, T. (2020). Manual SCImago de revistas científicas. Creación, gestión y publicación. Ediciones Profesionales de la Información. http://eprints.rclis.org/43532/
Castillo Almeida, G., Valdes García, C., Hernández Martínez, R. A., León Paredes, A. de la C., y Difurniau Gráu, H. (2014). Gestión de indicadores de calidad para la mejora del proceso editorial. Ciencias de la Información, 45(2), 15-19. http://www.redalyc.org/articulo.oa?id=181432443003
Delgado López-Cózar, E. (2017). Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro. En E. Abadal (Ed.), Revistas científicas: Situación actual y retos de futuro (pp. 73-103). Universitat de Barcelona. http://hdl.handle.net/2445/117374
Díaz, M., y Ortiz de Recasens, Z. (2014). Indicadores de calidad para la visibilidad de las revistas científicas electrónicas de la Universidad del Zulia. Enl@ce, 11(2), 91-11. https://produccioncientificaluz.org/index.php/enlace/article/view/18870
Gregorio-Chaviano, O. (2018). Evaluación y clasificación de revistas científicas: reflexiones en torno a retos y perspectivas para Latinoamérica. Revista Lasallista de Investigación, 15 (1), 166-179. https://doi.org/10.22507/rli.v15n1a12
Guerra, P. (2018). ¿Cómo evaluar las revistas científicas? Acerca de las limitaciones del Índice de Impacto por citas. Revista de la Facultad de Derecho, 44, e20184407. https://revista.fder.edu.uy/index.php/rfd/article/view/598
Mendoza, S., y Paravic, T. (2006). Origen, clasificación y desafíos de las revistas científicas. Investigación y Postgrado, 21(1), 49-75. https://www.redalyc.org/articulo.oa?id=65821103
Merlo-Vega, J. A., y Martín González, J. C. (2003). Las revistas electrónicas: características, fuentes de información y medios de acceso. Anales de Documentación, 6, 155-186. https://revistas.um.es/analesdoc/article/view/1971
Miyahira Arakaki, J. (2012). Criterios de calidad de las revistas científicas. Revista Médica Herediana, 19(1), 1. https://doi.org/10.20453/rmh.v19i1.969
Molina, L. G. G. (2019). Las revistas científicas como instrumento de difusión del conocimiento. Revista Mexicana de Sociología, 81(4), 919-927. https://www.jstor.org/stable/26841483
Montoya-Roncancio, V. (2020). Políticas nacionales de evaluación de revistas científicas en Argentina, Chile, Colombia, España y México [Tesis de maestría, Universidad de Salamanca]. Repositorio Digital Gredos. https://gredos.usal.es/handle/10366/147100
Montoya-Roncancio, V., y Merlo-Vega, J. A. (2023). Methodological approach to the evaluation of scientific journals. En F. J. García-Peñalvo y A. García-Holgado (Eds.), Proceedings TEEM 2022: Tenth International Conference on Technological Ecosystems for Enhancing Multiculturality (pp. 1296-1303). Springer. https://doi.org/10.1007/978-981-99-0942-1_137
Olivera Betrán, J. (2011). Tendencias en la edición y en la mejora de calidad de las revistas científicas españolas de Ciencias Sociales. Apunts Educación Física y Deportes, (104), 5-10. https://doi.org/10.5672/apunts.2014-0983.es.(2011/2).104.00
Paz-Enrique, L. E., Jalil-Vélez, N. J., García-Salmon, L. A., Mera-Leones, R. M., y Mawyin Ceballos, F. A. (2018). Calidad de revistas científicas. Variables, indicadores y acciones para su diagnóstico. Editorial Feijóo. http://eprints.rclis.org/33794/
Ramírez Martínez, D. C., Martínez Ruiz, L. C., y Castellanos Domínguez, Ó. F. (2012). Divulgación y difusión del conocimiento: Las revistas científicas. Universidad Nacional de Colombia. https://repositorio.unal.edu.co/handle/unal/11038
Rodríguez-Yunta, L. (2015). Evaluación de las revistas españolas: pasos hacia un sistema que mida la apertura y la internacionalidad. Anuario ThinkEPI, 9, 189-195. https://doi.org/10.3145/thinkepi.2015.44
Román Román, A. (Ed.). (2001). La edición de revistas científicas: Guía de buenos usos. CINDOC, CSIC. https://digital.csic.es/handle/10261/4347
Rozemblum, C., Unzurrunzaga, C., Banzato, G., y Pucacco, C. (2015). Calidad editorial y calidad científica en los parámetros para inclusión de revistas científicas en bases de datos en acceso abierto y comerciales. Palabra Clave (La Plata), 4(2), 64-80. https://www.redalyc.org/articulo.oa?id=350539940001
Vasen, F. y Vilchis, I. L. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista Mexicana de Ciencias Políticas y Sociales, 62(231), 199-228. https://doi.org/10.1016/S0185-1918(17)30043-0
