El establecimiento generalizado de departamentos de estadística en los Estados Unidos a mediados del siglo XX se remonta a una presentación de Harold Hotelling en el Simposio de Berkeley sobre estadística matemática y probabilidad en 1945. El simposio, organizado por el estadístico de Berkeley Jerzy Neyman, fue el primero de seis simposios de este tipo que tenían lugar cada cinco años y se convirtieron en las reuniones más influyentes en las estadísticas de su tiempo. Conferencia de Hotelling sobre “El lugar de la estadística en la universidad.” inspiró la creación de varios departamentos de estadística, y en UC Berkeley, el establecimiento del departamento de estadística de Neyman en la década de 1950 fue un momento histórico para las estadísticas en el siglo XX.
Neymar fue contratado en el matemáticas departamento en UC Berkeley por un presidente visionario, Griffith Evans, quien transformó el departamento de matemáticas de UC Berkeley en una institución de clase mundial después de su contratación en 1934. La visión de Evans para el departamento de matemáticas de Berkeley incluía Estadísticas, y eric lehmann‘s historia del departamento de estadísticas de UC Berkeley detalla cómo el compromiso de Evans con diversas áreas del departamento lo llevó a contratar a Neyman sin siquiera conocerlo. Sin embargo, la visión progresista de Evans para las matemáticas no fue compartida por todos sus colegas, y las actitudes conservadoras y parroquiales del departamento de matemáticas contribuyeron a la ruptura de Neyman y la eventual fundación del departamento de estadística. Esta dinámica se repitió más tarde en las universidades de los Estados Unidos, lo que resultó en un gran abismo entre los matemáticos y las estadísticas (irónicamente, la historia puede estar repitiéndose con algunos ahora sugieren que el surgimiento de la “ciencia de datos” es el resultado del conservadurismo entre los estadísticos que los lleva a aferrarse a la teoría en lugar de preocuparse por los datos).
La división entre matemáticos y estadísticos es desafortunada por varias razones, una de ellas es que la alfabetización estadística es importante incluso para los lo mas puro de lo puro matemáticos Un debate reciente sobre la idoneidad de las declaraciones de diversidad para los solicitantes de empleo en matemáticas destaca la necesidad: análisis de datos, específicamente los datos sobre quién está en la comunidad matemática y sus opiniones sobre el tema, resultan ser fundamentales para comprender el asunto en cuestión. El caso en cuestión es una preimpresión reciente de dos matemáticos:
Joshua Paik e Igor Rivin, Análisis de datos de las respuestas a la declaración de la profesora Abigail Thompson sobre declaraciones obligatorias de diversidadarXiv, 2020.
Este Estadísticas preprint examina los intentos de identificar los atributos definitorios de los matemáticos que firmaron cartas recientes relacionadas con los requisitos de la declaración de diversidad en las búsquedas de empleo en matemáticas. Recientemente me pidieron que proporcionara comentarios sobre el manuscrito, ergo esta publicación de blog.
reproducibilidad
Para poder evaluar los resultados de cualquier preprint o paper, es fundamental, como primer paso, poder reproducir el análisis y los resultados. En el caso de una preimpresión como esta, esto significa tener acceso al código y los datos utilizados para producir las cifras y realizar los cálculos. Aplaudo a los autores por ser totalmente transparentes y poner a disposición todo su código y datos en un Repositorio Github en una forma que facilitó la reproducción de todos sus resultados; de hecho pude hacerlo sin ningún problema. 👏
el conjunto de datos
La preimpresión analiza los datos de los firmantes de tres cartas enviadas en respuesta a una artículo de opinión sobre los requisitos de la declaración de diversidad para los solicitantes de empleo publicados por abigail thompson, presidente del departamento de matemáticas de UC Davis. La carta de Thompson comparó los requisitos de declaración de diversidad de los solicitantes de empleo con los juramentos de lealtad requeridos durante el macartismo. Las cartas de respuesta van desde una fuerte afirmación de las opiniones de Thompson hasta una fuerte refutación de las mismas. Signatarios de la “Letra A”, titulado “La comunidad matemática valora el compromiso con la diversidad“, “está totalmente en desacuerdo con los sentimientos y argumentos del editorial de la Dra. Thompson” y critican a la AMS por publicar su editorial”. Signatarios de la “Letra B”, titulado “Carta al editor“, preocúpate por el “intento directo[s] destruir la carrera de Thompson e intentar[s] intimidar a la AMS”. Firmantes de la “Letra C”, titulada “Carta a los Avisos de la AMS“, escriben que “aplauden a Abigail Thompson por su valiente liderazgo [in publishing her editorial]” y “de acuerdo de todo corazón con sus sentimientos”.
El conjunto de datos analizado por Paik y Rivin combina información extraída de Google Scholar y MathSciNet con datos asociados a los firmantes que fue recopilado por Chad Topacio. El conjunto de datos está disponible en formato .csv aquí.
El resultado de Paik y Rivin
El principal resultado de Paik y Rivin se resume en el primer párrafo de su sección de Conclusión y Discusión:
“Vemos los siguientes patrones entre los matemáticos “establecidos” que firmaron las tres letras: la distribución de números de citas de los firmantes de la letra A es similar a la de un departamento de matemáticas de nivel medio (como, por ejemplo, la Universidad de Temple), el las métricas de citas de la letra B están más cerca de las de un departamento de los 20 principales, como la Universidad de Rutgers, mientras que las métricas de citas de los firmantes de la letra C están en otro nivel más alto y se asemejan más a la distribución de métricas para un departamento verdaderamente superior”.
A continuación se reproduce una figura de su preimpresión que resume los datos que supuestamente respaldan su resultado (con la línea azul punteada ligeramente desplazada hacia la derecha después de la corrección del error):
Paik y Rivin van un paso más allá, utilizando recuentos de citas e índices h como indicadores de “mérito a juicio de la comunidad”. Es decir, Paik y Rivin afirman que los matemáticos que firmaron la letra A, es decir, aquellos que estaban totalmente en desacuerdo con la equivalencia de Thompson entre las declaraciones de diversidad y los juramentos de lealtad de McCarthy, tienen menos “mérito a juicio de la comunidad” que los matemáticos que firmaron la letra C, es decir, aquellos que estuvieron de acuerdo de todo corazón. con sus sentimientos.
El diferencial es de hecho muy grande. Paik y Rivin encuentran que el número medio de citas para los firmantes de la letra A es 2397,75, el número medio de citas para los firmantes de la letra B es 4434,89 y el número medio de citas para los firmantes de la letra C es 6226,816. Para controlar una asociación entre la antigüedad y el número de citas, los promedios calculados se basan únicamente en los recuentos de citas de los profesores titulares. [Note: a bug in the Paik-Rivin code results in an error in their reporting for the mean for group B. They report 4136.432 whereas the number is actually 4434.89.]
Estos datos parecen respaldar la tesis de Paik y Rivin de que los matemáticos que apoyan el uso de declaraciones de diversidad en la contratación y que están totalmente en desacuerdo con la analogía de Thompson de tales declaraciones con los juramentos de lealtad de McCarthy, son matemáticos de segunda categoría, mientras que aquellos que están totalmente de acuerdo con Thompson están a la par. con profesores en “departamentos verdaderamente superiores”.
Pero, ¿realmente los datos respaldan esta conclusión?
El recado de un tonto
Antes de profundizar en los detalles de los datos analizados por Paik y Rivin, vale la pena hacer una pausa y considerar la validez de usar los recuentos de citas y los índices h como indicadores del “mérito a juicio de la comunidad”. Los propios autores señalan que “las citas y los índices h no imponen un orden total en la calidad de un matemático” y enfatizan que “es bastante obvio que, a diferencia de la natación competitiva, imponer tal orden es una tontería”. Sin embargo, pasan por alto sus propios consejos y se embarcan de todo corazón en la necia misión contra la que advierten. 🤔
Examiné a los matemáticos en su conjunto de datos y primero, como control de cordura, confirmé que soy uno de ellos (firmé una de las cartas). Luego miré los recuentos de citas asociados y noté que de los 1435 matemáticos que firmaron las cartas, tenía el segundo mayor número de citas según Google Scholar (67 694), solo superado por Terence Tao (71 530). Estamos en el percentil 99.9. 👏 Además, tengo 27 veces más citas que Igor Rivin. Según Paik y Rivin esto implica que tengo 27 veces más mérito en el juicio de nuestros compañeros. debería decir al menos 27 veces, porque uno podría imaginar que el juicio de la comunidad es no lineal en el número de citas. Incluso si uno descarta tales comparaciones cuantitativas (Paik y Rivin notan que Stephen Smale tiene menos citas que Terence Tao, y que sería difícil sobre esa base concluir que Tao es el mejor matemático), el la preimpresión hace uso de la citación cuenta para evaluar el “mérito a juicio de la comunidad” y, por lo tanto, según Paik y Rivin, mis opiniones tienen un mérito sustancial. De hecho, según ellos, mi opinión sobre las declaraciones de diversidad debe ser extremadamente meritoria. Imagino que lo plantearían mi opinión sobre el debate que se está librando en la comunidad matemática con respecto a los requisitos de declaración de diversidad de los solicitantes de empleo es la correcta y definitiva. Ahora ya puedo prever protestas de que, por ejemplo, mi artículo sobre “El ensamblaje y la cuantificación de transcripciones por RNA-Seq revelan transcripciones no anotadas y cambios de isoformas durante la diferenciación celular” que tiene 9.438 citas no es matemática per se, y no debería contar. Señalaré que mis colegas de biología, después de leer el suplemento, creo que es un trabajo de matemáticas, pero en cualquier caso, si vamos a tomar esa ruta, ¿no deberían Paik y Rivin leer el trabajo para estar seguros? ¿Y no deberían leer cada artículo mío y cada artículo de cada signatario para determinar si es válido para su análisis? ¿Y no deberían ajustar los recuentos de citas de cada signatario? Bueno, ellos no hicieron nada de eso, y además, me incluyeron en su análisis, así que… prosigo…
Los números de citas anteriores se basan en citas de Google Scholar. Paik y Rivin también analizan las citas de MathSciNet y afirman que las prefieren porque “solo las matemáticas publicadas están en MathSciNet y, por lo tanto, es una fuente de datos de mayor calidad cuando se comparan matemáticos”. Verifiqué la relación entre las citas de Scholar y MathSciNet y descubrí que, como es lógico, tienen una correlación de 0,92:
Diría que, por lo tanto, son intercambiables en términos del uso que los autores hacen de ellos como un representante de “mérito”.
Pero las citas no son sustitutos del mérito.. Toda la premisa del preprint es ridícula. Además, incluso si fuera cierto que las citas eran un atributo significativo de los firmantes para analizar, hay muchos otros problemas serios con el preprint.
El elefante no está en la habitación.
Paik y Rivin comienzan su preimpresión con un examen superficial de los datos e inmediatamente identifican un problema potencial… datos faltantes. ¿Cuántos datos faltan? El 64,11% de las personas lo hacen no tienen datos de citas de Google Scholar asociados, y el 78,82% no tienen datos de citas de MathSciNet. Paik y Rivin descartan este problema y comentan que “si bien esto no es óptimo, un cálculo rápido del tamaño de la muestra muestra que se necesitan 303 muestras o el 21 % de los datos para producir estadísticas con un nivel de confianza del 95 % y un intervalo de confianza del 5 %. Aparentemente, no son conscientes de la necesidad de un muestreo de población uniforme y no parecen pensar ni por un segundo en los posibles sesgos de verificación en sus datos. Pensé por un momento.
Por ejemplo, me preguntaba si podría haber una discrepancia entre el número de citas de mujeres con páginas de Google Scholar frente a mujeres sin tales páginas. Esto se debe a que noté anecdóticamente que varias mujeres matemáticas de alto nivel que conozco no tienen páginas de Google Scholar, y dado que los científicos de alto nivel presumiblemente tienen más citas, esto podría crear un sesgo de verificación problemático. Lo verifiqué y, como era de esperar, hay cierta correlación entre la edad posterior al doctorado. y recuento de citas (cor = 0,36):
Para probar si existe una asociación entre la presencia de una página de Google Scholar y el número de citas, examiné el número promedio de citas de MathSciNet de mujeres con y sin páginas de Google Scholar. De hecho, el número promedio de citas de mujeres sin páginas de Google Scholar es mucho más bajo que aquellas con una página de Google Scholar (898 vs. 621). Para los hombres la diferencia es mucho menor (1816 vs. 1801). Por cierto, la diferencia en el número de citas entre hombres y mujeres es en sí misma grande y puede explicarse por una serie de diferencias que comienzan con el hecho de que las mujeres representadas en la base de datos tienen una edad mucho menor después del doctorado. que los hombres (17,6 vs. 26,3), y por lo tanto menos citas (ver correlación entre edad y citas arriba).
El análisis anterior sugiere que tal vez uno debería usar el conteo de citas de MathSciNet en lugar de Google Scholar. Sin embargo, el alcance de los datos que faltan para ese atributo es muy problemático (78,82 % de los valores que faltan). Por un lado, faltan mis propios recuentos de citas de MathSciNet, por lo que probablemente hubo errores en el raspado. Los números también son diminutos. Solo hay 46 mujeres con datos de MathSciNet entre los tres signatarios de cartas de 452 mujeres signatarias. Creo que los datos no son fiables. De hecho, incluso mi análisis de sesgo de verificación anterior es problemático debido al pequeño número de personas involucradas. Sería completamente apropiado en este punto aceptar que los datos no tienen la calidad suficiente para un análisis incluso rudimentario. Sin embargo, los autores continuaron.
una gran palabra
confusor es una gran palabra para una variable que influye tanto en la variable dependiente como en la independiente en un análisis, lo que provoca una asociación espuria. La palabra no aparece en el manuscrito de Paik y Rivin, lo cual es desafortunado porque de hecho es un factor de confusión que explica su principal “resultado”. Este factor de confusión es la edad. Ya he mostrado la fuerte relación entre la edad post-Ph.D. y el número de citas en la figura de arriba. Paik y Rivin examinan la distribución por edades de los diferentes firmantes de las cartas y encuentran claras diferencias. La siguiente figura se reproduce a partir de su preimpresión:
Las diferencias son marcadas: el tiempo medio desde que completaron el doctorado de los firmantes de la letra A es de 14,64 años, el tiempo medio desde que completaron el doctorado de los firmantes de la letra B es de 27,76 años y el tiempo medio desde que completaron el doctorado de los firmantes de la letra C es de 35,48 años. . Presumiblemente, para controlar esta asociación, Paik y Rivin restringieron los cálculos del recuento de citas a los profesores titulares. Resulta que esta restricción por sí sola no controla la edad.
La siguiente figura muestra el número de citas de los signatarios de la letra C que son profesores titulares en función de su edad:
La línea roja a los 36 años después del doctorado. divide dos regímenes distintos. El gran salto en ese momento (correspondiente a la edad cronológica ~ 60) no es sorprendente: los profesores senior de matemáticas son más famosos y tienen más influencia que sus pares jóvenes, y su trabajo ha tenido más tiempo para ser entendido y apreciado. En matemáticas, los resultados pueden tardar muchos años antes de que se entiendan e integren en las matemáticas convencionales. Estas son solo hipótesis, pero la razón exacta de este efecto no es importante para el análisis de Paik-Rivin. Lo que importa es que casi no hay profesores titulares entre los firmantes de la Letra A que están más de 36 años post-Ph.D. De hecho, el número de tales personas (filtrado por aquellos que han publicado al menos 1 artículo), es de 2. Dos personas. Eso es todo.
Restringir el análisis a profesores titulares con menos de 36 años de postdoctorado. cuenta una historia completamente diferente a la que Paik y Rivin venden. El número medio de citas de los profesores titulares que firmaron la letra A (2922,72) es más alto que el número medio de citas de los profesores titulares que firmaron la letra C (2348,85). Los firmantes de la letra B tienen 3148.83 citas en promedio. La figura para este análisis se muestra a continuación:
La conclusión principal de Paik y Rivin, que los firmantes de las letras A tienen menos mérito que los firmantes de la letra B, quienes a su vez tienen menos mérito que los firmantes de la letra C, puede verse como una completa basura. Lo que revelan los datos es simplemente que los firmantes de la letra A son más jóvenes que los firmantes de las otras dos letras.
Nota: He realizado mi análisis en un Bloc de notas de Google Colab accesible a través del enlace. Permite la total reproducibilidad de las cifras y números de esta publicación y facilita la exploración de los datos. Por supuesto que no hay nada que explorar. El uso de citas como sustituto del mérito es una tontería.
Miscelánea
Hay muchos otros problemas técnicos con la preimpresión. Los autores afirman haber realizado “un control” (no lo hicieron). Se calculan y notifican varios valores de p sin ninguna corrección de prueba múltiple. Se examinan las aproximaciones paramétricas de los datos de citas, pero luego se ignoran. Además, nunca se consideran distribuciones de conteo infladas con cero apropiadas para dichos datos (ver, por ejemplo, Yong-Gil et al. 2007). Los resultados presentados son todos univariados (p. ej., histogramas de un tipo de datos); ¡no hay un solo gráfico de dispersión en la preimpresión! Esto sugiere que los autores desconocen el campo de la estadística multivariante. Teniendo en cuenta todo esto, animo a los autores a inscribirse en una clase de introducción a la estadística.
Los rusos
En un extraño párrafo final de la Conclusión y En la sección de discusión de su preimpresión, Paik y Rivin especulan sobre por qué los matemáticos de los países comunistas no están representados entre los firmantes de la letra A. Presentan hipótesis sin ningún dato que respalde sus afirmaciones.
La insistencia en que algunos matemáticos, por ejemplo, Mikhail Gromov, que firmó las letras B y C y es miembro de pleno derecho del IHES y profesor de la NYU, no forman parte de la “élite del poder” de las matemáticas es simplemente ridícula. Además, caracterizar a alguien como Gromov, que llegó a EE. UU. desde Rusia para un trabajo concertado en SUNY Stonybrook (gracias a Tony Phillips) como ser miembro de un grupo que “llegó a los EE. UU. con nada más que las camisetas que llevaban puestas” es extraño.
La diversidad importa
Encuentro muy frustrante el debate actual en la comunidad matemática en torno a la carta del profesor Thompson. La comparación de las declaraciones de diversidad con los juramentos de lealtad de McCarthy es ridícula. En lugar de debatir tales tonterías, los matemáticos deben pensar largo y tendido sobre cómo cambiar la cultura en sus departamentos, una cultura que ha llevado a unas minorías y mujeres terriblemente subrepresentadas en el campo. Las minorías subrepresentadas y las mujeres enfrentan rutinariamente discriminación y cosas peores. Esto es completamente inaceptable.
La preimpresión de Paik y Rivin es un intento cínico de utilizar el alboroto de Thompson para publicitar el trillado tropo de que el matemático de segunda categoría es el que aboga por una mayor diversidad en las matemáticas. Es un estribillo triste que tiene una larga historia en las matemáticas. Pero tal vez no sea sorprendente. Los colegas de Jerzy Neyman en su departamento de matemáticas ni siquiera podían soportar a un estadístico, y mucho menos a una mujer, y mucho menos a una persona de un grupo minoritario subrepresentado. Sin embargo, soy optimista al leer la lista de firmantes de la letra A. Muchos de mis héroes matemáticos se encuentran entre ellos. El futuro es de ellos, y tienen razón.
