Identificación de sesgos y población estadística relevante: el caso del monstruo del Lago Ness

Charles Paxton, gerente general

Adrian J. Shine & Valentín M. Popov

17 de enero de 2025

Citar este artículo https://doi.org/10.1080/26939169.2025.2455195

Resumen

Utilizamos una base de datos de informes sobre el monstruo del Lago Ness para mostrar a los estudiantes universitarios lo importante que es pensar en el sesgo y en la identificación de la población estadística correcta. La base de datos de informes sobre el monstruo del Lago Ness ilustra la importancia de considerar la independencia, la inexactitud y la imprecisión al analizar los datos y cómo los estadísticos pueden manejar las anécdotas como datos. Si bien los datos no son apropiados para realizar inferencias directas sobre los monstruos del Lago Ness, pueden ser apropiados para realizar inferencias sobre la población de informes sobre el monstruo del Lago Ness.

Descargo de responsabilidad

Como servicio a los autores e investigadores, ofrecemos esta versión de un manuscrito aceptado (AM). Se realizarán correcciones, composición tipográfica y revisión de las pruebas resultantes de este manuscrito antes de la publicación final de la versión de registro (VoR). Durante la producción y la preimpresión, pueden descubrirse errores que podrían afectar el contenido, y todas las exenciones de responsabilidad legales que se aplican a la revista también se relacionan con estas versiones.

1 Introducción

Un paso importante, pero que a menudo se pasa por alto en cualquier análisis estadístico es el reconocimiento de la población estadística adecuada en consideración. En nuestra experiencia, los estudiantes (¡y muchos científicos!) pueden ser bastante descuidados en la identificación de la población estadística correcta. Una forma de enfatizar la importancia de la identificación de la población estadística adecuada es considerar el uso de anécdotas. Las anécdotas, entendidas aquí como “la narración de un incidente aislado, o de un solo evento, contado como algo en sí mismo interesante o sorprendente” (Anónimo, 1989), generalmente no se consideran susceptibles de escrutinio científico y, por extensión, estadístico. Las razones de esto para el estadístico son obvias: las anécdotas pueden ser inexactas, subjetivas o simplemente falsas (ver Paxton, 2022 para una discusión en profundidad). Sin embargo, estos problemas pueden ser una función de la población estadística (es decir, la población sobre la que queremos hacer inferencias) en consideración en relación con la muestra. Una muestra de anécdotas puede ser una muestra inadecuada para hacer inferencias sobre una población estadística particular, pero puede ser una muestra imparcial en relación con otra población (Paxton, 2022). Por ejemplo, desde 1930 ha habido informes de testigos oculares de un gran animal desconocido del lago Ness, Escocia (consulte Williams 2015 para obtener una historia). Considere el siguiente relato de Greta Finlay en 1952: “Estaba tan absorta en la extraña apariencia de la cabeza y el cuello que no examiné el resto del animal en absoluto de cerca. Había dos o tres jorobas y la longitud total visible sería de unos 15 pies”.

“El cuello se mantenía erguido y, donde se encontraba con el agua, se ensanchaba para unirse a un cuerpo voluminoso. La cabeza y el cuello juntos medían entre 60 y 70 centímetros de largo; la cabeza sola medía unas 15 centímetros de largo y tenía aproximadamente el mismo ancho que el cuello. Lo que me sorprendió, aparte del aspecto horrible de la cabeza, fue que tenía dos proyecciones de 15 centímetros de largo, cada una con una mancha en el extremo. La piel parecía negra y brillante y me recordaba a un caracol más que a otra cosa” (Whyte, 1961, pág. 69).

Un informe escrito e interpretado sobre el monstruo del Lago Ness, al igual que los relatos sobre monstruos marinos (Paxton, 2009), es el último componente de una cadena de acontecimientos distinta. El testigo vio (o afirmó haber visto) un objeto parecido a un monstruo, decidió que era un monstruo en lugar de algo más prosaico, lo recordó y luego se lo contó a alguien. Luego, es posible que el informe se haya recopilado y puesto a disposición del analista, quien de alguna manera habrá participado en alguna interpretación/codificación antes del análisis. Por lo tanto, cualquier análisis estadístico de los informes sobre monstruos nos informa tanto sobre el proceso de informe sobre monstruos como, tal vez, solo de manera secundaria, sobre los objetos que realmente vieron los testigos (Paxton, 2009, 2010, 2011). La población estadística que se considera aquí no son los monstruos del Lago Ness, sino los informes registrados y recopilados sobre el monstruo del Lago Ness. No sabemos si existe una población de monstruos del Lago Ness, pero sí sabemos que existe una población de informes sobre el monstruo del Lago Ness. En este artículo describimos cómo utilizamos los datos del informe del Monstruo del Lago Ness (en adelante LNM) para la enseñanza. Utilizamos los informes recopilados del Lago Ness como un medio para que los estudiantes universitarios piensen en qué preguntas se pueden hacer sobre los datos y qué significa realmente “datos”. Demostramos que cuando la población y la unidad de muestreo se identifican correctamente, se pueden obtener importantes conocimientos a partir de anécdotas. En el proceso, revelamos algunas características interesantes del conjunto de datos del informe LNM. Documentamos varios niveles de análisis que podrían realizar estudiantes de primer y segundo año de pregrado o, de hecho, enseñar a estudiantes de posgrado nuevos en estadística. Ofrecemos nuestros datos y código para que otros los utilicen.

2. Los datos

Creamos una base de datos de relatos del LNM hasta 2016 inclusive, compuesta por una recopilación de informes publicados en su mayoría previamente, pero que incluyen algunos relatos inéditos de la expedición de montaña al lago Ness en 1934, informes recopilados por la Oficina de Investigación de Fenómenos del Lago Ness (LNPIB) 1962-1972 e informes recopilados por el Centro del Lago Ness. Los informes proceden de entrevistas recopiladas personalmente, periódicos, revistas, libros y, más recientemente, sitios web, y el trabajo futuro explorará los efectos de estas diferentes fuentes. Los datos y el código de análisis están disponibles en github (https://github.com/Tullimonstrum/NessiestatsforJSDSE.git) y OSF (OSF | Loch Ness Monster Data).

La base de datos obtenida es de un tamaño considerable, más de 1800 informes, pero los informes no son independientes (ver la sección Tutorial de Monstruos). Destacamos que, al igual que cualquier otro proceso de recopilación de datos que se lleva a cabo para abordar desafíos del mundo real de la industria y la ciencia, se tuvo mucho cuidado al crear esta base de datos. En particular, teníamos reglas claras sobre qué informes incluir. Solo consideramos informes de fenómenos no reconocidos por sus observadores en el momento de la observación e interpretados como un monstruo. No se consideraron los informes si:

• Identificaciones post hoc de algo anómalo en una fotografía en la que los testigos en realidad no tenían la intención de fotografiar el LNM

• Bulos conocidos (sin embargo no se intentó distinguir entre informes de bulos verdaderos y no expuestos).

• Informes terrestres del LNM, por ejemplo el famoso avistamiento de Spicer de 1933 (Anónimo) y resultados anómalos del sonar

• Informes que solo consisten en ruidos u olores extraños o donde se observó una estela o perturbación pero ningún objeto sólido salió a la superficie ni fue visto bajo el agua.

El procesamiento de los datos también se realizó con el máximo cuidado. Por ejemplo, en la hoja de cálculo donde compilamos los datos, ingresamos solo la información proporcionada por el testigo en lugar de la inferida por el lector. La excepción fue la escala de fuerza del viento de Beaufort (una escala meteorológica ordinal de fuerza del viento basada en observaciones, donde 0 es calma total, 3 indicaría “caballos blancos” en las olas y 12 son vientos con fuerza de huracán, con esta fuerza no reportada en nuestras observaciones) que se interpretó a partir de las descripciones de los testigos. La mayoría de las fuentes se codificaron para todas las entradas, al menos dos veces en intervalos de algunos años para garantizar la precisión de la codificación de los datos. Para utilizar el ejemplo dado en la sección anterior, la longitud total observada estimada reportada sería 15 × 0.3048 = 4.57 m. Las otras variables también se registrarían (por ejemplo, cabeza y cuello reportados, etc.) pero no se consideran en el análisis aquí. La lista completa de variables utilizadas en este artículo se presenta en la Tabla 1. Hasta donde sabemos, esta es la mayor recopilación de informes escritos del LNM hasta la fecha. Suponemos, razonablemente, que la muestra así obtenida es una muestra imparcial de la población total de informes del LNM potencialmente disponibles para nosotros. Sin embargo, los informes están casi con certeza sesgados con respecto a los fenómenos experimentados, ya que presumiblemente es más probable que se conserven informes más vívidos y emocionantes. Todos estos puntos están sujetos a debate como se detalla en la sección del tutorial a continuación.

3. Un tutorial monstruoso

Nuestro enfoque inicial es hacer que los estudiantes, generalmente aquellos que se embarcan en su aprendizaje estadístico a nivel de pregrado o maestría, consideren si consideran que las anécdotas son datos. Hemos utilizado este material en varias clases introductorias desde 2020, por ejemplo, como tutorial en un curso introductorio de estadística (septiembre de 2023) para estudiantes que cursan una maestría de un año (sistema del Reino Unido). En este caso, solo 9 de 29 estudiantes consideraron inicialmente que las anécdotas podrían ser datos. En una clase de pregrado (19 de marzo de 2024), 22 de 71 estudiantes de formación científica mixta pensaron inicialmente que las anécdotas podrían ser datos.

Luego, les pedimos a los estudiantes que debatieran cuál sería una población estadística apropiada para considerar al analizar el LNM (consulte la hoja de trabajo en la Información complementaria). Los estudiantes gradualmente se dan cuenta de que, independientemente de la inferencia que se pueda hacer, no puede ser sobre los LNM, ya que estos no se pueden muestrear. Nuestra población muestreada son claramente los informes LNM, pero incluso esa no es toda la historia. La población en realidad son los informes LNM después de la cadena de eventos descrita en la Introducción, que involucran al testigo, al recopilador de datos y al analista. Por lo tanto, la población estadística en realidad son los informes LNM potenciales accesibles para el analista. También hicimos que los estudiantes consideraran, a través de la discusión, los sesgos que podrían ocurrir en cada etapa del proceso de recopilación de informes y cuáles serían las implicaciones para hacer inferencias sobre los informes LNM y los LNM.

Es casi seguro que los informes están sesgados con respecto a los fenómenos experimentados, ya que es de suponer que es más probable que se conserven los informes más vívidos y emocionantes. Parece probable que nuestra muestra fuera una muestra imparcial de la población total de informes LNM recopilados potencialmente disponibles para nosotros con respecto a las hipótesis que consideramos, especialmente porque no conocemos ninguna fuente importante sin explotar de informes escritos, por lo que los informes considerados aquí deben representar una gran proporción de la población total de informes LNM disponibles hasta 2016. Sin embargo, este punto merece un debate en clase.

Si bien, en general, es probable que la muestra de informes analizados esté sesgada en relación con la población de informes no registrados ni preservados, las variables individuales también podrían estar sesgadas. Los encuentros más duraderos podrían preservarse más, los informes de monstruos más grandes podrían preservarse en relación con los informes de monstruos pequeños, etc.

Al final del debate, todos los estudiantes del grupo de másteres antes mencionado pensaron que las anécdotas del LNM podrían utilizarse como datos, aunque con salvedades. El grupo de estudiantes de grado antes mencionado estaba mucho menos convencido y, aparentemente, ninguno cambió de opinión sobre que las anécdotas podían ser datos después del debate (o al menos lo admitieron públicamente).

Los estudiantes también consideraron cuál es la unidad de muestreo adecuada. Inicialmente podrían pensar que son los LNM, pero un poco más de reflexión les hizo darse cuenta de que deben ser informes de LNM muestreados idealmente de tal manera que sean independientes. Por lo tanto, también debemos considerar cuestiones de independencia. Los informes de un encuentro LNM pueden tener varios testigos o los testigos pueden describir su experiencia varias veces (ver Paxton y Shine (2016) para un análisis estadístico). Los testigos a menudo habrán discutido su experiencia entre ellos, por lo que múltiples informes del mismo evento no pueden considerarse independientes. Considerar cada informe como datos independientes sería un ejemplo de pseudorreplicación. Sugerimos a los estudiantes que la elección del informe de cada encuentro debería ser cuidadosamente pensada. Se podría argumentar a favor de una selección aleatoria o de la selección del informe con la mayor cantidad de información. Los datos que proporcionamos se filtran de manera que haya un informe por encuentro con informes elegidos sobre la base de la mayor cantidad de información. Esto deja 1433 informes nominalmente independientes.

Los estudiantes también consideraron cuáles podrían ser los efectos de que los informes fueran de primera o segunda mano, y dedujeron que los informes de segunda mano podrían ser menos precisos (en relación con lo que se percibía originalmente) en comparación con los informes de primera mano. Esto se puso a prueba más adelante.

Dependiendo del tiempo disponible, los estudiantes a veces podían analizar los datos por sí mismos (aunque aquí proporcionamos código para los instructores). Los datos también se han utilizado en otros contextos (prácticas de computación, preguntas de exámenes, etc.). El instructor revisó la hoja de Tutorial Monstruoso frente a la clase o los estudiantes la resolvieron por sí mismos (sin código).

Los estudiantes también reflexionaron sobre el contexto histórico de los informes. En el pasado se han hecho algunas afirmaciones falsas sobre la gran cantidad de informes de LNM. En 1976, Mackal afirmó que hubo más de 10,000 avistamientos, pero no proporcionó ninguna prueba para respaldar esta afirmación y solo detalla 272 encuentros de primera y segunda mano en su libro, de los cuales se analizaron 258. De manera similar, Burton (1961) sugirió 3,000, nuevamente sin pruebas. No está claro por qué Burton y Mackal sugirieron cifras tan altas.

4 Análisis exploratorio de datos

Después de analizar los antecedentes de los datos, ahora nos embarcamos en un análisis exploratorio de los datos (EDA, consulte el código R en la Información complementaria y la hoja de trabajo). NB: en nuestras clases, los estudiantes generan su propio código a partir de las preguntas de la hoja de trabajo. EDA puede revelar algunas características y sesgos interesantes en este conjunto de datos. Hay 1433 encuentros desde 1850 en adelante con 641 informes de primera mano. Si se toma el relato más detallado de cada encuentro, se observan algunas características interesantes. Los LNM normalmente se informan en verano, a media mañana y por la tarde y en la escala de fuerza del viento de Beaufort baja (Figura 1, consulte el código).

Los estudiantes pueden considerar por qué se producen más informes sobre el monstruo del lago Ness en verano que en invierno. ¿Es esto una función de la biología de los monstruos del lago Ness o de la disponibilidad de testigos? ¿La disminución de los informes a la hora del almuerzo de los humanos es un reflejo de la actividad del monstruo o de la actividad humana? Este patrón también se observa en Champ, el monstruo del lago Champlain (Kojo 1983) en América del Norte.

Existen muchas explicaciones propuestas para el monstruo del Lago Ness (Paxton y Shine, 2016). Una explicación propuesta para algunos informes sobre el monstruo del Lago Ness es que los monstruos con joroba ondulada son causados por efectos de estela (Baker y Westwood, 1962; Gould, 1934) donde la fuente de la estela no puede ser vista por los observadores en la costa cerca del nivel del agua (Shine, observación personal). Tales estelas realmente solo pueden verse en la escala de fuerza del viento de Beaufort más baja.

La duración media de los encuentros declarada por los propios participantes fue sorprendentemente larga: 4.5 minutos (rango: 0.5 segundos a 1 hora y 5 minutos), lo que sugiere que los LNM no se generan, contrariamente quizás a la creencia popular, por una percepción o interpretación errónea causada por un breve vistazo a un objeto. Esta duración media sorprendentemente larga declarada por los propios participantes sugiere que, incluso si se subestima el tiempo, normalmente los informes de LNM no se generan por visiones y, si hay una percepción o interpretación errónea, debe producirse a lo largo de varios minutos. Curiosamente, la duración media de los encuentros de nuestro conjunto de datos actual es cuatro veces más larga que la declarada en 1976 por Willums con muchos menos datos. No está claro por qué es así, especialmente porque en nuestros datos la duración de los encuentros en los informes ha disminuido con el tiempo (véase la sección Inferencia básica).

5 Inferencia básica

El conjunto de datos también se puede utilizar para inferencia básica, lo que permite nuevamente considerar sesgos potenciales (consulte la sección de análisis en el archivo de código R). Se puede alentar a los estudiantes a pensar a priori por qué variables como Anonimato, Ubicación y Lateralidad podrían estar asociadas. Podemos probar la hipótesis usando ?² de que el Anonimato (es decir, si los testigos eran anónimos o no) y la Ubicación estaban asociados (?² = 90.4, gl = 3, P < 0.001, n total = 1433). Esto fue impulsado por el contenido de la información; los informes de ubicación desconocida a menudo eran anónimos. Del mismo modo, la Ubicación y la Lateralidad (ya sea que los informes sean de primera o segunda mano) estaban asociados, ya que la información generalmente falta en los informes de segunda mano (?² = 121.9, gl = 3, P < 0.001, n total = 1433). Tenga en cuenta que la Ubicación tiene un nivel “Desconocido” aquí. De manera similar, el anonimato y la lateralidad también estuvieron asociados (?² = 93.4, gl = 1, P < 0.001, n total = 1433). Nuevamente, esta asociación fue impulsada por informes vagos que son de segunda mano con testigos anónimos. En los análisis ?² anteriores se esperaba que los tamaños de celda fueran menores a 5, pero de hecho estas celdas contribuyeron de manera insignificante a las estadísticas finales, por lo que no se realizó ninguna amalgama celular. Los modelos loglineales también se pueden ajustar aquí para explorar interacciones de orden superior.

La distancia de aproximación más cercana informada del testigo al monstruo está relacionada con características de los informes que los harían menos confiables. Esto se puede considerar mediante el uso de una regresión que inicialmente consideró el año del informe, la lateralidad, la ubicación y el anonimato como posibles predictores. El análisis requeriría inicialmente el conocimiento de los modelos lineales generalizados (GLM) debido a los residuos no normales (consulte la sección de análisis de la distancia de aproximación más cercana informada en el código). Sin embargo, después de la reducción del modelo y una revisión de los diagnósticos, una prueba no paramétrica de Kruskal-Wallis muestra que hay una diferencia en la distancia informada entre los informes de primera y segunda mano (?² = 5,61, gl = 1, P = 0.018, n_1st = 321, n_2nd = 217). Los informes de segunda mano tienen una distancia de aproximación más cercana informada que los informes de primera mano (Figura 2). Esto podría implicar algún tipo de exageración en la transmisión, un ejemplo interesante de sesgo que podría introducirse en los informes de otras anomalías.

La longitud estimada de la observación también se puede explorar con regresión. Después de la selección del modelo, hubo evidencia de una tendencia en el tiempo (Figura 3). Aquí usamos un GLM con error Gamma (enlace inverso): (?² = 8.082, gl = 1, P = 0.004, n = 107, ver análisis de la longitud estimada de la observación en el código). Los intervalos de confianza en la Figura 3 se construyeron usando un bootstrap no paramétrico, ya que aunque los diagnósticos en general fueron buenos, hubo un indicio de un problema de heterocedasticidad (ver Información complementaria). Sin embargo, la relación se vio influenciada por una estimación temprana de gran longitud. Nuevamente, los estudiantes pueden querer especular sobre por qué podría existir tal tendencia.

Siguen existiendo algunos misterios en los datos con respecto a la duración. Ya se ha comentado la larga duración informada de los encuentros. Sin embargo, la tendencia en el tiempo es bastante sustancial con una caída de casi 10 minutos en la duración media informada desde la década de 1930 (GLM con error Gamma (enlace inverso): ?² = 26,08, gl = 1, P < 0.001, n = 447, Figura 4, consulte la sección de análisis de duración en el código). Las razones de esta tendencia no están claras y los estudiantes pueden desear sugerir cómo podría surgir tal tendencia. Los intervalos de confianza en la Figura 4 se obtuvieron mediante un bootstrap no paramétrico debido a diagnósticos no ideales (consulte la Información complementaria).

6 Discusión

La base de datos de informes sobre el monstruo del lago Ness es un recurso realmente útil para ilustrar los sesgos y las complejidades que existen a la hora de identificar la población estadística en cuestión. Muchos de los sesgos podrían estar relacionados de manera plausible con distorsiones causadas por la cadena de acciones requeridas para analizar los informes. Algunos resultados podrían esperarse razonablemente: los informes de primera mano parecen menos exagerados que los de segunda mano, pero algunos resultados son realmente sorprendentes. La larga duración de los encuentros que los propios participantes declaran es inesperada, ya que se podría pensar que los LNM se generan a partir de breves visiones erróneas de otras cosas. Asimismo, no resulta obvio por qué hay una tendencia a acortar las duraciones a lo largo del tiempo.

Es interesante considerar los límites de la inferencia en este caso. Si la muestra de informes aquí representa una gran proporción de la “población” de informes, ¿es siquiera necesaria la estadística?

Los textos científicos escépticos (por ejemplo, Shermer, 2003) a menudo sugieren que no se pueden hacer inferencias científicas a partir de anécdotas porque éstas son vagas, no sistemáticas y no representativas, como de hecho lo son. Sin embargo, muchos fenómenos naturales de baja frecuencia, aunque importantes, como los meteoritos (Burke, 1986), los eventos atmosféricos luminosos transitorios (Boeck et al., 1998; Franz et al. 1990) y las olas gigantes (Draper, 1964) se han reportado inicialmente sólo como anécdotas. Por lo tanto, vale la pena hacer que los estudiantes consideren qué inferencias se pueden hacer a partir de tales datos, ya que plantea cuestiones de sesgo, poblaciones estadísticas apropiadas y unidades de muestreo apropiadas que son fundamentales para cualquier análisis estadístico.

Contribuciones del autor:

Conceptualización: CGMP

Datos: CGMP y AJS

Generación de hipótesis: AJS, CGMP

Metodología: CGMP, AJS

Visualización: CGMP

Estadísticas: CGMP y VMP

Redacción—borrador original: CGMP

Redacción, revisión y edición: CGMP, VMP, AJS

Intereses en conflicto: Ninguno

Materiales complementarios

Conjunto de datos, directorio de datos y código

Declaración de disponibilidad de datos: Los autores confirman que los datos y el código que respaldan los hallazgos de este estudio están disponibles en Github https://github.com/Tullimonstrum/NessiestatsforJSDSE y OSF https://osf.io/c3n5f/.

Expresiones de gratitud

Nuestro agradecimiento a Roland Watson, Gary Campbell y Tony Harmsworth por proporcionarnos algunos informes y detalles de la recopilación de informes, a Louise Burt por permitirnos tomar muestras de su clase y a Jeremy Greenwood, Roland Watson, Henry Bauer y Heidi Burdett por sus comentarios sobre el manuscrito. Blink Films UK proporcionó financiación para algunos de los análisis. Por último, nuestro agradecimiento a un gran número de revisores por sus comentarios sobre el manuscrito.

Tabla 1. Campos utilizados en los datos y análisis del monstruo del Lago Ness, total n = 1433.

Descargar CSVMesa de exhibición

Figura 1. Encuentros reportados con el monstruo del Lago Ness según, cuando se conoce, a) mes del encuentro, b) hora del día y c) interpretación de la escala de fuerza del viento de Beaufort (puntuación baja: aguas tranquilas, puntuación alta: aguas turbulentas).

Figura 2. Distancias de aproximación más cercanas notificadas en el encuentro con el monstruo del Lago Ness según lateralidad del notificador. Las líneas horizontales representan el punto inferior más cercano a 1.5 veces el rango intercuartil, el percentil 25, la mediana, el percentil 75 y el punto superior más cercano a 1.5 veces el rango intercuartil. Los puntos están irregulares para mostrar la distribución.

Figura 3. Estimación de la longitud de observación del monstruo del Lago Ness por año del informe. La línea continua es la línea de mejor ajuste del modelo lineal generalizado y las líneas discontinuas representan intervalos de confianza del 99 %.

Figura 4. Duración de los encuentros con el monstruo del Lago Ness por año del informe. La línea continua es la línea de mejor ajuste y las líneas discontinuas representan intervalos de confianza del 99 % obtenidos a partir de un análisis bootstrap no paramétrico.

Referencias

1. Anonymous. (1989), Oxford English Dictionary. Oxford: Oxford. (Open in a new window)Google Scholar

2. Baker, P., & Westwood, M. (1962, August 26), “Sounding Out the Monster.” Observer. (Open in a new window)Google Scholar

3. Boeck, W. L., Vaughan, O. H., Blakesleeb, R. J., Vonnegut, B. and Brook, M. (1998), “The Role of the Space Shuttle Videotapes in the Discovery of Sprites, Jets and Elves.” Journal of Atmospheric and Terrestrial Physics, 60, 669–677. (Open in a new window)Google Scholar

4. Burke, J. (1986), Cosmic Debris: Meteorites in History. Berkeley, CA.: University of California Press. (Open in a new window)Google Scholar

5. Burton, M. (1961), The Elusive Monster. London: Hart-Davis. (Open in a new window)Google Scholar

6. Draper, L. (1964), “‘Freak’ Ocean Waves.” Oceanus, 10, 13–15. (Open in a new window)Google Scholar

7. Franz, R. C., Nemzek, R. J., and Winckler, J. R. (1990), “Television Image of a Large Upward Electrical Discharge Above a Thunderstorm System.” Science, 249(4964), 48–51. DOI: 10.1126/science.249.4964.48. View (Open in a new window)Google Scholar

8. Gould, R. T. (1934), The Loch Ness Monster. London: Geoffrey Bles. (Open in a new window)Google Scholar

9. Kojo, K. (1992), “Distributional Patterns of Cryptid Eyewitness Reports from Lake Champlain, Loch Ness, and Okanagan Lake.” Cryptozoology, 11, 83–89. (Open in a new window)Google Scholar

10. Mackal, R. P. (1976), The Monsters of Loch Ness. Chicago: The Swallow Press. (Open in a new window)Google Scholar

11. Mackal, R. P. (1980), Searching for Hidden Animals. London: Cadogan.  (Open in a new window)Google Scholar

12. Paxton, C. G. M. (2009), “The Plural of ‘Anecdote’ Can be ‘Data’: Statistical Analysis of Viewing Distances in Reports of Unidentified Large Marine Animals 1758–2000,” Journal Of Zoology, 279, 381–387. (Open in a new window)Google Scholar

13. Paxton, C. G. M. (2010), “The Monster Manual,” Fortean Times(256), 54. (Open in a new window)Google Scholar

14. Paxton, C. G. M. (2011), “Putting the “Ology” into Cryptozoology,” Biofortean Notes, 1, 7– 20. (Open in a new window)Google Scholar

15. Paxton, C. G. M. (2022), “Are Skeptics Wrong About the Value of Anecdotes?,” Skeptical Inquirer, 46(5), 53– 57. (Open in a new window)Google Scholar

16. Paxton, C. G. M., & Shine, A. J. (2016), “Consistency in Eyewitness Reports of Anomalies: Examples from Accounts of Aquatic “Monsters,” Journal Of Scientific Exploration, 30, 16 – 26. (Open in a new window)Google Scholar

17. Shermer, M. (2003), “Show Me the Body,” Scientific American, 288, 27. (Open in a new window)Google Scholar

18. Whyte, C. (1961), More Than a Legend. London: Hamish Hamilton. (Open in a new window)Google Scholar

19. Williams, G. (2015), A Monstrous Commotion. London: Orion Books. (Open in a new window)Google Scholar

20. Willums, J.-O. (1976), “A Computer Analysis of Loch Ness Data,” In R. P. Mackal (Ed.), The Monsters of Loch Ness (pp. 341-348). London: Futura. (Open in a new window)Google Scholar

https://www.tandfonline.com/doi/full/10.1080/26939169.2025.2455195