Google Ngram Viewer
El Google Ngram Viewer, o Google Books Ngram Viewer es un buscador en línea que muestra un gráfico de la frecuencia de cualquier grupo de búsquedas con formato de texto delimitado por comas, utilizando el conteo anual de n-grams encontrado en recursos impresos entre el año 1500 y el 2019 en el corpora de texto de Google en inglés, chino (simplificado), francés, alemán, hebreo, italiano, ruso o español. También hay algunos corpora especializados en inglés, tales como inglés americano, inglés británico, inglés de ficción e “inglés un millón”; además la versión 2009 de la mayor parte de los corpora está también disponible.
El programa es capaz de ejecutar búsquedas por palabra o por frase, incluyendo texto con errores ortográficos o texto sin sentido. Los n-grams son comparados con el texto en el corpus seleccionado, con la opción de ortografía case-sensitive (que compara el uso exacto de las mayúsculas y minúsculas), y, si se encuentran en 40 libros o más, se ilustran en un gráfico.
El visualisador Google Ngram Viewer, a 2016 de 01, es compatible con búsquedas de Partes de la oración y comodines.
Historia
El programa fue desarrollado por Jon Orwant y Will Brockman y publicado a mediados de diciembre del 2010. Fue inspirado por un prototipo (llamado “Bookworm”, o comelibros) creado por Jean-Baptiste Michel y Erez Aiden del Observatorio Cultural de Harvard, Yuan Shen del MIT y Steven Pinker.
El visualizador Ngram Viewer se basó inicialmente en la edición del 2009 del corpus Ngram de Google Books. Plantilla:A partir de, el programa puede ejecutar búsquedas dentro del corpus de un idioma individual dentro de la edición del 2009 o la del 2012.
Funcionamiento y restricciones
Los términos de búsqueda provistos por el usuario son delimitados por comas que indican cada palabra o frase que se va a buscar. El Ngram Viewer presenta un gráfico lineal segundos después de que el usuario presione la Tecla Enter o el botón de “Buscar” en la pantalla.
Para tomar el cuenta el hecho de que una mayor cantidad de libros se han publicado en ciertos años, la data es normalizada, como nivel relative, por el número de libros publicados en cada año.
Google llenó la base de datos basándose en más de 5 millones de libros publicados hasta el 2008. Por tanto, Plantilla:A partir de, ningún dato será comparado con publicaciones posteriors al año 2008, sin importar si el corpus fue generado en el 2009 o el 2012. Debido a limitaciones sobre el tamaño de la base de datos Ngram, solo resultados que se correspondan con al menos 40 libros están indexados en la base de datos; sin esta restricción, la base de datos no podría archivar todas las posibles combinaciones.
En general, los términos de búsqueda no pueden terminar con ningún signo de puntuación, aunque un punto final separado sí se puede buscar. En adición, una entrada que termine en un signo de interrogación (por ejemplo, “qué?”) resultará en una búsqueda separada del signo de interrogación.
Omitir puntos en las abreviaturas permite una forma de correspondencia, por ejemplo utilizar "R M S" para buscar el término "R.M.S." en vez de "RMS".
Corpora
El corpora utilizados por el buscador están compuestos por total_counts, 1-grams, 2-grams, 3-grams, 4-grams, and 5-grams archivos para cada idioma. El formato de cada archivo es tab-separated data. Cada línea tiene el siguiente formato
- total_counts file year TAB match_count TAB page_count TAB volume_count NEWLINE
- Version 1 ngram file (generated in July 2009) ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE
- Version 2 ngram file (generated in July 2012) ngram TAB year TAB match_count TAB volume_count NEWLINE
El Google Ngram Viewer usa match_count para producir el gráfico.
Por ejemplo, la palabra "Wikipedia" del archivo versión 2 del 1-grams en inglés esta archivada como:
| ngram | year | match_count | volume_count |
|---|---|---|---|
| Wikipedia | 1904 | 1 | 1 |
| Wikipedia | 1912 | 11 | 1 |
| Wikipedia | 1924 | 1 | 1 |
| Wikipedia | 1925 | 11 | 1 |
| Wikipedia | 1929 | 11 | 1 |
| Wikipedia | 1943 | 11 | 1 |
| Wikipedia | 1946 | 11 | 1 |
| Wikipedia | 1947 | 11 | 1 |
| Wikipedia | 1949 | 11 | 1 |
| Wikipedia | 1951 | 11 | 1 |
| Wikipedia | 1953 | 22 | 2 |
| Wikipedia | 1955 | 11 | 1 |
| Wikipedia | 1958 | 1 | 1 |
| Wikipedia | 1961 | 22 | 2 |
| Wikipedia | 1964 | 22 | 2 |
| Wikipedia | 1965 | 11 | 1 |
| Wikipedia | 1966 | 15 | 2 |
| Wikipedia | 1969 | 33 | 3 |
| Wikipedia | 1970 | 129 | 4 |
| Wikipedia | 1971 | 44 | 4 |
| Wikipedia | 1972 | 22 | 2 |
| Wikipedia | 1973 | 1 | 1 |
| Wikipedia | 1974 | 2 | 1 |
| Wikipedia | 1975 | 33 | 3 |
| Wikipedia | 1976 | 11 | 1 |
| Wikipedia | 1977 | 13 | 3 |
| Wikipedia | 1978 | 11 | 1 |
| Wikipedia | 1979 | 112 | 12 |
| Wikipedia | 1980 | 13 | 4 |
| Wikipedia | 1982 | 11 | 1 |
| Wikipedia | 1983 | 3 | 2 |
| Wikipedia | 1984 | 48 | 3 |
| Wikipedia | 1985 | 37 | 3 |
| Wikipedia | 1986 | 6 | 4 |
| Wikipedia | 1987 | 13 | 2 |
| Wikipedia | 1988 | 14 | 3 |
| Wikipedia | 1990 | 12 | 2 |
| Wikipedia | 1991 | 8 | 5 |
| Wikipedia | 1992 | 1 | 1 |
| Wikipedia | 1993 | 1 | 1 |
| Wikipedia | 1994 | 23 | 3 |
| Wikipedia | 1995 | 4 | 1 |
| Wikipedia | 1996 | 23 | 3 |
| Wikipedia | 1997 | 6 | 1 |
| Wikipedia | 1998 | 32 | 10 |
| Wikipedia | 1999 | 39 | 11 |
| Wikipedia | 2000 | 43 | 12 |
| Wikipedia | 2001 | 59 | 14 |
| Wikipedia | 2002 | 105 | 19 |
| Wikipedia | 2003 | 149 | 53 |
| Wikipedia | 2004 | 803 | 285 |
| Wikipedia | 2005 | 2964 | 911 |
| Wikipedia | 2006 | 9818 | 2655 |
| Wikipedia | 2007 | 20017 | 5400 |
| Wikipedia | 2008 | 33722 | 6825 |
El gráfico de Google Ngram Viewer basado en los datos presentados arriba se encuentra aquí.
Críticas
Los datos han sido criticados por su dependencia en la técnica de reconocimiento óptico de caracteres, o en inglés, OCR, por una abundancia desproporcional de literatura científica y por incluir un gran número de textos incorrectamente datados o categorizado.
Por estos errores, y porque no está controlada contra la parcialidad (por ejemplo el incremento en literatura científica que hace que la popularidad de otros términos baje), es arriesgado utilizar este corpus para estudios lingüísticos o para evaluar teorías. Dado que este recurso no incluye metadata, es posible que no refleje el cambio cultural o lingüístico general, aspecto sobre el cual sólo puede dar pistas.
Otro problema es que el corpus es en sí una biblioteca que contiene una copia de cada libro. Un solo autor prolífico puede entonces insertar una cantidad notable de nuevas frases en el vocabulario de Google Books, sean sus textos ampliamente leídos o no.
Problemas con OCR
El reconocimiento óptico de caracteres (o en inglés, Optical character recognition, OCR), no siempre funciona de forma fiable, y algunos caracteres pueden ser idendificados incorrectamente. En particular, errores sistemáticos como la confusión de la letra “s” y la “f” en textos previos al siglo XIX (dado el uso de la s larga) que tenía apariencia muy similar a la “f”) puede causar tendencias erróneas. Aunque el Ngram Viewer dice que los resultados son confiables para textos a partir del 1800, los problemas con el OCR y la insuficiencia de datos significan que para algunos idiomas, como el chino, las frecuencias son confiables sólo a partir del 1970, visto que las secciones previas del corpus no muestran ningún resultado aún para términos de búsqueda communes, y que los datos correspondientes a algunos años contienen más de 50% de ruido.
Véase también
Referencias
- ↑ "Quantitative analysis of culture using millions of digitized books" JB Michel et al, Science 2011, DOI: 10.1126/science.1199644
- ↑ a b c "Google Ngram Database Tracks Popularity Of 500 Billion Words" Huffington Post, 17 December 2010, webpage: HP8150.
- ↑ a b "Google Ngram Viewer - Google Books", Books.Google.com, May 2012, webpage: G-Ngrams.
- ↑ a b "Google's Ngram Viewer: A time machine for wordplay", Cnet.com, 17 December 2010, webpage: CN93 Archivado el 23 de enero de 2014 en Wayback Machine..
- ↑ "A Picture is Worth 500 Billion Words – By Rusty S. Thompson", HarrisburgMagazine.com, 20 September 2011, webpage: HBMag20.
- ↑ a b "Google Books Ngram Viewer - University at Buffalo Libraries", Lib.Buffalo.edu, 22 August 2011, webpage: Buf497 Archivado el 2 de julio de 2013 en Wayback Machine..
- ↑ a b Google Books Ngram Viewer info page: https://books.google.com/ngrams/info
- ↑ a b c d e f "Google Ngram Viewer - Google Books" (Information), Books.Google.com, December 16, 2010, webpage: G-Ngrams-info: notes bigrams and use of quotes for words with apostrophes.
- ↑ The RSA (4 de febrero de 2010). «Steven Pinker - The Stuff of Thought: Language as a window into human nature» – via YouTube.
- ↑ «Google Books Ngram Viewer». Google.
- ↑ googlebooks-eng-all-1gram-20120701-w.gz at http://storage.googleapis.com/books/ngrams/books/datasetsv2.html
- ↑ Google Ngrams: OCR and Metadata Archivado el 27 de abril de 2016 en Wayback Machine.. ResourceShelf, 19 December 2010
- ↑ Nunberg, Geoff (16 de diciembre de 2010). «Humanities research with the Google Books corpus». Archivado desde el original el 10 de marzo de 2016.
- ↑ a b Pechenick, Eitan Adam; Danforth, Christopher M.; Dodds, Peter Sheridan; Barrat, Alain (7 de octubre de 2015). «Characterizing the Google Books Corpus: Strong Limits to Inferences of Socio-Cultural and Linguistic Evolution». PLOS ONE 10 (10): e0137041. doi:10.1371/journal.pone.0137041.
- ↑ Zhang, Sarah. «The Pitfalls of Using Google Ngram to Study Language». WIRED (en inglés estadounidense). Consultado el 24 de mayo de 2017.
- ↑ Koplenig, Alexander (2 de septiembre de 2015). «The impact of lacking metadata for the measurement of cultural and linguistic change using the Google Ngram data sets—Reconstructing the composition of the German corpus in times of WWII». Digital Scholarship in the Humanities (2017-04-01) 32 (1): 169-188. ISSN 2055-7671. doi:10.1093/llc/fqv037.
- ↑ Google n-grams and pre-modern Chinese. digitalsinology.org.
- ↑ When n-grams go bad. digitalsinology.org.
Bibliografía
- Lin, Yuri et al. (July 2012). «Syntactic Annotations for the Google Books Ngram Corpus» (pdf). Proceedings of the 50th Annual Meeting. Demo Papers (Jeju, Republic of Korea: Association for Computational Linguistics) 2: 169-174. 2390499. «Whitepaper presenting the 2012 edition of the Google Books Ngram Corpus».
Enlaces externos
- Esta obra contiene una traducción derivada de «Google Ngram Viewer» de Wikipedia en inglés, publicada por sus editores bajo la Licencia de documentación libre de GNU y la Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.
- Página web oficial