Seminario Lenguas y culturas hispnicas en Internet Direccin

Seminario Lenguas y culturas hispánicas en Internet Dirección José Antonio Millán MADRID Residencia de Estudiantes 3 de diciembre del 2008

Panorama crítico de experiencias para medir lenguas y culturas en el ciberespacio… con enfoque especial en el método Funredes/Union Latina

Daniel Pimienta, Álvaro Blanco pimienta@funredes. org alvaro@funredes. org FUNDACIÓN REDES Y DESARROLLO http: //funredes. org/LC

MIEMBRO DE http: //maaya. org

FUENTE: “Doce años de medidas de la diversidad lingüística en la Internet: balance e perspectivas. ” D. Pimienta, D. Prado, Á. Blanco, 10/2008 A publicar por la Unesco en 2009. Accesible en: http: //funredes. org/lc/espanol/articulos/index. htm http: //funredes. org/lc

DE QUE SE TRATA? CONOCER LA REPARTICIÓN DE LOS RECURSOS DE LA INTERNET EN TÉRMINOS DE DIVERSIDAD LINGÜÍSTICA: v. Internautas v. Páginas web v. Correos v. Y mas y mas…

¿DONDE ESTA LA MEDICIÓN DE LA DIVERSIDAD LINGÜÍSTICA? EN LA EDAD DE LA PIEDRA… REPARTICIÓN DE INTERNAUTAS DESINFORMACIÓN CRÓNICA SOBRE EL WEB MUY POCA IDEA DEL RESTO DESPUES DE AÑOS DE TRANCO, LA SITUACIÓN VA CAMBIANDO POR FIN

¿Y PORQUE TOMARSE LA PENA (Y QUE PENA!!!) DE MEDIR? LA NECESIDAD DE POLÍTICAS LINGÚÍSTICAS VIRTUALES… APOYADAS EN DATOS CIENTÍFICAMENTE VALIDADOS.

. . . Y PORQUE LA BRECHA DIGITAL DE CONTENIDOS ES MUCHO MAS PROFUNDA QUE LA DE ACCESO! Veamos África: 4 % de los conectados (80% en África del Sur) 0, 6% de las páginas web en inglés 0, 6% de las páginas web en francés Entre 0, 06 y 0, 006% páginas en lenguas locales (de las pocas que están localizadas)

¿Y PARA QUE COMPLICARSE LA VIDA VIRTUAL CON POLÍTICAS? APUESTAS CULTURALES, SOCIALES, ECONÓMICAS, ECOLÓGICAS, DE GOBERNANCIA

ENTONCES, ¿QUE ES LO QUE HAY? ESTUDIOS TRABAJOS PUBLICACIONES DISCURSOS REFERENCIAS…

APROXIMACIONES PASADAS METODO PRO CON USO SENCILLO SIMPLE MOTOR BUSQUEDA MUY APROXIMATIVO ALIS/OCLC METODO ESTADÍSTICO NO REPETIDO Y… MUCHAS MAS LIMITACIONES SIMPLISTA… “creible por fuente… no por proceso” MEJORABLE VARIOS PRODUCTOS EMPR. MERCADEO FUNREDES/UL NO TRANSPARENTE DOCUMENTADO INDICADORES REPETIDO LIMITACIÓN LENGUAS & ESPACIO

APROXIMACIONES NUEVAS METODO PRO CON LOP PODER UPC/IDESCAT SIN LIMITE ALGORITMO DE “A LA ALEXA” COBERTURA IDEAL NO EXISTE FUNREDES/UL RECONOCIMIENTO TAMAÑO DE CRAWL CONTRAPESO DEBE LIBERARSE DE LOS MOTORES

COMPLEMENTO DEL ESPACIO VACIO BUSCAR : “ –hhwhd 3 ygfvd” A veces los motores responden, incluyendo con la opción lengua, con el tamaño total del índice. A veces se puede buscar “*-*”. Muy usado sin documentarla.

ALIS/OCLC 3000 IP al azar (!!!) Aplicación una sola vez (!!!!!!) del algoritmo de reconocimiento de lengua (!!) …. en la página de entrada (!!!). Correcciones a la mano no documentadas(!)

LOP/IDESCAT Explorar la web y conservar las páginas. Aplicar algoritmo de reconocimiento de lenguas. LOP enfoca Asia e África Esperamos mas resultados de IDESCAT

A LA ALEXA Un programa espía que reportaría el comportamiento de un grupo amplio y representativo de usuarios podría producir datos esenciales… Nos encantaría poder hacerlo!

MÉTODO FUNREDES/UNION LATINA Ø Ø Ø Ø BASADO EN MOTORES DE BÚSQUEDA APROXIMACIÓN LINGÜÍSTICA SERIA PARTE ESTADÍSTICA MUY CUIDADA TOTALMENTE DOCUMENTADO SEGUIMIENTO PERMANENTE DESDE 1998 PRODUCE VARIOS INDICADORES CONSIDERA VARIOS ESPACIOS

MÉTODO FUNREDES/UNION LATINA n n n LIMITADO EN LENGUAS (inglés, aleman. , español, francés, italiano, portugués, rumano, catalán) RESULTADOS RELATIVOS AL INGLÉS MIDE EL WEB VISIBLE E INDEXADO YA NO CREIBLE DESDE 2006 FUTURO INCIERTO

METODOLOGÍA FUNREDES/UNION LATINA Definición 57 conceptos equivalentes semánticamente ===> 1600 términos Medición comparativa ocurrencias con motores de búsqueda (automatizada) Método estadístico sólido (distribución, promedio, varianza, ley de Fischer, intervalo de confianza) Resultados en % del inglés Evaluación del inglés aproximativa lleva a resultados absolutos en otras lenguas

CRITERIOS PARA SELECCIÓN DE CONCEPTOS: Neutralidad cultural Homografia trans-lingüística Homografía trans-lingüística con palabra compuesta Homografía trans-lingüística par emprunt Homografía con abreviación Homografía con nombre propio frecuente Seudo-homografía trans-lingüística Significaciones no equivalentes Morfo-síntaxis no equivalente : nom, verbe Morpho-síntaxis no equivalente : adjectivos y nombres Pluricentrismo lexicográfico y semántico Pluricentrismo ortográfico Formas agregadas (alemán)

Neutralidad cultural Propiedad de una palabra en relación con su frecuencia de uso en la lengua en función de la cultura respectiva. Las palabras francesas vin, parfum, gastronomie y las palabras del lenguaje diplomático no son neutras culturalmente, en relación con el francés. Para obtener una muestra con el coeficiente de variación menor posible, se dejaron de lado las palabras no neutras culturalmente.

Homografía interlingüística La grafía de una palabra en un idioma es idéntica a la de otra palabra en otro idioma, incluido el caso de faux amis (significación diferente). Puede haber homografías con o sin diacríticos. Ejemplo de grafía idéntica (con el mismo sentido): casa en castellano y portugués. Ejemplos de faux amis: red en castellano y en inglés; hier en francés y alemán. Rechazar las palabras homógrafas (con o sin diacríticos). Se han tenido en cuenta, para rechazarlas, las homografías entre los idiomas del estudio o con un idioma muy presente en la Internet, como el alemán. Para evitar el riesgo estadístico de homografías con otros idiomas, se descartan por principio las palabras de menos de cuatros letras.

Homografía interlingüística por préstamo Cuando una palabra de un idioma es aceptada tal cual en otro. Anglicismos comme business, sandwich o software. El galicismo, deja vu en inglés, castellano, etc. (homógrafo de la expresión francesa sin diacríticos). Excluir sistemáticamente o deducir (mardi-gras)

Homografía con una abreviación Sept, siete en francés, homógrafo de las abreviaciones de septiembre en varios idiomas, sobre todo en inglés. Evitar estas palabras. Estamos relativamente protegidos por la consigna de evitar palabras de menos de cuatros letras.

Homografía con un nombre propio frecuente Windows es ventana en inglés. . pero es asimismo el nombre de un programa muy citado en la Internet. Evitar estas palabras.

Pseudohomografía interlingüística La escritura de una palabra con une error de ortografía frecuente en un idioma corresponde a otra en otro idioma. Ambasador en rumano puede confundirse con ambas(s)ador en inglés. Se rechazan estas palabras solamente si la lengua con que se confunde es el inglés.

Significados no equivalentes Prix en francés equivale en su significado a premio y a precio. Evitar estas palabras, salvo si fuera posible incluir todos los significantes que completarían el sentido en las lenguas que lo necesiten.

Morfosintaxis no equivalente: sustantivo, verbo El inglés es diferente morfo-sintácticamente de los demás idiomas estudiados, suele tener una misma forma como sustantivo y variante verbal, ésta última equivalente a su vez de muchas formas conjugadas en los demás idiomas. Love en inglés es el sustantivo que significa amor y el verbo amar: en el infinitivo (cuando sigue a to), en el presente del indicativo (amo, amas, amamos, amáis, aman), etc. Evitar estas palabras. Esta característica del inglés nos lleva a excluir los verbos.

Morfosintaxis no equivalente: adjetivos y sustantivos Adjetivos, invariables en inglés, varían en género y en número en los demás idiomas estudiados. Los sustantivos, que en general sólo varían en número en los demás idiomas, varían en rumano también según el caso (nominativo, genitivo, etc. ) y la diferencia determinado / no determinado. El adjetivo inglés yellow corresponde a amarillo / amarilla / amarillos / amarillas. El sustantivo inglés instability / instabilities a las variantes rumanas siguientes: instabilitate / instabilitatea / instabilităţii / instabilităţile / instabilităţilor. Incluir las variantes de género, número y caso en los idiomas en la necesidad de equivalencia lo exige.

Pluricentrismo léxico y semántico Cuando un idioma tiene más de un centro normativo léxico-semántico. Según el país hispanohablante, se dice nafta o gasolina. Americano, en muchos países de América Latina, no tiene el mismo sentido que en otros o en España. Incluir las variantes sinonímicas nacionales o regionales cuando corresponda.

Pluricentrismo ortográfico Cuando un idioma tiene más de un centro normativo ortográfico. Casos del inglés y del portugués: ortografía diferente en EE. UU. y en el Reino Unido (theater y theatre), en Portugal y en Brasil (electricidade y eletricidade). Incluir las variantes ortográficas nacionales o regionales cuando corresponda.

Formas agregadas Las formas agregadas son comunes en alemán y el motor no las contabiliza. Corregir globalmente las cifras en función de un porcentage de frecuencia.

CONCEPTOS: EJEMPLOS INGLÉS: cheese, cheeses ESPAÑOL: queso, quesos FRANCÉS: fromage, fromages ITALIANO: formaggi, formaggio PORTUGUÉS: queijo, queijos RUMANO: branza, branzei, branzele, branzelor, branzeturile, branzeturilor brânza, brânzei, brânzele, brânzelor, brânzeturile, brânzeturilor, brânzã ALEMÁN: kaese, kaesen, kasen, käsen

CONCEPTOS: EJEMPLOS INGLÉS: yellow ESPAÑOL: amarilla, amarillas amarillo, amarillos FRANCÉS: jaune, jaunes ITALIANO: gialla, gialle, gialli, giallo PORTUGUÉS: Amarela, amarelas, amarelos RUMANO: Galben, galbena, galbene, galbeni, galbenã ALEMÁN: gelb, gelbem, gelben, gelber, gelbes

MOTORES DE BÚSQUEDA entre maravilla y pesadilla… LOS HEMOS PROBADOS TODOS: Altavista, Excite, Fastsearch (Alltheweb), Google, Hotbot, Infoseek, i. Won, Lycos, Northernlight, Yahoo et Webtop. .

MOTORES DE BÚSQUEDA SELECCIÓN Para cada estudio se selecciona el mejor con esos criterios: - Fiabilidad de contabilidad de ocurrencias - Gestión de diacríticos - Coherencia de resultados - Tamaño del índice - Limitación de sezgos

MOTORES DE BÚSQUEDA un medio bastante opaco n n n CASI SIEMPRE HAY PROBLEMAS TOMA TIEMPO PARA VALIDAR Y ENTENDER LOS FENÓMENOS A MENUDO ESTUVIMOS MUY CERCA DE ABANDONAR…

MÉTODO ESTADÍSTICO - - - Distribución normal (Gauss) Analisis del coeficiente de Varianza para validar resultados Interval de confianza a 90% e 99% calculados a partir de la distribución Student-Fisher

PROGRAMACIÓN n n Interfaz a los motores automatizado en PHP Nutre base de datos de resultados para conservación y comparación

PRODUCTOS n PORCENTAJEE DE CADA IDIOMA COMPARADO CON INGLÉS n COEFICIENTE DE VARIANZA n INTERVAL DE CONFIANZA

EVALUACIÓN DEL PORCENTAJE DEL INGLÉS - - - La parte le menos científica Realizada cruzando datos de los lenguajes no medidos Cada día mas difícil

RESULTADOS DERIVADOS E INDICADORES - PORCENTAJE ABSOLUTO - PRESENCIA PONDERADA -PRODUCTIVIDAD - EVOLUCIONES

EVOLUCIÓN % PAGINAS WEB EN COMPAR. CON INGLÉS FUNREDES 1998 -2008

INDICADORES 2008 INGLES ESP. FR. IT. POR. RUM. AL. CAT. TOT. Locutores (millones) 670 400 130 60 205 30 120 9 6600 Locutores (% pop. mundial) 10. 1% 6. 1% 2. 0% 0. 9% 3. 1% 0. 5% 1. 8% 0. 1% 130% Internautas (millones) 366 102 58 31 47 5 59 2 1154 Internautas (%) 54. 6% 25. 4% 44. 9% 52. 3% 23. 1% 16. 5% 49. 1% 23. 1% 17. 5% Internautas (% pop. mundial) 5. 5% 1. 5% 0. 9% 0. 5% 0. 7% 0. 1% 0. 9% 0. 0% 17. 5% % de Internautas por lengua 32% 9% 5% 3% 4% 0% 5% 0. 2% 130% % de paginas web por lengua 45. 0% 3. 8% 4. 4% 2. 7% 1. 4% 0. 3% 5. 9% 0. 1% 100% Productividad por lengua 1. 42 0. 43 0. 87 0. 98 0. 34 0. 66 1. 16 0. 74 1 Pagina web per internauta 4. 44 0. 63 2. 24 2. 93 0. 45 0. 62 3. 25 0. 96

MAS RESULTADOS DERIVADOS E INDICADORES PARTIENDO DE BÚSQUEDA: - POR DOMINIO GENÉRICO - POR DOMINIOS DE PAÍSES - POR LENGUAS PRODUCTIVIDAD DE PAGINAS WEB EN UNA LENGUA DADA POR PAÍS…

¿QUE PAÍSES PRODUCEN CONTENIDOS EN FRANCÉS? FUENTE: FUNREDES/UL Noviembre 2007 Mayo 20005 Marzo 2003 FRANCIA 60% -1, 09 60% - 0, 82 54% - 0, 96 CANADA 20% - 1, 06 19% - 1, 27 24% - 1, 83 BELGICA 7% - 0, 60 8% - 1, 55 7 % - 2, 21 SUIZA 5% - 0, 87 5% - 2, 78 6% - 2, 17 OTROS 8% - 0, 84 8% - 1, 38 9% - 3, 10

¿QUE REGIONES PRODUCEN CONTENIDOS EN FRANCÉS? FUENTE: FUNREDES/UL 2007 2005 2003 EUROPA 75% 79% 71% AMERICA 22% 21% 25% AFRICA/MEDIO ORIENTE 0. 3% 0. 4% 0, 4% ASIA/OCEANIA 0. 2% 0. 4% 0, 4% NO CLASIFICADO 2, 11% 0. 19% 3. 32%

¿QUE PAÍSES PRODUCEN CONTENIDOS EN ESPAÑOL? FUENTE: FUNREDES/UL 2007 2005 2001 ESPAÑA 56% - 3. 4 48 % - 2. 4 54% - 2. 7 EEUU 10% - 0. 4 14% - 0. 4 5 % - 0. 12 ARGENTINA 9. 4 – 0. 9 10. 6% - 1. 9 9. 6% - 1. 3 8. 4% - 0. 45 7. 4 % - 0. 5 8. 6 % - 0. 45 MEXICO

QUE PAÍSES PRODUCEN CONTENIDOS EN PORTUGUÉS? FUENTE: FUNREDES/UL 2007 2005 BRASIL 71% - 0. 90 71 % - 0. 95 PORTUGAL 15 % - 0. 98 17 % - 1. 0 4 % - 5. 0 8 % - 5. 4 3. 8 % - 3. 7 2. 3 % - 1. 2 USA SPAIN

QUE PAÍSES PRODUCEN CONTENIDOS EN INGLÉS? FUENTE: FUNREDES/UL nov-07 may-05 66% - 1 51 % - 0, 8 INGLATERRA 6. 5% - 0, 6 7, 2 % - 0, 6 CANADA 3. 5% - 0, 7 5 % - 0, 7 AUSTRALIA 1. 5 % - 0, 3 1. 8 % - 0, 4 ALEMAÑA 1. 2 % - 39 1. 9 % - 57 EEUU

¿CUAL ES EL ESPACIO DEL SUR EN ESTA PRODUCCIÓN? FUENTE: FUNREDES/UL En FRANCÉS: África + Asia < 0. 8% (menos que España o Italia. . . ). Destacan: Marruecos, Senegal y Vietnam En ESPAÑOL: America latina = 35% producción total Destaca: Nicaragua y Cuba en productividad En rojo: Guatemala, Honduras, Costa Rica, Puerto Rico, Perú En INGLÉS : Producción del Sur totalmente marginal excepto África del Sur, China, Brasil, algunas islas del Pacifico (uso negociado del dominio nacional!), Corea del Sur, India, Filipinas. Destaca (del Norte): Alemania, Francia, Italia, Holanda, Japón, Suiza, Rusia, Suecia, España con productividades enormes. . .

OTRAS ACTIVIDADES DEL OBSERVATORIO DE FUNREDES - - - Otros espacios: newsgroups, blogosfera, wikipedia “Medición” muy aproximativa de las culturas a través las citaciones de personajes y evaluando las evoluciones. Automatización de la traducción por programa en listas de discusión

EL FUTURO DE NUESTRO METODO n n Posiblemente hemos cumplido nuestro rol y debemos dejar el espacio a proceso mas “industriales” Tal vez podríamos considerar lanzarnos (o mejor negociar con alguien) para aplicar el método no sobre los motores sino sobre el mismo web…

REFERENCIAS - Measuring linguistic diversity on the Internet, UNESCO, 12/2005, a collection of papers by: John Paolillo, Daniel Pimienta, Daniel Prado, et al. http: //portal. unesco. org/ci/en/ev. php. URL_ID=20882&URL_DO=DO_TOPIC&URL_SECTION=201. html - Activités de Funredes pour la promotion de la diversité linguistique dans l'Internet et enseignements de l'expérience, 5/05 http: //portal. unesco. org/ci/en/file_download. php/92 a 27500 bf 11 f 4 c 73 cd 56794 3 deb 4077 Daniel+Pimienta. doc -“Quel espace reste-t-il dans l’Internet, hors la langue anglaise et la culture "made in USA" ? ”, in « Nord et Sud numériques » , Les Cahiers du Numériques, Vol 2 No 3/4 Hermès, Numéro spécial sur la fracture numérique, 2001 http: //funredes. org/lc/l 5/cahiers. Num. Final. html