Algoritmo de Porter An algorithm for suffix stripping

  • Slides: 12
Download presentation
Algoritmo de Porter An algorithm for suffix stripping Escuela Nacional de Antropología e Historia

Algoritmo de Porter An algorithm for suffix stripping Escuela Nacional de Antropología e Historia (ENAH) Agosto – diciembre de 2015

Objetivo Mejores representaciones de documentos • CONNECTED • CONNECTING • CONNECTIONS CONNECT

Objetivo Mejores representaciones de documentos • CONNECTED • CONNECTING • CONNECTIONS CONNECT

Objetivo Mejores representaciones de documentos D 1 CONNECT 2 D 1 CONNECT 15 CONNECTED

Objetivo Mejores representaciones de documentos D 1 CONNECT 2 D 1 CONNECT 15 CONNECTED 5 CONNECTING 2 CONNECTION 4 CONNECTIONS 2

Consideraciones • Se busca mejorar los programas de computadora y no hacer análisis lingüístico

Consideraciones • Se busca mejorar los programas de computadora y no hacer análisis lingüístico • CONNECTION vs CONNECTIONS • RELATE vs RELATIVITY

Algoritmo • Lista de sufijos • Lista de reglas

Algoritmo • Lista de sufijos • Lista de reglas

Algoritmo • c = consonante = {A, E, I, O, U, YC} • TOY

Algoritmo • c = consonante = {A, E, I, O, U, YC} • TOY T, Y • SYZYGY S, Z, G • v = vocal = ~consonante • V = {vvv…} • C = {ccc…}

Algoritmo • (VC) {m}. - VC repetido m veces • m. - medida (measure)

Algoritmo • (VC) {m}. - VC repetido m veces • m. - medida (measure) de una palabra • [C](VC){m}[V] • Ejemplos: • m=0 TR, EE, TREE, Y, BY. • m=1 TROUBLE, OATS, TREES, IVY. • m=2 TROUBLES, PRIVATE, OATEN, ORRERY.

Algoritmo Reglas • (condition) S 1 -> S 2 • This means that if

Algoritmo Reglas • (condition) S 1 -> S 2 • This means that if a word ends with the suffix S 1, and the stem before S 1 satisfies the given condition, S 1 is replaced by S 2. • Ejemplo: • (m > 1) EMENT -> • Here S 1 is `EMENT' and S 2 is null. This would map REPLACEMENT to REPLAC, since REPLAC is a word part for which m = 2.

Algoritmo Condiciones • *S - the stem ends with S (and similarly for the

Algoritmo Condiciones • *S - the stem ends with S (and similarly for the other letters). • *v* - the stem contains a vowel. • *d - the stem ends with a double consonant (e. g. - TT, -SS). • *o - the stem ends cvc, where the second c is not W, X or Y (e. g. -WIL, -HOP).

Algoritmo Condiciones • (m>1 and (*S or *T)) : stem with m>1 ending in

Algoritmo Condiciones • (m>1 and (*S or *T)) : stem with m>1 ending in S or T • (*d and not (*L or *S or *Z)): stem ending witha double consonant other than L, S or Z

Algoritmo Secuencias • SSES -> SS • IES -> I • SS -> SS

Algoritmo Secuencias • SSES -> SS • IES -> I • SS -> SS • S -> • CARESSES maps to CARESS since SSES is the longest match for S 1. Equally CARESS maps to CARESS (S 1=`SS') and CARES to CARE (S 1=`S').

Fin

Fin