Procesos y Procesadores en Sistemas Distribuidos M C

Procesos y Procesadores en Sistemas Distribuidos M. C. Juan Carlos Olivares Rojas jcolivar@antares. itmorelia. edu. mx http: //antares. itmorelia. edu. mx/~jcolivar Julio, 2009

Agenda • 3. 1 Procesos básicos. • • • y procesadores conceptos 3. 2 Hilos y multihilos. 3. 3 Modelos de procesadores. 3. 4 Asignación de procesadores. 3. 5 Coplanificación. 3. 6 Tolerancia a fallos. 3. 7 Sistemas distribuidos de tiempo real.

Procesos • Un proceso es un programa en ejecución. • Todos los procesos tienen asociados un espacio de direcciones en memoria, registros y el contador de programas. • Un programa para poderse ejecutar necesita estar en memoria principal. • Los procesos son dependientes del sistema operativo.

Procesos • El espacio de direcciones se compone además de direcciones para almacenar datos, código, la pila y el heap (montículo). • Toda la información de los procesos en los SOs se guardan el PCB (Process Control Block) que es un arreglo o lista ligada que indica la descripción de cada uno de los procesos.

Procesos • Los procesos tienen asignados un identificador de procesos (PID), el cual es la forma en que el SO trabaja con los procesos. • La finalidad del administrador de procesos es realizar una buena administración (planificación) del tiempo de CPU. • Los procesos presentan tres estados básicos: Ejecución, Listo y Bloqueado.

Ejecución de un Proceso

Lista de Procesos

Procesos • Un proceso está en ejecución cuando tiene acceso real al tiempo de CPU. • Un proceso está listo cuando se puede ejecutar, es decir, por algún motivo se suspendió para dejar ejecutar otro proceso • Un proceso está bloqueado cuando está en espera de algún recurso (E/S) o de que ocurra un evento.

Procesos

Procesos • Estos procesos pueden trabajar de manera cooperativa para la resolución de un problema muy particular. Para ello necesitan comunicarse entre sí y a lo que a nivel de SO se llama IPC (Inter Process Communication). • La parte más importante de la comunicación entre procesos es sin duda la transferencia de mensajes entre los diversos procesos.

IPC • La transferencia de mensajes puede llevarse acabo en base a dos primitivas, enviar y recibir, que se pueden aplicar a casi cualquier recurso como a los archivos (leer y escribir). • La comunicación entre procesos IPC se debe dar a través del kernel del Sistema Operativo.

Procesador • Un procesador o mejor conocido como microprocesador es la unidad de hardware que se encarga de procesar los datos que están almacenados en una computadora para producir cualquier tipo de información de interés para los usuarios. • Un microprocesador se compone de una Unidad Lógica-Aritmética (ALU) que se encarga de las operaciones básicas dadas a través de microprogramación.

Procesador • También se compone de una unidad de control encargada de la sincronización de todas las operaciones y de áreas de almacenamiento principal llamadas registros y memoria caché. • La problemática principal es que existe una confusión muy amplia entre lo que es un sistema distribuido, un sistema multiprocesamiento, un sistema paralelo, etc.

Clasificación de SD • Una de las clasificaciones más aceptadas es la de Flynn, la cual se basa en dos características esenciales: el número de flujos de instrucciones y el número de flujo de datos. La clasificación es la siguiente: • Una computadora con un sólo flujo de instrucciones y un flujo de datos (SISD, Single Instruction Single Data). Computadoras con monoprocesador.

Clasificación de SD • Computadoras con un flujo de instrucciones y varios flujos de datos (SIMD, Single Instruction Multiple Data). Procesadores vectoriales. • Computadoras con múltiples flujos de instrucciones y varios flujos de datos (MIMD, Multiple Instruction Multiple Data). Concepto de SD (no implementada como tal)

Clasificación SD • Los sistemas MIMD se subdividen en dos grupos: • Máquinas multiprocesadores. Existe un espacio de direcciones virtuales, compartido por todos los CPU del sistema. • Sistemas multicomputadoras. Cada máquina tiene su propia memoria en particular.

Clasificación SD • Las categorías anteriores puede clasificarse de acuerdo a la red de comunicación con la que se interconectan los CPU, en las siguientes categorías: • Tecnología de bus • La tecnología de conmutador

Otras clasificaciones de SD • En todos los sistemas de equipo de cómputo, algunas máquinas están fuertemente acopladas, mientras que otras están débilmente acopladas. • A continuación se muestran cuatro categorías de sistemas de cómputo, en base al acoplamiento y tipo de conexión.

Otras clasificaciones de SD • Multiprocesadores con base en buses. • Multiprocesadores conmutador. • Multicomputadoras con base en buses. • Multicomputadoras conmutador.

Otras clasificaciones de SD • En base al acoplamiento del software con el hardware los SD se dividen en: • Software débilmente acoplado en hardware débilmente acoplado. LAN • Software fuertemente acoplado en hardware débilmente acoplado (multicomputadoras). SD • Software fuertemente acoplado en hardware fuertemente acoplado. Sistemas Tiempo Compartido y Servidores Dedicados.

Cómputo Distribuido • La distribución del cómputo puede realizarse de diversas formas de acuerdo a su grado de acoplamiento en: – Fuertemente acopladas: Multiprocesadores (memoria compartida). UMA (Uniform Memory Acces) – Débilmente acopladas: Multicomputadoras (memoria privada). NUMA (Non Uniform Memory Access)

Sistemas multiprocesadores • Son sistemas que tienen dos o más procesadores (CPU), comparten las misma memoria (espacio de direcciones). • Los sistemas multinúcleos es la nueva tendencia en el desarrollo de sistemas multiprocesadores. En un solo chip se tienen varios procesadores (no es nada nuevo bajo el sol).

Sistemas multiprocesadores CPU 1 CPU 2 … CPU n N 1 Memoria Tarjeta madre … Nn CPU Memoria Tarjeta madre Modelo de n procesadores Modelo de n núcleos

Sistemas multicomputadoras • Son sistemas donde cada unidad de proceso es autónoma e independiente de las demás pero trabajan de manera conjunta. • La interconexión de unidades de proceso se hace a través de redes de computadora de preferencia de altas velocidades. • Este es el concepto más estandarizado de un SD.

Agenda • 3. 1 Procesos básicos. y procesadores conceptos • 3. 2 Hilos y multihilos. • • • 3. 3 Modelos de procesadores. 3. 4 Asignación de procesadores. 3. 5 Coplanificación. 3. 6 Tolerancia a fallos. 3. 7 Sistemas distribuidos de tiempo real.

Concurrencia • El término concurrencia indica que se tienen dos o más procesos al mismo tiempo en el mismo lugar; esto no implica que se estén ejecutando al mismo tiempo (paralelismo). • El término concurrencia se ha utilizado para indicar que se ejecutan dos o más actividades quasi-paralelamente. En sistemas monoprocesadores esto se logra a través de esquemas de multitarea real y cooperativa.

“Granularidad” del paralelismo • Cuando queremos explotar el paralelismo, podemos hacerlo en niveles de detalle distintos: – Instrucciones de máquina – Sentencias de un lenguaje de programación – Módulos dentro de un programa – Programas ejecutables completos • Grano fino grano grueso

“Granularidad” del paralelismo • El programador debe saber con qué “grano” debe trabajar ante cada problema y no trabajar en niveles de detalle inferior. • Ej. si trabajamos con Ada o Java, estamos en el nivel de “módulos”: – Concurrencia basada en hilos (threads) – no deberíamos perder el tiempo buscando sentencias simples que se pueden ejecutar en paralelo crear un hilo nuevo para ejecutar una única instrucción no hace ganar tiempo, incluso puede tardar más. 28

¿Dónde se encuentra la concurrencia? • En el hardware (la herramienta para construir sistemas informáticos): – ejecución paralela de instrucciones – funcionamiento paralelo de los periféricos – procesadores múltiples – sistemas distribuidos • En la Naturaleza (los sistemas que modelamos cuando hacemos ingeniería de software) – ¿ejemplos? 29

Concurrencia inherente o potencial • Concurrencia inherente: – Hay sistemas que en los que forzosamente se dan actividades simultáneas. – p. ej. GUI; red de cajeros automáticos; etc. • Concurrencia potencial: – Hay sistemas o problemas que se pueden resolver de forma secuencial, pero en los que se puede aprovechar la concurrencia p. ej. para aumentar el rendimiento. – P. ej. multiplicar dos matrices, ordenar un vector… 30

Concurrencia Unix • Los subprocesos se crean con fork() #include <sys/types. h> pid_t pid; pid = fork() • Se pueden copiar procesos con la familia de funciones exec.

fork() if (pid == -1) perror(“Error al crear proceso”); else { if (pid == 0) /*Proceso hijo*/ else /*Proceso padre*/ }

Procesos Padre e Hijos

Terminación de procesos • Cuando un proceso termina devuelve un valor de retorno al proceso padre. • Todos los procesos tienen un proceso padre. Este código de retorno puede ser consultado a través de la variable de entorno $? • La forma más fácil de salir es devolver un código de retorno (e. g. , return 0).

Terminación de procesos • Otra forma de salir es a través de exit(), realiza aparentemente el mismo comportamiento, ayuda a desbloquear procesos en espera. • La función atexit() permite definir una función que se ejecutará al finalizar un programa.

Terminación de procesos • A el código de estado de un proceso formalmente se llama señal. • Un proceso huérfano es aquel que se ha quedado sin padre. • Un proceso zombi es aquel que se ha quedado ocupando una posición de la tabla de descriptor de procesos.

wait() • En algunas ocasiones un proceso padre necesita esperar a que sus hijos termine. Para ello necesita sincronizarse los procesos. • La función que nos permite parar un proceso hasta que termine otro es wait • pid = wait(&estado);

wait() • Algunas macros que nos ayudan en este proceso son: • • • WIFEXITED WEXITSTATUS WIFSIGNALED WTERMSIG WCOREDUMP

Más sobre procesos • Un ejemplo de clonación de procesos es la ejecución de la función system() que nos permite ejecutar una llamada al sistema, generalmente un comando de la shell. • hijo = getpid(); • Padre = getppid(); • Grupo = getpgrp();

Identificadores de usuario y de grupo • En muchas ocasiones no sólo es necesario conocer los identificadores de procesos sino conocer los usuarios y los grupos. • • uid_t getuid(); /*usuario real*/ uid_t geteuid(); /*usuario extendido*/ gid_t getgid(); gid_t getegid();

Variables de entorno • En algunos casos es necesario compartir algunos valores entre aplicaciones, esto se puede hacer a través de la variable de entorno. • Las variables de entorno pueden verse con el comando env (ambiente). Muchos comandos muestran información a través de este entorno.

Variables de entorno • Hay algunas variables disponibles en la mayoría de los sistemas como HOME, SHELL, TERM, PATH. • Pueden accederse de manera individual haciendo eco en la pantalla con echo. • char *valor = getenv(“TERM”);

Variables de entorno • char *var 1 = “VARIABLE=valor” • putenv(var 1); /*Coloca una variable en el entorno*/ • La función sleep() permite dormir un proceso una cantidad determinada de milisegundos.

Señales • Definidas en <signal. h> • • • 1 SIGHUP 2 SIGINT 3 SIGQUIT 4 SIGILL 5 SIGTRAP 6 SIGIOT 7 SIGEMT 8 SIGFPE 9 SIGKILL • • • 10 SIGBUS 11 SIGSEGV 12 SIGSYS 13 SIGPIPE 14 SIGALARM 15 SIGTERM 16 SIGUSR 1 17 SIGUSR 2 18 SIGCLD 19 SIGPWR

Señales • int kill(pid, sig) sirve para mandar una señal de un proceso a otro. • pid > 0 proceso; pid = 0 a todos los procesos que pertenecen al mismo grupo. • La función signal sirve para capturar una señal y realizar una función con ella.

Señales main() { void sigint_handler(); if(signal(SIGINT, sigint_handler)== SIG_ERR) perror(“Error en la señal”); ……. . } void sigint_handler(int sig) { printf(“señal recibida”); }

Hilos • Son procesos ligeros ya que no se duplican completamente, sólo duplican su segmento de código. Por tal motivo, comparten datos fácilmente, la desventaja es que ocurren muchos problemas del tipo “race conditions”, pero al igual que IPC se soluciona con mecanismos como regiones críticas, zonas de exclusión mutua, etc.

Hilos • Los hilos son procesos ligeros a diferencia de los procesos hijos, los hilos sólo replican el segmento de código, por lo que comparten datos entre otros hilos haciendo mejor uso de la memoria. • La problemática con los hilos es que cada sistema operativo implementa sus hilos de manera distinta. Por ejemplo existen los hilos POSIX, los hilos C de Mach, los hilos en Windows, etc.

Threads Implementation

Web Server Process

Hilos • PThreads (POSIX Threads) es la biblioteca para la creación de hilos más implementada en sistemas *X. • Se utiliza la biblioteca pthread por lo que algunos compiladores ya la incluyen de manera predeterminada sino habrá que indicar su uso: gcc … -lpthread

Hilos • Crear hilos: int pthread_create(pthread_t *thread, pthread_attr_t *attr, void * (*start_routine)(void *), void *arg) • Esperar la finalización de hilos: int pthread_join(pthread_t **thread_return) th, void

Hilos • No guardar estado del hilo: int pthread_detach(pthread_t h) • Salir de un hilo: pthread_exit(void *retval) • Biblioteca a utilizar: #include <pthread. h>

Hilos typedef struct parametros { int id; char *nombre }; void *funcion(parametros *p) { printf(“%s %d”, p->cadena, p->id); pthread_exit(&(p->id)) }

Hilos • Referencia asi mismo: Yo = pthread_self(); /*Demás funciones*/ • Enviar una señal a un hilo: pthread_kill(pthread_t hilo, int señal); • Los hilos no están tan extendidos por que existen muchas variantes: hilos mach, hilos solaris, Gthreads, etc.

Hilos • Mutex: pthread_mutex_init(pthread_mutex_t pthread_mutex_attr_t *attr) *mutex, const int pthread_mutex_lock(pthread_mutex_t *mutex) int pthread_mutex_lock(pthread_mutext_t *mutex) int pthread_mutext_destroy(pthread_mutext_t *mutex)

Hilos • En general los hilos en Java debido a su portabilidad binaria son idénticos en todas las plataformas. Existen dos formas básicas de implementar procesos: heredar de la clase Thread o bien implementar la interfaz Runnable. • En general en el método public void run() se agrega la funcionalidad del hilo.

Hilos • Si se heredo de la clase Thread el hilo debe crearse de la siguiente forma: • Thread hilo = new Thread(new Objeto()); • El método Thread. sleep(ms); permite dormir un proceso n cantidad de milisegundos.

Hilos • En general se ejecuta el hilo poniendo el método start(), e. g. : hilo. start(); • Otros métodos de los hilos son: is. Alive() para determinar si un hilo está con vida, el metodo stop()* finaliza un hilo, el método suspend()* lo suspende, el método resume() reanuda un proceso y join() espera a que finalice un proceso especificado.

Hilos • Se pueden asignar prioridades a los hilos con el método set. Priority(), en donde la prioridad puede ser MIN, MAX y NORM_PRIORITY. • El método yield() cede prioridad, mientras que el método set. Daemon(true) hace que un hilo sea demonio.

Hilos • Los demonios son hilos que pueden correrse sin depender de otros procesos. Se utilizan mucho para la programación de servicios del sistema. • Se pueden crear grupos de hilos con la clase Group. Thread para un mejor manejo.

Agenda • 3. 1 Procesos y procesadores básicos. • 3. 2 Hilos y multihilos. conceptos • 3. 3 Modelos de procesadores. • • 3. 4 Asignación de procesadores. 3. 5 Coplanificación. 3. 6 Tolerancia a fallos. 3. 7 Sistemas distribuidos de tiempo real.

Modelos de Procesadores • En un sistema distribuido, con varios procesadores, un aspecto fundamental del diseño es cómo se los utiliza • Los procesadores distribuidos se pueden organizar de varias formas: • Modelo de estación de trabajo. • Modelo de la pila de procesadores. • Modelo híbrido.

3. 3 Modelos de Procesadores • 3. 3. 1 De estación de trabajo. • 3. 3. 2 De pila de procesadores. • 3. 3. 3 Híbrido.

Modelo de Estación de trabajo • El sistema consta de estaciones de trabajo (PC) dispersas conectadas entre sí mediante una red de área local (LAN). • Pueden contar o no con disco rígido en cada una de ellas. • Los usuarios tienen: – Una cantidad fija de poder de cómputo exclusiva. – Un alto grado de autonomía para asignar los recursos de su estación de trabajo.

Modelo de Estación de Trabajo • Uso de los discos en las estaciones de trabajo: • Sin disco: • Bajo costo, fácil mantenimiento del hardware y del software, simetría y flexibilidad. • Gran uso de la red, los servidores de archivos se pueden convertir en cuellos de botella.

Modelo de Estación de Trabajo • Con disco: • Disco para paginación y archivos de tipo borrador: • Reduce la carga de la red respecto del caso anterior. • Alto costo debido al gran número de discos necesarios.

Modelo de Estación de Trabajo • Los aspectos clave en el uso de las estaciones de trabajo inactivas son: • ¿Cómo encontrar una estación de trabajo inactiva? . • ¿Cómo lograr que un proceso remoto se ejecute de forma transparente? . • ¿Qué ocurre si regresa el poseedor de la máquina? .

Modelo de Estación de Trabajo • Generalmente se considera que una estación de trabajo está “inactiva” cuando se dan ambas condiciones: • Nadie toca el ratón o el teclado durante varios minutos. • No se ejecuta algún proceso iniciado por el usuario.

Modelo de Estación de Trabajo • Los algoritmos para localizar las estaciones de trabajo inactivas se pueden dividir en dos categorías: Controlados por el servidor y Controlados por el cliente. • La localización de estaciones de trabajo en sí no es problemático, el problema radica en la sincronización de procesos entre las diferentes estaciones de trabajo.

Modelo de Pila de Procesadores • Se dispone de un conjunto de cpu que se pueden asignar dinámicamente a los usuarios según la demanda. • Los usuarios no disponen de estaciones de trabajo sino de terminales gráficas de alto rendimiento. • No existe el concepto de propiedad de los procesadores, los que pertenecen a todos y se utilizan compartidamente.

Modelo de Pila de Procesadores • Este modelo basa su funcionamiento en la teoría de colas. • En general este modelo puede reducir significativamente el tiempo de espera al tener una sola cola de procesadores a repartir. • La capacidad de cómputo se puede gestionar de mejor forma si se tiene micros con mayores capacidades.

Modelo Híbrido • Combina las mejores características del modelo de estación de trabajo y de pila de procesadores teniendo un mejor desempeño en las búsquedas y mejor uso de los recursos.

Agenda • 3. 1 Procesos y procesadores básicos. • 3. 2 Hilos y multihilos. • 3. 3 Modelos de procesadores. conceptos • 3. 4 Asignación de procesadores. • 3. 5 Coplanificación. • 3. 6 Tolerancia a fallos. • 3. 7 Sistemas distribuidos de tiempo real.

Asignación de procesadores • Son necesarios algoritmos para decidir cuál proceso hay que ejecutar y en qué máquina. • Para el modelo de estaciones de trabajo: • Decidir cuándo ejecutar el proceso de manera local y cuándo buscar una estación inactiva. • Para el modelo de la pila de procesadores: • Decidir dónde ejecutar cada nuevo proceso.

3. 4 Asignación de Procesadores • 3. 4. 1 Modelos y algoritmos con sus aspectos de diseño e implantación.

Modelos de asignación • Generalmente hipótesis: se utilizan las siguientes • Todas las máquinas son idénticas (o al menos compatibles en el código); difieren a lo sumo en la velocidad. • Cada procesador se puede comunicar con los demás.

Modelos de Asignación • Existen dos estrategias de asignación: • No migratorias: – Una vez colocado un proceso en una máquina permanece ahí hasta que termina. • Migratorias: – Un proceso se puede trasladar aunque haya iniciado su ejecución. – Permiten un mejor balance de la carga pero son más complejas.

Modelos de Asignación • Los algoritmos optimizar: de asignación intentan • Uso de las cpu: – Maximizar el número de ciclos de cpu que se ejecutan para trabajos de los usuarios. – Minimizar el tiempo de inactividad de las cpu. • Tiempo promedio de respuesta: – Minimizar no los tiempos individuales de respuesta sino los tiempos promedio.

Modelos de Asignación • Tasa de respuesta: – Minimizar la tasa de respuesta, que es el tiempo necesario para ejecutar un proceso en cierta máquina dividido por el tiempo que tardaría en cierto procesador de referencia. • Los principales aspectos a tomar en cuenta en el diseño de algoritmos de asignación de procesos son los siguientes: • Algoritmos deterministas vs. heurísticos.

Modelos de Asignación • Algoritmos centralizados vs. distribuidos. • Algoritmos óptimos vs. subóptimos. • Algoritmos locales vs. globales. • Algoritmos iniciados por el emisor vs. iniciados por el receptor.

Modelos de Asignación • En general son muchos aspectos que se deben considerar para la generación de algoritmos de asignación de procesadores, por ejemplo, que el micro este conciente de su carga de trabajo implica una serie de mediciones que pueden ser realmente inciertas. • Los algoritmos de asignación en primera instancia deben buscar la estabilidad del sistema.

Agenda • 3. 1 Procesos y procesadores básicos. • 3. 2 Hilos y multihilos. • 3. 3 Modelos de procesadores. • 3. 4 Asignación de procesadores. conceptos • 3. 5 Coplanificación. • 3. 6 Tolerancia a fallos. • 3. 7 Sistemas distribuidos de tiempo real.

Planificación de Procesos • La planificación de procesos es la etapa más importante del administrador de procesos ya que se encarga de administrar la disponibilidad del uso de CPU. • Los planificadores no importando su complejidad deben respetar los siguientes elementos: equitatividad, eficiencia, tiempo de respuesta, retorno, volumen de producción.

Calendarizador de Procesos

Planificación de Procesos • La problemática con este tipo de administración es que los recursos son únicos e imprendecibles. Por este motivo el planificador trata de estimar algunas características. • Un planificador no sabe cuanto tiempo tardará en ejecutarse un proceso y si este en algún momento se bloquea por alguna petición de entrada o de salida.

Planificación de Procesos • Por este motivo un planificador debe de asignar un tiempo predeterminado llamado Quantum para la ejecución de procesos. • Un proceso puede ser interrumpido por otro proceso cuando este último requiera de una atención inmediata. Esto da origen a planificadores don prioridades.

Planificación de Procesos • El planificador de procesos se encarga de mantener el contexto de cada una de las aplicaciones para poder realizar multitarea. • Existen diverso algoritmos de planificación de tareas: • El algoritmo de round robin (torneo) • Planificación por prioridad • Colas múltiples

Planificación de Procesos • • Primero el trabajo más corto Planificación garantizada Planificación por loteria Planificación por niveles • En los Sistemas Dstribuidos, generalmente cada micro hace su propio administración local.

Coplanificación • Después de tener un modelo de procesamiento y de un algoritmo de asignación de procesadores, el siguiente gran reto es la administración conjunta de los tiempos de uso de CPU de los procesos de forma global. • Para poder realizar esto, se necesita de algoritmos de planificación y métodos de comunicación más eficiente. A continuación se describen algunos algoritmos de coplanificación.

Coplanificación • El algoritmo de Ousterhout toma en cuenta los patrones de comunicación entre los procesos durante la planificación. Debe garantizar que todos los miembros del grupo se ejecuten al mismo tiempo. • Se emplea una matriz conceptual donde: Las filas son espacios de tiempo. Las columnas son las tablas de procesos de los procesadores.

Coplanificación • Cada procesador debe utilizar un algoritmo de planificación Round Robin. • Todos los procesadores ejecutan el proceso en el espacio “ 0” durante un cierto período fijo. Todos los procesadores ejecutan el proceso en el espacio “ 1” durante un cierto período fijo, etc.

Coplanificación • Se deben mantener sincronizados los intervalos de tiempo. • Todos los miembros de un grupo se deben colocar en el mismo número de espacio de tiempo pero en procesadores distintos. • A continuación se describe un cómputo paralelo y coplanificación de procesos

¿Es el cómputo paralelo un sistema distribuido? • Sí y No. Depende de la implementación. • Los objetivos de la programación en paralelo de acuerdo con [5] son: – Reducir el tiempo de procesamiento utilizado por un algoritmo convencional – Reducir la complejidad del algoritmo • Se trata de aprovechar mejor el hardware.

Cómputo Paralelo

Analogía con el Tráfico de una Autopista ¿Qué se puede lograr con el paralelismo? Vamos a que dividir La Suponer Ahora, carga podemos llega en 4 trocas más tenemos poner mucho una más untroca pequeñas… convoy en rápido! cadalargo carril… de carga: troncos de madera… Cuatro hilos Explotar Una aplicación los independientes no paralelizada múltiples Resultado: núcleos… Mejora la tasa de trabajos!

Analogía con el Tráfico de una Autopista El Sistema Operativo no puede Planificador del SO (Selecciona el carril) Planificación del Sistema Operativo una aplicación en hilos… 4 3 2 1 Debe El. Carril SO 1 la 2 esperar piensa troca. … solo puede planificar hilos exis 97

Paralelismo A B C D A P 1 B P 2 C P 3 D P 4 A B C D P 1 P 2 C D Homoparalelismo P 3 P 4 Hetereoparalelismo

Paralelismo • El problema del paralelismo radica en que muchos algoritmos no pueden paralelizarse (son serializable o secuenciales) [6]. • Existen dos paralelismo: tecnologías para – PVM (Parallel Virtual Machine) [7] – MPI (Message Parking Interface) [8][9][10] realizar

Algoritmo paralelos for(int i = 0; i < 4; i++) { aleatorio(i); } aleatorio(1) micro 1 aleatorio(2) micro 2 aleatorio(3) micro 3 aleatorio(4) en espera • Compilador optimizados optimizado. Sistemas Operativos

Algoritmos paralelos Conviene No conviene

Algoritmos paralelos • Instrucciones como while son más difíciles de paralelizar por que depende de la condición. • No siempre los compiladores pueden paralelizar de manera automática un algoritmo. • En algunas ocasiones se invierte más tiempo tratando de paralelizar un algoritmo que ejecutándolo de manera secuencial.

Algoritmos paralelos //Procesador uno for( i=0; i<N/2; i++) { a[i]= c+i; } //Procesador dos for( ; i<N; i++) { a[i]= c+i; } //Procesador dos for( i = N/2; i<N; i++) { a[i]= c+i; }

Algoritmos paralelos A[0] = C; //Procesador uno for( i=1; i<N/2; i++) { a[i]= a[i-1]+1; } //Procesador 2 for( i=N/2; i<N; i++) { a[i]= a[i-1]+1; } • ¿Por qué no se puede paralelizar? • Por que el segundo proceso depende del resultado del primero. • Si se puede si se encuentra un algoritmo que permita encontrar el valor de a[N/2] directo.

Caso práctico MPI • Existen diversas implementaciones de MPI: LAM/MPI, MPICH 2, Open. MPI • MPI se puede programar en C o Fortran. • El primer paso es tener nuestro programa paralelo y asegurarnos de que está corriendo el demonio de MPI: • mpd –ncpus=procesadores & • mpdtrace -1

Caso Práctico MPI • Se debe compilar el programa: • mpicc holamundo. c –o holamundo • Se debe de correr el proceso idicando el número de procesadores: • mpirun –np 10. /holamnudo

Holamundo. c en MPI #include <stdio. h> #include “mpi. h” int main(int argc, char **argv) { int procesos, rango, tam; char nombre[MPI_MAX_PROCESSOR_NAME]; MPI_Iinit (&argc, &argv); MPI_Comm_size(MPI_COMM_WORLD, &procesos); MPI_Comm_rank(MPI_COMM_WORLD, &rango); MPI_Get_processor_name(nombre, &tam); MPI_barrier(MPI_COMM_WORLD); printf(“Hola, mundo!, soy %d de %d y me ejecuto en: %sn”, rango, procesos, nombre); MPI_Finalize(); return 0; }

Esquema de un programa en MPI /*Cabecera de MPI*/ #include <mpi. h> int main(int argc, char **argv) { int quiensoy, tamano; MPI_Status estado; /*Inicializamos MPI*/ MPI_Init(&argc, &argv); /*Preguntamos quienes somos*/ MPI_Comm_rank(MPI_COMM_WORLD, &quiensoy); /*Nos esperamos hasta quetodos hayan inicializado MPI*/ MPI_Barrier(MPI_COMM_WORLD); /*Preguntamos cuanto somos*/ MPI_Comm_size(MPI_COMM_WORLD, &tamano); /*PROGRAMA*/

Esquema de un programa en MPI if(quiensoy == root) { /*Inicialización estrructuras repartidor Reparte tareas Espera resultados Visualiza resultados*/ } else { /*recibe la tarea realiza cálculos manda resultados*/ } /*Finaliza el programa*/ MPI_Finalize(); exit(0); }

Paralelización Multiplicación de Matrices • Programa secuencial de multiplicación de matrices en Java o C. • Programa concurrente, partir del hecho de que se puede poner un hilo en ejecución para multiplicaciones no dependientes.

Agenda • 3. 1 Procesos y procesadores básicos. • 3. 2 Hilos y multihilos. • 3. 3 Modelos de procesadores. • 3. 4 Asignación de procesadores. • 3. 5 Coplanificación. conceptos • 3. 6 Tolerancia a fallos. • 3. 7 Sistemas distribuidos de tiempo real.

Tolerancia a Fallas • La tolerancia a falla en sistemas con multiprocesamiento puede lograrse a través de una buena sincronización entre procesos (IPC). • Los IPC de POSIX son: cola de mensajes, tuberías, semáforos y memoria compartida (discutida en la siguiente unidad). • Los IPC se ejecutan a nivel de kernel y no a nivel de usuario.

Tuberías • Las tuberías nos permiten redireccionar el flujo de salida de un proceso para ser la entrada de otro. • A nivel de comandos se puede realizar con el operador | (pipe). Por ejemplo ls –l | more, hace que la salida del comando –ls sea la entrada de more, por lo que se verá pantalla por pantalla la información

Tuberías • Se pueden utilizar tuberías desde los procesos. • int pipe(tuberia); • int tuberia[2]; • tuberia[0] • tuberia[1]

Tuberías • Al dejar de utilizar una tubería, esta se debe de cerrar en sus dos extremos: close(pipe). • Por un extremo de la tubería se lee, y por el otro se escribe. Ya depende de la lógica del programa ubicar que lado escribe y que lado lee. En general, primero se escribe y luego se lee. • Se utiliza la biblioteca unistd. h*

Tuberías • Para escribir en una tubería se realiza lo siguiente: write(tuberia[1], mensaje, strlen(mensaje)+1). • Para leer: read(tuberia[0], mensaje, MAX) • Las tuberías no son bidireccionales, sólo van en un sentido, pero se pueden utilizar dos tuberías para pasar mensajes en ambas direcciones.

Tuberías • Las tuberías utilizadas sólo están disponibles para los descendientes de un proceso que lo crean. Por este motivo, no están disponible para otros procesos. • Las tuberías entre procesos iguales se les llama sin nombre. El otro tipo de tuberías tienen nombre y generalmente se les llama FIFO.

Tuberías • Las tuberías con nombre se manejan igual que las tuberías sin nombre con la salvedad de que presentan un nombre que ocupa una entrada de directorio. • Se trabajan igual que un archivo sólo que se bloquea cuando un proceso escribe en la tubería.

Tuberías • Para crear una tubería con nombre desde shell se debe ejecutar: mknod fifo_1 p • Desde programación las tuberías con nombre se crean: mknod(“tubo”, S_IFIFO | permisos, 0) • Las comunicaciones vistas hasta ahora son half-duplex. Se puede utilizar un poll o select para realizar comunicación full-duplex

Semáforos • Los semáforos son mecanismos permiten sincronizar procesos. que • Todos los mecanismos IPC tienen una entrada en una tabla especial con una llave definida por el usuario. • Los posibles valores de la llave son IPC_PRIVATE, IPC_CREATE, IP_EXECL, entre otros.

Semáforos • Cada entrada de la tabla tiene un registro de permisos (rw), información de estado y llamadas de control. • Las llaves son del tipo key_t. Para crear una llave se utiliza: #include <types. h> #include <sys/ipc. h> key_t ftok(path, id)

Llaves key_t llave; if((llave= ftok(“/etc/ntp. conf”, ‘A’) == (key_t)-1) /*Error al crear la llave*/ • ipcs se utiliza para ver los mecanismos ipc asignados (-q, -m, -s, -b) • ipcrm se utiliza para liberar recursos (-q msqid, -m shmid, -s semid)

Semáforos • Es un mecanismo para prevenir colisiones cuando uno o más procesos solicitan simultáneamente un recurso. • Dijsktra los define como un objeto tipo entero en los cuales se puede aplicar dos operaciones: P (Proberen, comprobar) y V (Verhogen, incrementar), donde P sirve para obtener el recurso y V para liberarlo.

Semáforos • Las operaciones sobre un semáforo son semget para crear un semáforo o habilitar uno existente, semctl para realizar operaciones de control e inicialización, semop para realizar operaciones P y V. #include <sys/types. h> #include <sys/ipc. h> #include <sys/sem. h> int semget(key, nsems, semflg)

Semáforos int llave, semid; if((llave= ftok(“auxiliar”, ‘K’)) ==(key_t)-1) /*Tratamiento del error*/ if((semid= semget(llave, 4, IPC_CREAT | 0600)) == -1) /*Error al crear el semáforo*/

Semáforos int semctl(semid, semnum, cmd, arg) union semun{ int val; struct semid_ds *buf; ushort *array; }arg; • Las opciones de control son: GETVAL, SETVAL, GETPID, GETNCNT, GETZCNT, GETALL, SETALL, IPC_STAT, IPC_SET

Semáforos ushort asem; asem[0]=5; asem[1]=3; asem[2]=4; asem[3]=8; semctrl(semid, 0, SETALL, asem) valor = semctrl(semid, 3, GETVAL, 0) int semop(semid, sops, nsops) struct sembuf *sops;

Semáforos struct sembuf{ ushort sem_num; short sem_op; short sem_flg; }; • Si semop es negativo se decrementará (P), si se incrementa (V) y si es 0 no hace nada. • Las banderas son: IPC_WAIT, IPC_NOWAIT, SEM_UNDO

Semáforos struct sembuf operacines[4]; Operaciones[0]. semnum = 1; Operaciones[0]. sem_op = -1; Operaciones[0]. sem_flg = 0; Operaciones[1]. semnum = 4; Operaciones[1]. sem_op = 1; Operaciones[1]. sem_flg = 0; semop(semid, operaciones, 2);

Colas de mensajes • La filosofía de las colas de mensajes es similar a las tuberías, pero con mayor versatilidad. • Una cola es una estructura de datos gestionada por el kernel, en la cual varios procesos pueden escribir sobre ella. El sincronismo para evitar colisión lo realiza el kernel.

Colas de mensajes #include <sys/msg. h> int msgget(key, msgflg) If((msqid= msgget(llave, IPC_CREATE | 0600)) == -1) /*Error al crear la cola de mensajes*/ • msgctrl(msq, cmd, buf) sirve para leer y modificar la información estadística y de control de una cola.

Colas de mensajes • Los comandos de control son: IPC_STAT, IPC_SET, IPC_RMID. Por ejemplo: msgctrl(msqid, IPC_RMID, 0); • Las operaciones básicas de una cola de mensajes son enviar y recibir los mensajes que se realizan con las siguientes funciones: int msgsnd(msqid, msgp, msgsz, msgflg); int msgrcv(msqid, msqp, msgtyp, msgflag);

Cola de mensajes • El parámetro msgtyp indica el tipo de mensaje que se desea leer: 0 para el primer mensaje, > 0 el primer mensaje de tipo msgtyp que haya en la cola, <0 lee el primer mensaje que sea menor o igual al valor absoluto de msgtyp y además sea el mensaje más pequeño de los que hay.

Cola de mensajes struct{ long tipo; char cadena[20]; }mensaje; strcpy(mensaje. cadena, “SD 1”); mensaje. tipo = 1; longitud = strlen(mensaje. cadena) if(msgsnd(msqid, &mensaje, longitud, 0)==-1) /*Err*/ if(msgrcv(msqid, &mensaje, longitud, 1, 0) ==-1) /*Er*/

Agenda • 3. 1 Procesos y procesadores básicos. • 3. 2 Hilos y multihilos. • 3. 3 Modelos de procesadores. • 3. 4 Asignación de procesadores. • 3. 5 Coplanificación. • 3. 6 Tolerancia a fallos. conceptos • 3. 7 Sistemas distribuidos de tiempo real.

Sistemas de tiempo real • Son sistemas para poder ejecutar satisfactoriamente tareas que han de completarse en un plazo prefijado de tiempo (ej. sistemas de control industrial, sistemas multimedia, sistemas de misión crítica). • Se caracterizan porque los procesos tienen que ejecutar en instantes predeterminados.

Clasificación de STR • Existen dos tipos de STR: • Crítico (rígido): para tareas que siempre deben cumplir los plazos de terminación. Adecuados para la industria. Muy simples, incompatibles con tiempo compartido, memoria virtual, etc. • No crítico (flexible): intentan cumplir los plazos, pero no los garantizan al 100%. Adecuados para multimedia, etc.

Ejemplo de STR • Aeronave • Carro

Sistemas Embebidos de TR

Aplicaciones de los STR • Dominio Industrial – Controlador de la planta – Robot para tratamiento de material peligroso • Uso militar – Sistema de reconocimiento de blancos automático – Sistema de guiado de misiles y navegación • Sistemas altamente críticos – Plantas nucleares – Sistemas de aviónica

Sistemas de Tiempo Real • Los tipos de tiempo pueden ser: – Los de plazo fijo se ejecutan una vez en un instante determinado. – Los periódicos se ejecutan cada cierto tiempo. • Los sistemas en tiempo real críticos tienen asignada una franja de tiempo que no pueden rebasar.

Sistemas de Tiempo Real • Suelen tener pocos procesos en estado de listo a fin de que no se retrase la ejecución de los mismos. • Se introducen retardos en la ejecución, como puede ser la memoria virtual, puesto que la paginación puede producir retrasos inadmisibles para el proceso. • Los STR son altamente tolerante a fallas manejados por el sistema.

Arquitecturas de Tiempo Real Sistema en Tiiempo Real Distribuido. Arqutecturas homogeneas o heterogeneas. Redes de area local, y topologias de red. Protocolos de comunicaciones: Ethernet, Token Ring Modelo OSI. Redes FFDI, X-25, ATM. E/S Digital E/S Analógico Medio Ambiente Comunicaciones Otras Computadoras Software de Tiempo-Real Microcontroladores y sistemas embebidos. DSP’s, PLC’s. Buses de multiprocesadores: VMEBUs, Multibus, Future. Bus Arquitecturas RISC, Transputers. Uniprocesadores, Multiprocesadores. Memorias chache, DMA’s. Reloj Computadora (HW) Otras E/S

Ejemplo de un sistema en tiempo real. Actividades en una computadora de automobil. Control de Velocidad C=4 ms. T=20 ms. D=5 ms. Control de combustible Control de Frenado C=40 ms. T=80 ms. D=80 ms. C=10 ms. T=40 ms. D=40 ms. C=10 ms. Otro software T=40 ms. no-critico C=tiempo de computo (peor caso), T=Periodo de ejecucion, D=Plazo de respuesta

Solucion Ciclica. 76 combustible-2 64 vel. 60 0 4 no velocidad critico frenado * implica descomponer actividades grandes en varias ejecuciones. com busti ble-3 54 14 com busti ble-1 20 vel. 24 frenado velocidad 44 combustible-2 40

Solucion Concurrente. La solucion concurrente es mas simple de disenar y modificar. task body speed is begin loop speed_measurement; next: =next+0. 2 sleep_until_next; end loop end speed task body fuel is begin loop fuel_injection; next: =next+0. 2 sleep_until_next; end loop end speed task body brake is begin loop control_brakes; next: =next+0. 2 sleep_until_next; end loop end speed task body non_critical is begin loop perform computation; end loop end speed

Sistemas Distribuidos de TR • Son totalmente más complejos debido a la gran heterogeneidad de sus componentes. • Debido a esta problemática son poco los Sistemas Operativos Distribuidos de Tiempo Real aunque muchos SO de Tiempo Real (ej. SO de dispositivos empotrados) tienen capacidad de comunicación distribuida.

Sistemas Operativos de TR • El problema de la distribución radica en los tiempos de latencia de los mecanismos de comunicación distribuida (sockets, RPC, middlewares, etc. ) dado que no hay una garantía de servicio y más si se enfoca en redes públicas como la Internet. • En la práctica la gran mayoría de los Sistemas Operativos Distribuidos de Tiempo Real se llegan a implementar en sistemas multiprocesadores.

Sistemas Operativos Distribuidos de TR • La mayoría de los sistemas operativos distribuidos de tiempo real caen en el área de multimedia (QNX) y de los sistemas empotrados (Symbian). Los sistemas de navegación son otro claro ejemplo de SOTR.

SOD de Tiempo Real • Estos sistemas deben de ser totalmente determinísticos y predecibles. • Otro tópico que es un gran reto en este tipo de sistema es la seguridad y en específico el control de acceso. • El balanceo de cargas de trabajo es de suma importancia para el uso eficiente del sistema

SOD de Tiempo Real • La concurrencia y sincronización de procesos es aún más complicada (un recurso que es utilizado por un proceso debe de ser liberado automáticamente para que otro proceso más crítico pueda trabajar inmediatamente). • La selección de hardware es más compleja. • La caracterización (medición de tiempos) de estos sistemas es compleja y no muy exacta.

SOD de Tiempo Real • El uso de SOD de Tiempo Real tiene que ser manejado con las aplicaciones, ya que de lo contrario no tendría una utilidad práctica; por este motivo, es necesario la adaptación de herramientas como: compiladores, utilerías, base de datos y software de sistema.

Referencias • Liberty, Jesse, Horvarth, David (200). Aprendiendo C++ para Linux en 21 Días. México, Prentice Hall. • Márquez, Francisco (1994). Unix Programación Avanzada. Estados Unidos, Addison-Wesley.

Referencias • Colouris, George, Dollimore, Jean, Kindberg, Tim (2001). Sistemas Distribuidos Conceptos y Diseño. 3 a. Edición. España, Pearson Addison. Wesley. • Horstmann, Cay, Cornell, Gary (2006). Core Java 2 Volumen II Carácterísticas Avanzadas. España, Perason Prentice Hall.

Referencias • Deitel, Harvey, Deitel, Paul (2004). Java Como Programar. Quinta Edición. México, Pearson Prentice Hall. • Márquez, Francisco (2004). Programación Avanzada. Tercera México, Alfaomega Ra-Ma. UNIX edición,

Referencias • Froufe, Agustín, Jorge, Patricia (2004). J 2 ME Java 2 Micro Edition Manual de usuario y tutorial. México, Alfaomega. • Firtman, Maximiliano (2004). Programación celulares con Java. Argentina, MP Ediciones. de • Ruíz, Diego (2005). C# La guía total del programador. Argentina, MP Ediciones.

Referencias • Tanenbaum, Andrew (1996). Sistemas Operativos Distribuidos. México, Prentice Hall. • Tanenbaum, Andrew, Van Steen, Maarten (2006). Distributed Systems Principles and Paradigms. Estados Unidos, Pearson Prentice Hall. • Mejía, P. (2009), Curso de Sistemas de Tiempo Real, CINVESTAV, México.

Referencias • J. Senn, “Análisis y Diseño de Sistemas de Información”, 2 da. Edición, Mc. Graw-Hill, México, 1992, ISBN: 968 -422 -991 -7. • A. Tanenbaum, et al. , “Sistemas Operativos. Diseño e implementación”, 2 da. Edición, Prentice Hall, México, 1998, ISBN: 970 -170165 -8. • Aguas, N. (2009) Procesos y Procesadores en Sistemas Distribuidos.