Evolución de agentes inteligentes Carles Sierra IIIA-CSIC Barcelona

Evolución de agentes inteligentes Carles Sierra IIIA-CSIC Barcelona IIIA-CSIC El Escorial, 8/8/01

IIIA-CSIC Plan de la charla • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES • Ejemplos de computación evolutiva y agentes – ROBOTS CAMINANTES – ESTRUCTURAS LEGO • Computacion evolutiva y agentes en el IIIA – MODELO DE NEGOCIACIÓN – CO-EVOLUCION DE COMPRADORES Y VENDEDORES • Discusión El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Autonomía!

IIIA-CSIC Definición de agente Sistemas que muestran: • Autonomía • Reactividad • Proactividad • Comportamiento social El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES El Escorial, 8/8/01

IIIA-CSIC Hormigas • 1018 insectos vivos • ~2% de todos los insectos son sociales • Los insectos sociales son: – Todas las hormigas – Todas las termitas – Algunas abejas – Algunas avispas • 50% de los insectos sociales son hormigas • Peso de las hormigas ~ Peso de los humanos • Las hormigas estan en la tierra desde hace 100 millones de de años. El Homo sapiens desde hace 50. 000. El Escorial, 8/8/01

IIIA-CSIC Como se coordinan los insectos sociales? • La comunicación es necessaria • Es de dos tipos: – Directa: antenas, trophallaxis (intercambio de líquidos), contacto de mandíbulas, contacto visual o químico, etc. – Indirecta: dos individuos interaccionan indirectamente cuando uno de ellos modifica el entorno y el otro reacciona al nuevo entorno más adelante. Esto se denomina estigmergia El Escorial, 8/8/01

IIIA-CSIC Estigmergia Grassé P. P. , 1959 • “La coordination des tâches, la regulation des constructions ne dependent pas directement des oeuvriers, mais des constructions elles-mêmes. L’ouvrier ne dirige pas son travail, il est guidé par lui. C’est à cette stimulation d’un type particulier que nous donnons le nom du STIGMERGIE (stigma, piqure; ergon, travail, oeuvre = oeuvre stimulante). ” Grassé P. P. , 1959 • [“La coordinación de las tareas y la regulación de las construcciones no depende directamente de los trabajadores, sino de las propias construcciones. El trabajador no dirije su trabajo, es dirigido por él. Es a esta forma especial de estimulación a la que llamamos ESTIGMERGIA (stigma, pincho; ergon, trabajo). ”] El Escorial, 8/8/01

IIIA-CSIC Estigmergia Estimulación de los trabajadores por los resultados que han obtenido. Grassé P. P. , 1959 El Escorial, 8/8/01

IIIA-CSIC Ejemplo: seguimiento de caminos i recolección. Mientras caminan, las hormigas y las termitas: • Pueden depositar feromonas en el suelo. • Siguen con probabilidad alta los caminos de feromonas que encuentran en el suelo. El Escorial, 8/8/01 Película de Jean-Louis Deneubourg

IIIA-CSIC Recolección: El doble puente. Goss et al. , 1989, Deneubourg et al. , 1990 15 cm A Nest Food B Puente simple El Escorial, 8/8/01 % de hormigas en las dos ramas

IIIA-CSIC Experimento del puente doble Goss et al. , 1989, Deneubourg et al. , 1990 Película de Jean-Louis Deneubourg El Escorial, 8/8/01

IIIA-CSIC Estigmergia “Artificial” Comunicación indirecta mediante modificaciones de estados del entorno que son accesibles de forma local por los agentes que se comunican. Características de la estigmergia artificial: Dorigo & Di Caro, 1999 – Comunicación indirecta – Accesibilidad local Qué son los algoritmos de hormiga? Los algoritmos de hormiga son sistemas multiagente que explotan la estigmergia artificial como medio de coordinar hormigas artificiales para solucionar problemas computacionales. El Escorial, 8/8/01

IIIA-CSIC Las hormigas reales inspiran los algoritmos: El puente asimétrico. Goss et al. , 1989 El Escorial, 8/8/01 Dorigo & Bertolissi, 1998

IIIA-CSIC Algunos resultados r=1 r=2 r es la relación entre la longitud de los dos puentes. Puente corto añadido más tarde El Escorial, 8/8/01

IIIA-CSIC Hormigas artificiales y el problema del camino más corto. Traza de feromonas ? Origen Regla probabilista para elegir el camino Destino El Escorial, 8/8/01 Memoria

IIIA-CSIC Feromonas y memoria Memoria de los nodos visitados j tijd i tikd tird k r El Escorial, 8/8/01

IIIA-CSIC Regla de transición probabilista • tijd es la cantidad de feromona en el arco (i, j, d) • Jik es el conjunto de nodos a los que puede desplazarse la hormiga k situada en el nodo i El Escorial, 8/8/01

IIIA-CSIC Depósito de feromonas donde (i, j) son los arcos visitados por La hormiga k, y Origen i tijd donde qualityk es proporcional a la inversa del tiempo que le costó a la hormiga k recorrer el camino de i a d via j j d El Escorial, 8/8/01 Destino

IIIA-CSIC Algoritmo de hormiga simple • Las hormigas salen a instantes regulares de cada nodos elegidos aleatoriamente. • Las hormigas se encaminan probabilisticamente como ya hemos visto. • Las hormigas memorizan los nodos visitados y los costos asociados. • Una vez llegan a su destino vuelven atrás actualizando las tablas de encaminamiento. El Escorial, 8/8/01

IIIA-CSIC Porqué funciona? Origen i Tres factores: tijd • TIEMPO: un camino más corto recibe feromonas más rápidamente j • CALIDAD : un camino más corto recibe más feromona d Destino • COMBINATORIA: un camino más corto recibe feromona más frecuentemente porque es probable que tenga menos puntos de decisión. El Escorial, 8/8/01

IIIA-CSIC Ant. Net Japanese NTT net American NSF net El Escorial, 8/8/01

IIIA-CSIC Ant. Net: Resultados NTT net Avg packet delay (s) Throughput (b/s) NSF net El Escorial, 8/8/01 De Di Caro and Dorigo, 1998, Journal of Artificial Intelligence Research

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES El Escorial, 8/8/01

IIIA-CSIC Vendedor personalizado • Un vendedor personalizado es (normalmente) un personaje visual animado que utiliza interacciones conversacionales para ayudar a un cliente mientras utiliza un sistema de comercio electrónico. • Recomienda productos basandose en un perfil de usuario y en sus preferencias. • Ayuda como resultado de una petición del usuario o de manera proactiva. • Se puede adaptar mediante aprendizaje. El Escorial, 8/8/01

IIIA-CSIC Admisor de vendedores El Escorial, 8/8/01 Subastas: El Fish. Market

IIIA-CSIC El Escorial, 8/8/01 Subastas

IIIA-CSIC Comprador y panel electrónico El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Escenas

IIIA-CSIC El Escorial, 8/8/01 e. Compradores (navegador)

IIIA-CSIC El Escorial, 8/8/01 e. Compradores (agente)

IIIA-CSIC El Escorial, 8/8/01 e. Subastador

IIIA-CSIC Implementación LAN Lonja virtual Auditor Modems Jefe Servidor Admisión de compradores Gestión de compadores Subastador Admisión de vendedores Admisión de pescado Gestión de vendedores Interagent comprador Interagent vendedor Agente comprador El Escorial, 8/8/01 Agente vendedor

IIIA-CSIC El Escorial, 8/8/01 Torneos

IIIA-CSIC El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Monitorización

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Robo. Cup

IIIA-CSIC El Escorial, 8/8/01 Táctica!

IIIA-CSIC El Escorial, 8/8/01 CMU Team

Grupos de robots autónomos @ CMU IIIA-CSIC • • Nuevas ideas: Percepción distribuida a través de comunicación Comportamientos robustos delante de movimientos y percepciones pobres Reconocimiento automático de comportamientos Aprendizaje multiagente Impacto: • Transferencia de ideas a robots de tamaño grande • Percepción, acción y comportamientos efectivos en tareas de competición • Respuestas en tiempo real y adaptación rápida en entornos dinámicos y inciertos El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Humanoides: Adonis

IIIA-CSIC De la robótica al mundo virtual: cinemática inversa El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Macarena

IIIA-CSIC Humanoides? • Porqué? – Simulación (emergencias) – Entretenimiento (películas, presentadores de tv) – Medicina (terapia virtual, rehabilitación) • Avatares: representación del usuario, a veces con movimiento guiado • Humanoides virtuales autónomos, con objectivos y reglas – Reaccionan al entorno, tienen comportamiento, toman decisiones – Realistas (y creibles) en forma, animación y comportamiento El Escorial, 8/8/01

IIIA-CSIC Marylin: primera película con un actor virtual. El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES • Ejemplos de computación evolutiva y agentes – ROBOTS CAMINANTES – ESTRUCTURAS LEGO El Escorial, 8/8/01

IIIA-CSIC Diseño evolutivo. El proyecto Golem • Población de robots candidato. • Compuestos de bloques básicos: barras, actuadores y neuronas. • Inicialmente: robots vacios. • Clave: elección de bloques y operadores. • Mayor simplicidad en bloques, menor sesgo inductivo. • Evolución de la estructura y el control al mismo tiempo. • La evolución del control lleva a generar complejas estructuras neuronales. El Escorial, 8/8/01

IIIA-CSIC • • Típico proceso evolutivo Inicialmente: 200 máquinas. Fitness: locomoción. 300 -600 generaciones. Co-evolución de morfología y control. • Decenas de generaciones antes de obtener movimiento. (Hay que obtener una minima red de control primero). El Escorial, 8/8/01

IIIA-CSIC • Convergencia – Selección proporcional al fitness • Divergencia • Especiación • Extinciones masivas El Escorial, 8/8/01 Patrones evolutivos

IIIA-CSIC El Escorial, 8/8/01 Ejemplo de evolución (I)

IIIA-CSIC El Escorial, 8/8/01 Ejemplo de evolución (II)

IIIA-CSIC Evolución del Fitness • Progreso a ‘golpes’ • Progreso decrece a medida que el fitness aumenta. El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Proyecto Golem

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES • Ejemplos de computación evolutiva y agentes – ROBOTS CAMINANTES – ESTRUCTURAS LEGO El Escorial, 8/8/01

IIIA-CSIC Evolución de una grua Lego • 1/2 kg de peso • La base giratoria era un input modelizado como un conjunto de restricciones. • El programa genera un plano de construcción El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Evolución de un puente

IIIA-CSIC El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES • Ejemplos de computación evolutiva y agentes – ROBOTS CAMINANTES – ESTRUCTURAS LEGO • Computacion evolutiva y agentes en el IIIA – MODELO DE NEGOCIACIÓN – CO-EVOLUCION DE COMPRADORES Y VENDEDORES El Escorial, 8/8/01

IIIA-CSIC Negociación • El comercio se trata de interacción – Entre compradores y vendedores en todas las fases: busqueda, compra y entrega. • Primera generación – Preguntas web pasivas – Interacciones simples: subastas • Segunda generación – Interacciones ricas y flexibles • La negociación es la clave de la interacción – Un proceso mediante el cual grupos de agentes se comunican entre ellos para llegar a un acuerdo mutuamente aceptable sobre algún asunto. – Existen multitud de formas: subastas, contract net, argumentación. – Es clave porque los agentes son autónomos: un conocido tiene que ser convencido para ser influenciado. – La negociación se consigue haciendo propuestas y realizando concesiones. El Escorial, 8/8/01

IIIA-CSIC Componentes de la negociación • Protocolos de negociación. Reglas que gobiernan la interacción: participantes aceptables, acciones válidas, estados de negociación. • Objetos de negociación. Dimensiones de los acuerdos. Numero de ellas, tipo de operaciones sobre ellas. • Modelo de razonamiento de los agentes. Método de toma de decisiones. Desde pujas simples a argumentación compleja. El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Escenario de negociación

IIIA-CSIC Modelo de negociación Cada agente a negocia sobre un número de dimensiones que tienen : 1) Un rango delimitado. [minj, maxj] 2) Una función de evaluación monótona Vja: [minj, maxj]-> [0, 1] 3) Una importancia relativa, wja La función de utilidad para un agente a tiene la forma siguiente: El protocolo de negociación consiste en un proceso iterativo de ofertas y contraofertas hasta que se alcanza un acuerdo. El Escorial, 8/8/01

IIIA-CSIC Ejemplo de hilo de negociación Immobiliaria. Vendedor b y comprador a. Dimensiones={dirección, superficie, habitaciones, luz, precio, garage} Hilo de negociación: El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Protocolo de negociación

IIIA-CSIC Familias de tácticas • Las tácticas son funciones que determinan como calcular el valor de una dimensión considerando un único criterio. Usamos las tácticas siguientes: – Dependientes del tiempo – Dependientes de los recursos – Dependientes del comportamiento El Escorial, 8/8/01

IIIA-CSIC Concesión En las tácticas dependientes del tiempo el criterio utilizado es el tiempo: Polinómica El Escorial, 8/8/01

IIIA-CSIC Tácticas dependientes de recursos • Igual que las temporales pero: Donde en este caso el numerador representa el tiempo que el agente a considera razonable negociar con otro agente en la dimensión j. El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Tácticas imitativas

IIIA-CSIC Estrategias de negociación • Cuando se considera más de un criterio se utiliza una combinación (en nuestro modelo lineal) de las diferentes tácticas. • La estrategia de negociación de un agente consiste en determinar qué combinación de tácticas es la más apropiada en cada instante. El Escorial, 8/8/01

IIIA-CSIC • Introducción a los agentes autónomos – – – DEFINICION AGENTES HORMIGA AGENTES PARA COMERCIO ELECTRONICO AGENTES ROBÓTICOS AGENTES VIRTUALES • Ejemplos de computación evolutiva y agentes – ROBOTS CAMINANTES – ESTRUCTURAS LEGO • Computacion evolutiva y agentes en el IIIA – MODELO DE NEGOCIACIÓN – CO-EVOLUCION DE COMPRADORES Y VENDEDORES El Escorial, 8/8/01

IIIA-CSIC Objetivos • Estudiar técnicas de negociación en sistemas multiagente. • Analizar las dinámicas de negociación de poblaciones de agentes mediante una aproximación evolutiva. El Escorial, 8/8/01

IIIA-CSIC Genes negociadores Genes de carac. El Escorial, 8/8/01 Genes estratégicos Genes tácticos

IIIA-CSIC Función de Fitness • Consideramos el promedio de la siguiente función sobre los resultados de las negociaciones con los otros agentes de la población. • Donde El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Método

IIIA-CSIC Experimentos • Parámetros – Probabilidad de crossover: 1/2 – Puntos de crossover: 6 – Probabilidad de mutación: 0. 02 – Poblaciones: |S| = |B| = 100 – Numero de experimentos: 100 • Escenarios – Estrategias homogeneas: los agentes usan una única táctica – Estrategias flexibles: los agentes combinan tácticas. El Escorial, 8/8/01

IIIA-CSIC Resultados (I) • Los sucesivas generaciones de agentes se adaptan al entorno negociador. Por ejemplo, cuando agentes concesivos negocian con agentes boulware, el valor del parametro beta decrece: El Escorial, 8/8/01

IIIA-CSIC Resultados (II) • Estrategias homogeneas – La cantidad de tiempo influye. – Las tacticas basadas en recursos son las mas exitosas para tiempos cortos, en tiempos largos las concesivas mejoran. – Cuando aumenta el tiempo tambien mejoran las tácticas imitativas. • Estrategias flexibles – No hay tácticas claramente dominantes. – Las estrategias flexibles son más robustas. El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Arquitecturas de agente

IIIA-CSIC Agente negociador basado en casos El Escorial, 8/8/01

IIIA-CSIC El Escorial, 8/8/01 Agentes borrosos

IIIA-CSIC El Escorial, 8/8/01 Poblaciones

IIIA-CSIC Discusión • Interrelación entre: economía, psicología, sociología, ecología i inteligencia artificial. • Millones de infohabitantes sobre Internet. • Autonomía i negociación como nuevos paradigmas de computación. • Modelos de computación natural esenciales para entender la dinámica de los sistemas. • EBM versus ABM El Escorial, 8/8/01

IIIA-CSIC Links • Carles Sierra http: //www. iiia. csic. es/~sierra@iiia. csic. es • IIIA http: //www. iiia. csic. es • Robots evolutivos http: //www. demo. cs. brandeis. edu/index. html • AGENTLINK http: //www. agentlink. org El Escorial, 8/8/01