Machinaal Leren Luc De Raedt Katholieke Universiteit Leuven

Machinaal Leren Luc De Raedt Katholieke Universiteit Leuven Declarative Languages and Artificial Intelligence

Overzicht Twee onderwerpen 1. Machinaal leren Leren uit beloning Inductief leren 2. Scientific Discovery AI voor wetenschappelijke toepassingen Een persoonlijke interpretatie

Machinaal Leren Wat ? Een “agent” leert indien het in staat is zijn performantie te verbeteren op basis van ervaring op een wel bepaalde taak. Essentieel voor AI: geen intelligentie zonder leervaardigheid. Klassiek voorbeeld: Games, beter spelen naarmate je meer speelt. (Games ~ het fruitvliegje van de KI)

Games: 4 klassiekers 1. Dammen (A. Samuel, 1949 -1970) 2. drie op een rij (D. Michie, 1963) 3. Backgammon (G. Tesauro, 1995) 4. Schaken - Knight. Cap (Baxter, Tridgewell and Weaver, 2000)

Dammen (A. Samuel) • Eerste dam programma begin de jaren 50 • zorgde voor stijging IBM aandeel • in 1961, wint het van de toenmalige state champion in VS (de nr. 4 van de VS) • Tijdens de jaren 50 - 60 verschillende versies die leerden uit ervaring • van eind spelen (uit textboeken) • evaluatie functies • basis voor moderne reinforcement learning

Menace (Michie 63)

X aan Zet O X Kies doosje op basis van huidige positie O X X Voer de zet uit Kies at random een parel uit het doosje

Menace (Michie 1963) Leert Tic-Tac-Toe Hardware: 287 Luciferdoosjes (1 voor elke stelling) Parels in 9 kleuren (1 kleur per veld) O X Spel principe: Kies doosje dat overeenkomt met huidige stelling Kies een parel at random uit doosje Zet op het corresponderende veld Leer algoritme: Spel verloren -> bewaar alle gebruikte parels (negatieve belonging - reinforcement) Spel gewonnen -> voor elke geselecteerde parel, voeg een parel van dezelfde kleur toe aan het doosje (positieve beloning - reinforcement)

TD-Gammon G. Tesauro (1995) Backgammon leert via Temporal Difference learning speelt 1. 500. 000 partijen tegen zichzelf bereikt wereld kampioen niveau

Knight. Cap Baxter et al. (2000) Integreert Reinforcement Learning en Game Theory (mini-max) Vertrekt van redelijke kennis (1600 ELO) Speelt via het internet

Knight. Cap (Baxter)

Leren uit beloningen Reinforcement learning het volledige AI probleem in het klein leren in een onbekende omgeving Richard Bellman dynamic programming (1957) Toepassingen in Umgebung Robotica Control, bvb. lift sturing Zustand Aktion Belohnung Overzicht -- zie Sutton and Barto 1998 Agent

Inductief Leren ~ opgedane ervaringen analyseren Inductief leren ~ leren uit voorbeelden data mining / data analyse / statistiek Vooral interesse in wetenschappelijke toepassingen ~ AI voor wetenschap

Inductie Wat ? Uit specifieke observaties algemene wetmatigheden / regels afleiden Voorbeeld er is een zwaan en die zwaan is wit dus alle zwanen zijn wit Deze conclusie is niet algemeen geldig, maar wel falsificeerbaar

Bongard (1967) Probleem BP 71 Wat is de regel ? Er is een object in een ander object dat zelf in een verder object zit

Michalski’s Treintjes (1983 -86) Clustering : Hoe treintjes in klassen onderverdelen ? Treintjes met twee, drie of vier wagons ? Stel dat je weet dat een “o” lading gevaarlijk is ?

Inductief Leren Klassiek : eenvoudige representaties, propositie logica volstaat; gegevens in tabel vorm Inductief Logisch Programmeren en Relational Learning gebruikt predikaten logica of logisch programmeren, en laat toe om ook achtergrond kennis te gebruiken (Muggleton & De Raedt 94)

SAR problemen Structure Activity Relationship Prediction Sternberg English:

SAR • Resultaten behaald met algemeen leersysteem (alhoewel ondertussen specifieke systemen ontwikkeld werden) • Nieuwe en interpreteerbare kennis wordt geproduceerd • Gepubliceerd in de wetenschappelijke literatuur op vlak van SAR • Verschillende andere toepassingen

Inductief Logisch Programmeren Gordon Plotkin (1970) begrip “least generalization” in logica eerste formalisatie leren in logica Ehud Shapiro (1980) “inferring logical theories from facts” geïnspireerd op Karl Popper’s werk Muggleton (1991) term “inductief logisch programmeren” De Raedt en Bruynooghe (1992) starten eerste Europese project in dit gebied op

The Model Inference System Ehud Shapiro (1980) ~ programma synthese MIS : X is gesorteerde versie van Y if X is permutie van Y user : tegen voorbeeld sort (3, 4, 1) geeft (4, 1, 3) MIS : X is gesorteerde versie van Y if 1 ste element X < 2 de element X en X is permutatie van Y user : tegen voorbeeld: sort(3, 4, 1) geeft (1, 4, 3) MIS : geeft sort(3, 4, 1) (1, 3, 4) ? soort Master Mind ~ selecteren relevante voorbeelden / experimenten programma synthese uit vbn. - 70 s : Biermann, Summers

Robot Scientist (Nature 04) Biologische Experimenten Achtergrond Kennis over Metabolic Pathway Gist (Yeast -Saccharomyces cerevisiae)

Expert Systems (70 s) Mycin : Medisch domein -- diagnose van patienten, bloed ziektes en anti-biotica Gebruikt regels zoals IF the infection is pimary-bacteremia AND the site of the culture is one of the sterile sites AND the suspected portal of entry is the gastrointestinal tract THEN there is suggestive evidence (0. 7) that infection is bacteroid. Grote verzameling regels (500) Semantiek niet echt duidelijk Moeilijk te onderhouden

Waarschijnlijkheidsverdeling mary john earthburgalarm P calls quake lary t t t 0. 001 t t f 0. 04 t t t f t 0. 002. . . P(burglary | alarm=true) ? P(marycalls | burglary = true) ?

Bayesiaanse Netten Judea Pearl (1988) Kernidee : structuur graaf codeert conditionele onafhankelijkheden P(A, B, E, J, M) = P(B). P(E). P(A|B, E). P(J|A). P(M|A)

Leren uit gegevens mary calls john earthburgalarm calls quake lary t t ? t t f t t t ? f ? t f t t

Geschiedenis • 80 s -- opkomst logica • 90 s -- opkomst probabilistische modellen • 00 s -- probabilistisch logisch leren

Probabilistisch Logisch Leren Een van de belangrijkste open vragen handelt over "probabilistic logic learning", i. e. de integratie van probabilistic reasoning met eerste order logische representaties en machinaal leren. Soms ook Statistical Relational Learning genoemd

Een gegevensbank Gene Pathway expressed in Tissue refers to belongs to refers to Biological process related to participates codes Phenotype / Locus is a, is part of participates Cellular component is a, is part of refers to Protein Is found in refers to Is found in Article interacts with contains annotated_with has Molecular function is a has Protein Family/Domain 29 Me. SH term contains, has child

Een deelgraaf 30

Voorbeeld vragen • Wat is het meest relevante deel van de graaf gegeven dat ik interesse heb voor genen X 1, X 2, en X 3 en ziekte Z maar niet voor genen Y 1, Y 2, Y 3 ? • Wat is de waarschijnlijkheid dat gen X en ziekte Y verbonden zijn (i. e. dat er een pad is van X naar Y) ? • verschillende andere. . . 31

Besluit Machinaal Leren inductief leren en reinforcement learning veel andere deelproblemen Toepasbaar op “Scientific Discovery” rol van representatie en achtergrond kennis Zie bvb. Donald Gillies “AI and Scientific Method”, Oxford Univ. Press, 1996. 32