Segundo Trabalho Prático de GTI Resolução Exercício

Segundo Trabalho Prático de GTI Resolução

Exercício 1 Escreva as expressões regulares correspondentes a cada uma das seguintes situações: · · · Aceitar um inteiro positivo com um máximo de 5 dígitos entre 0 e 32768 (sem zeros na esquerda) Aceitar um número real positivo ou negativo. Aceitar uma password entre 4 e 8 caracteres, que comece com uma letra e tenha pelo menos um dígito. · Aceitar um URL bem formado. · Aceitar uma data no formato “MONTH_NAME DD, YYYY”

Exercício 1 1) [0 -9]|[1 -9][0 -9]{1, 3}|[1 -2][0 -9]{4}|3[0 -1][0 -9]{3}|32[0 -6][0 -9]{2}|327[0 -5][09]|3276[0 -8] 2) [+-]? [0 -9]*. ? [0 -9]+ 3) [A-Za-z](? =. *d). {3, 7} 4) ((ht)|f)tp(s)? : //([a-z. A-Z 0 -9]+. )+((pt)|(com))(/[a-z. A-Z 0 -9_. ]*)+(? ([a-z. A-Z 00_]+=[a-z. A-Z 0 -0_])(&([a-z. A-Z 0 -9_]+=[a-z. A-Z 0 -9_]))*)? 5) (([Jj]aneiro)|([Ff]evereiro)|([Mm]arço)|([Aa]bril)|([Mm]aio)|([Jj]unho)|([Jj]ulho)|( [Aa]gosto)|([Ss]etembro)|([Oo]utubro)|([Nn]ovembro)|([Dd]ezembro))((0? [19])|([1 -2][0 -9)]|(3[0 -1])) [0 -9]{1 -4}

Exercício 2 Escreva um ficheiro de configuração para a ferramenta Web-harvest que permita aceder à página Web com endereço http: //www. ist. utl. pt/information. php? board. Id=7557 e extrair do seu conteúdo todas as noticias. A saída do processo de extracção deverá obedecer ao formato RSS. Na resolução deve constar o ficheiro de configuração do Web-harvest, o documento RSS usado como entrada e o resultado de saída.

Exercício 2 <? xml version="1. 0" encoding="UTF-8"? > <config charset="UTF-8"> <var-def name="url">http: //www. ist. utl. pt/information. php? board. Id=7557</var-def> <file action="write" path="data/data. xml" charset="UTF-8"> <![CDATA[ <rss version="2. 0"> <channel> <title>Noticias do IST</title> <description>Noticias extraidas do site do IST</description> <link>]]><var name="url"/><![CDATA[</link>]]>

Exercício 2 <xquery> <xq-param name="doc"> <html-to-xml outputtype="pretty"> <http url="${url}"/> </html-to-xml> </xq-param> <xq-expression><![CDATA[ declare variable $doc as node() external; for $i in 1 to count($doc//h 3) let $title : = data($doc//h 3[@class='mtop 2'])[$i] let $description : = data($doc//div[@class='ann'])[$i] let $date : = data($doc//p[@class='post_date'])[$i] let $author : = data($doc//div[@class='ann']/p[@class='grey_bright']/a)[$i]

Exercício 2 return <item> <title>{normalize-space($title)}</title> <description>{normalize-space($description)}</description> <pub. Date>{normalize-space($date)}</pub. Date> <author>{normalize-space($author)}</author> </item> ]]></xq-expression> </xquery> <![CDATA[ </channel> </rss>]]> </file> </config>

Exercício 3 Escreva um programa Java que, utilizando o Ling. Pipe, faça a extracção de todas as datas mencionadas no ficheiro RSS obtido como saída no Exercício 2. Na resolução deve constar o código Java e o resultado da extracção.

Exercício 3 import com. aliasi. chunk. *; import java. util. *; import java. io. *; import javax. xml. xpath. *; import javax. xml. parsers. *; import javax. xml. transform. *; import org. w 3 c. dom. *; import org. xml. sax. *; public class Recognize. Dates { private static final String CHUNK_TYPE = "date";

Exercício 3 private static final String regexp 1 = "[0 -9]( de)? ((Janeiro)|(Fevereiro)|(Março)|(Maio)|(Abril)|(Maio)|(Junho)|(Julho)|(Agosto)|(Setembro)|( Outubro)|(Novembro)|(Dezembro)) [0 -9][0 -9]"; private static final double score 1 = 1. 0; private Reg. Ex. Chunker chunker 1; private static final String regexp 2 = "((jan)|(fev)|(mar)|(mai)|(abr)|(mai)|(jun)|(jul)|(ago)|(set)|(out)|(nov)|(dez))(\. )? ( de)? [0 -9][0 -9]"; private static final double score 2 = 0. 8; private Reg. Ex. Chunker chunker 2;

Exercício 3 public Recognize. Dates() { chunker 1 = new Reg. Ex. Chunker(regexp 1, CHUNK_TYPE, score 1); chunker 2 = new Reg. Ex. Chunker(regexp 2, CHUNK_TYPE, score 2); }

Exercício 3 private void print. Chunks ( Chunker chunker, String text ) { Chunking chunking = chunker. chunk(text); Set chunk. Set = chunking. chunk. Set(); Iterator it = chunk. Set. iterator(); while (it. has. Next()) { Chunk chunk = (Chunk) it. next(); int start = chunk. start(); int end = chunk. end(); String stext = text. substring(start, end); System. out. println("chunk="+chunk+" text="+stext); } }

Exercício 3 public static void main ( String args[] ) throws Exception { Recognize. Dates recognizer = new Recognize. Dates(); Document. Builder builder = Document. Builder. Factory. new. Instance(). new. Document. Builder(); Document doc = builder. parse("data/data. xml"); XPath xp = XPath. Factory. new. Instance(). new. XPath(); XPath. Expression expr = xp. compile("//item"); Node. List nodes = (Node. List)expr. evaluate(doc, XPath. Constants. NODESET);

Exercício 3 for (int i=0; i<nodes. get. Length(); i++) { Node item = nodes. item(i); String text = (String) xp. compile("pub. Date"). evaluate(item, XPath. Constants. STRING) + " - " + (String)xp. compile("description"). evaluate(item, XPath. Constants. STRING); System. out. println("*** Texto"); System. out. println(text); System. out. println("*** Resultados para o item " + i); recognizer. print. Chunks(recognizer. chunker 1, text); recognizer. print. Chunks(recognizer. chunker 2, text); System. out. println("***"); } }}

Exercício 4 Escreva um programa que, utilizando a ferramenta Ling. Pipe, faça a extracção de todos os nomes de departamentos do IST a partir do ficheiro RSS obtido como saída no Exercício 2. Pretende-se que a cada notícia seja associada a lista de departamentos nela mencionados. Deverá ser considerada a seguinte lista de departamentos do IST: Departamento de Engenharia Civil e Arquitectura (DECivil) Departamento de Engenharia Electrotécnica e de Computadores (DEEC) etc.

Exercício 4 import com. aliasi. chunk. *; import com. aliasi. dict. *; import com. aliasi. tokenizer. *; import java. util. *; import java. io. *; import javax. xml. xpath. *; import javax. xml. parsers. *; import javax. xml. transform. *; import org. w 3 c. dom. *; import org. xml. sax. *;

Exercício 4 public class Recognize. Departments { private Map. Dictionary dictionary; private Exact. Dictionary. Chunker chunker; public Recognize. Departments() { dictionary = new Map. Dictionary();

Exercício 4 dictionary. add. Entry(new Dictionary. Entry("Departamento de Engenharia Civil e Arquitectura", "DECivil", 1. 0)); dictionary. add. Entry(new Dictionary. Entry("Departamento de Engenharia Civil", "DECivil", 0. 8)); dictionary. add. Entry(new Dictionary. Entry("DECivil", 0. 8)); dictionary. add. Entry(new Dictionary. Entry("Engenharia Civil", "DECivil", 0. 4)); dictionary. add. Entry(new Dictionary. Entry("Civil", "DECivil", 0. 1)); dictionary. add. Entry(new Dictionary. Entry("Departamento de Engenharia Informática", "DEI", 1. 0)); dictionary. add. Entry(new Dictionary. Entry("DEI", 0. 5)); dictionary. add. Entry(new Dictionary. Entry("Engenharia Informática", "DEI", 0. 4)); dictionary. add. Entry(new Dictionary. Entry("Informática", "DEI", 0. 1)); // Repetir para os restantes departamentos

Exercício 4 chunker = new Exact. Dictionary. Chunker(dictionary, Indo. European. Tokenizer. Factory. FACTORY, true); }

Exercício 4 public String recognize. Departments ( String text ) { String. Buffer aux = new String. Buffer(); Set result = new Hash. Set(); Chunking chunking = chunker. chunk(text); Set chunk. Set = chunking. chunk. Set(); Iterator it = chunk. Set. iterator(); while (it. has. Next()) { Chunk chunk = (Chunk) it. next(); if(aux. length()!=0) aux. append(", "); aux. append(chunk. type()); } return aux. to. String(); }

Exercício 4 public static void main ( String args[] ) throws Exception { Recognize. Departments chunker = new Recognize. Departments(); Document. Builder builder = Document. Builder. Factory. new. Instance(). new. Document. Builder(); Document doc = builder. parse("data/data. xml"); XPath xp = XPath. Factory. new. Instance(). new. XPath(); XPath. Expression expr = xp. compile("//item"); Node. List nodes = (Node. List)expr. evaluate(doc, XPath. Constants. NODESET);

Exercício 4 for (int i=0; i<nodes. get. Length(); i++) { Node item = nodes. item(i); String text = (String) xp. compile("title"). evaluate(item, XPath. Constants. STRING) + " - " + (String) xp. compile("description"). evaluate(item, XPath. Constants. STRING); String result = chunker. recognize. Departments(text); System. out. println("*** Texto"); System. out. println(text); System. out. println("Resultado para o item " + i + " : " + result); System. out. println("***"); } }}

Exercício 5 Responda às seguintes alíneas: Indique dois algoritmos de aprendizagem automática (Machine Learning) suportados pelo Ling. Pipe. Com que finalidade pode cada um deles ser utilizado? Explique sucintamente o algoritmo de classificação Naive Bayes. Explique qual a assunção feita por um classificador Naive Bayes em relação aos termos individuais (i. e. explicar porque se diz que o classificador é “Naive”).

Exercício 5 O Ling. Pipe suporta os algoritmos de classificação Naive Bayes e Language Modeling (LMClassifier). Ambos se baseiam em processos estatísticos que assentam no teorema de Bayes, diferindo no facto de considerarem ou não a independência entre os termos. Outras respostas possíveis seriam um classificador baseado em redes neuronais (Perceptron. Classifier) ou um classificador "vizinho mais próximo" (KNNClassifier). Um classificador Naive Bayes usa um processo estatístico baseado no teorema de Bayes, calculando a probabilidade do documento a classificar pertencer a uma dada classe (i. e. a classe de maior probabilidade é a escolhida para classificar o documento). O teorema de Bayes permite inverter o calculo desta probabilidade, podendo a mesma ser obtida a partir da probabilidade de ocorrência de um dado documento tendo-se a classe (esta podem ser estimada a partir da ocorrência de termos individuais num conjunto de treino) e da probabilidade de ocorrência de uma dada classe (que também pode ser estimada a partir de um conjunto de treino)

Exercício 5 Um classificador Naive Bayes assume a independência entre os termos (e. g. a ocorrência de uma palavra num texto é independente da ocorrência de outras palavras) para efeitos de simplificação do calculo das probabilidades condicionais.