資訊檢索研討 會 法學資訊服務 政治大學資訊科學系 劉昭麟 18 September 2003
Outline ¬ Knowledge Representation Formalisms ¬ Some research in legal informatics – Case categorization – Prior case retrieval – Legal document summarization – Legal document drafting – Computer-assisted sentencing – Computer-assisted argumentation ¬ Research at NCCU – Criminal summary judgments
Knowledge Representation ¬Bench-Capon and Visser (1997, UK) – Rule-based systems – Case-based systems – Statistical approach – Ontology ¬RDF (Ebenhoch 2001, Germany)
Some Research in Legal Informatics ¬Case categorization ¬Prior case retrieval ¬Legal document drafting ¬Legal document summarization ¬Computer-assisted sentencing ¬Computer-assisted argumentation
Case Categorization ¬Thompson (2001, USA) ¬Targets: 40 high level categories ¬Methods – k. NN-like Approach • artificial cases • tfidf – C 4. 5 Rules • pruned rule sets obtained from a C 4. 5 decision tree – Ripper • learn rules from training cases
Prior Case Retrieval ¬Al-Kofahi et al. (2001, USA) ¬Targets: case history ¬Features: – title similarity and weight – docket number – etc. ¬Support Vector Machine
Legal Document Summarization ¬Moens (1997, 2001, Belgium) ¬Targets: criminal cases ¬Contents: predictable and unrestricted ¬Text grammar for predictable contents ¬Shallow statistical techniques for unrestricted contents – Index terms – K-medoid clustering methods
Legal Document Drafting ¬Branting (1998, USA) ¬Targets: Show-cause orders for Colorado Court of Appeals ¬ Features: – – – Text grammars Illocutionary structure Rhetorical structure Document planner Document drafter
Computer-Assisted Sentencing ¬Schild (1995, 1998, Israel) ¬Targets: robbery and rape ¬Advantage: uniformity of the sentencing system ¬Case-based system – Source of cases: interviewing judges – Representation: Multiple Explanation Pattern (Schank 1994) ¬Interaction with users
Computer-Assisted Argumentation ¬Argumentation theories ¬Stranieri et al (2001, Australia) – Domain classification: no/bounded/narrow/unfettered discretion – Decision trees: legal procedures – Argument trees: canonical auguments
Argumentation ¬Verheij (1999, The Netherlands) – Dialectical arguments • • Reasons Conclusions Exceptions Warrants – Views • Line-of-argument view • Statements view
Education ¬Aleven (1997, USA) – Educate students for argumentation in the legal domain – Case-based – Issue-based
Research at NCCU A Case-based Reasoning Approach to Classifying Criminal Summary Judgments in Chinese
Contributors ¬政治大學法學院 ¬台灣大學國發所 ¬板橋地方法院 ¬政治大學資科所 陳起行教授 陳顯武教授 何君豪法官 張正宗先生
Background Information ¬Documents for criminal summary judgments – Indictment document – Judgment document ¬Approaches – Rule-based classifiers – Case-based classifiers ¬Sources of decision criteria – Human-provided – Machine-generated
Data for Learning and Testing 案由 代號 training test 公共危險罪 C 1 158 271 妨害風化罪 C 2 26 44 賭博罪 C 3 30 87 傷害罪 C 4 14 33 竊盜罪 C 5 99 243 侵占罪 C 6 15 46 贓物罪 C 7 9 15 違反動產擔保交易法 C 8 15 40 違反毒品危害防制條例 C 9 19 73 違反電子遊戲場業管理條例 C 10 16 23 違反兒童與少年性交易防制條例 C 11 19 52 違反台灣地區與大陸地區人民關係條 例 其他案件 C 12 9 23 C 13 74 146
Human-Provided Rules ¬人 挑選關鍵詞 ¬依照下列固定的格式將 1. 案由或法條名稱 2. 門檻值 3. no 4. 不欲出現的詞 -1 5. 不欲出現的詞 -2 ……… 6. 不欲出現的詞 -n 7. event 8. 關鍵詞 -1 9. 關鍵詞 -2 ……… 10. 關鍵詞 -m rule儲存起來 刑法第二百六十八條 2 event 提供 供給 賭博場所 公眾得出入之場所 賭場
Human-Provided Cases 1. 案由或法條名稱 2. 門檻值 3. no 4. 不欲出現的詞 -1 5. 不欲出現的詞 -2 ……… 6. 不欲出現的詞 -n 7. event 8. 關鍵詞 -11、關鍵詞-12、 …、關鍵詞-1 x： 比重 -1 9. 關鍵詞 -21、關鍵詞-22、 …、關鍵詞-2 y： 比重 -2 ……… 10. 關鍵詞 -k 1、 關鍵詞 -k 2、 關鍵詞 -kz： …、 比重 -m
Case Instance Examples 傷害 20 event 爭執、口角： 10 基於傷害之故意、基於傷害人身體之故意： 20 毆： 10 挫傷、傷害、擦傷、裂傷、死亡： 10 爭執 →毆 →擦傷： 30 擦傷 →口角 →毆： 20 基於傷害之故意 →毆 →裂傷： 40
Learning Case Instances ¬ Segmenting Chinese character strings – Use (somewhat) customized How. Net – Prefer longest matches ¬ Preprocessing – 依「，；。」這三個符號，將犯罪事實欄位內的資料 切成許多小片段。 – 刪除描述時間與地址的小片段。 – 判斷是否為時間或地址之描述的方法 • 「年、月、日、時、分」五個出現兩個以上為時間描述之小 片段。 • 「市、縣、路、村、里、段、巷、弄、號 」九個出現三個以上 為地點描述之小片段。
An Sample Result of Preprocessing 吳○○於民國九十年十月二十七 日上午十時十分許，在某 KTV店 內服用酒類，致其反應能力降低 ，已不能安全駕駛動力交通 具 後，仍駕駛車號 HY－ ○○○○ 號自用小客車沿板橋市文化路往 台北方向行駛，在行經臺北縣板 橋市文化路與站前路路口時，撞 及自對向車道駛來，欲左轉站前 路，由林○○所駕駛之 Z３－○ ○○○號自用小客車，嗣經警方 處理，對吳○○施以酒精測試， 其測定值為０ ‧八五 MG／ L， 始 循線查知上情。 在某 KTV店內服用酒類，致其 反應能力降低，已不能安全駕 駛動力交通 具後，撞及自對 向車道駛來，欲左轉站前路， 由林 ○○所駕駛之 Z３－○○ ○○號自用小客車，嗣經警方 處理，對吳○○施以酒精測試 ，其測定值為０‧八五 MG／ L ， 始循線查知上情。
A Sample Learned Case Instance ¬ 第一行儲存的是案 由或法條的名稱。 ¬ 第二行開始，將前 處理後的小片段， 做斷詞處理，並刪 掉長度為 1的詞， 剩下的詞依原出現 順序，以一個空白 為間隔，儲存起來。 公共危險 內服 反應 能力 降低 不能 安全駕駛 動力 交通 具 車道 左轉 駕駛 自用 客車 警方 處理 施以 酒精 測試 測定
Case Instance Applications ¬把欲處理的起訴書中犯罪事實欄位的 資料，做與建立 case instances同樣的處 理，得到一個詞的串列 X。 ¬Instance中第二行起的資料 Y， 與起訴書 所得到的資料 X， 其相似度計算方式：
Example for Case Applications Instance 公共危險 內服 反應 能力 降低 不能 安全駕駛 動力 交通 具 車道 左轉 駕駛 自用 客車 警方 處理 施以 酒精 測試 Test data 不能 安全駕駛 動力 交通 具 程度 駕駛 車號 自用 客車 途經 發覺 指揮 交通 反映 遲緩 盤查 酒精 測試 含量 毫克 OCW 不能 安全駕駛 動力 交通 具 駕駛 自用 客車 酒精 測試 Counts = 9 測定 Counts = 19 Counts = 21 s 2 = (9/19 + 9/21)/2 = 0. 4511
A Sample Learned Rule Instance ¬ 第一行儲存的是案 由或法條的名稱。 ¬ 第二行開始，將前 處理後的小片段， 做斷詞處理，並刪 掉長度為 1的詞，剩 下的詞以一個空白 為間隔，儲存起來。 詞與詞之間， 原本 出現順序之特徵不 必保留 。 公共危險 內服 反應 能力 降低 不能 安全駕駛 動力 交通 具 車道 左轉 駕駛 自用 客車 警方 處理 施以 酒精 測試 測定
Rule Instance Applications ¬把欲處理的起訴書中犯罪事實欄位的 資料，做與建立 rule instances同樣的處 理，得到一個詞的串列 X。 ¬Instance中第二行起的資料 Y， 與起訴書 所得到的資料 X， 其相似度計算方式：
Case Refinement Strategies ¬Merging similar cases ¬Removing irrelevant keywords
Merging Similar Cases Procedure Merge 2 Instances(X, Y) if ( (Size(Com(X, Y)) ≧ p *Size(X)) and (Size(Com(X, Y)) ≧ p*Size(Y)) ){ Remove X and Y from the instance database; Add Com(X, Y) into the instance database; } else if ( (Size(Com(X, Y)) < p *Size(X)) and (Size(Com(X, Y)) ≧ p *Size(Y)) ) Remove Y form the instance database; else if ( (Size(Com(X, Y)) ≧ p *Size(X)) and (Size(Com(X, Y)) < p *Size(Y)) ) Remove X form the instance database;
Creating Prototypical Rules ¬m: index of keywords ¬n(i): number of case instances of Ci ¬k(m, i): number of occurrences of mth keyword in cases of Ci ¬AOF(m, i)=k(m, i)/n(i) ¬Remove all keywords not satisfying ¬Recovering some rules…
Removing Similar Keywords ¬m: index of keywords ¬n(i): number of case instances of Ci ¬k(m, i): number of occurrences of mth keyword in cases of Ci ¬AOF(m, i)=k(m, i)/n(i) ¬Remove gth keyword if – AOF(g, i) t – The gth keyword appears in case instances of Cj, j i
Weighted k Nearest Neighbors ¬Use Wk. NN for classification ¬Principles – 在相似度分數大於門檻值 (0. 3)的 instances 中，選取最多 instances投票的案由或法條 – 若有兩個以上的案由或法條得票數相同， 選取總分最高者
Performance Evaluation ¬Standard precision and recall ¬F measure with b = 1 ( ) ¬The selection of b ¬全部案由或法條的正確率之計算 – AP、 AR、 AF、 WP、 WR、 WF ¬Correct rate and rejection rate
Experimental Design Factors Keywords Machine +Merge Human -Merge One. Rule Many. Rules E 12 E 11 Cases E 10 E 2 +Segment Human +Merge -Merge p=0. 7 to 0. 2 step – 0. 1 E 4, E 5, E 6, E 7, E 8, E 9 Figure 3. Structure of our experiments E 1 E 3
Experimental Results EXPID C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 C 10 C 11 C 12 C 13 E 1 -P 100 94 67 98 81 100 99 100 98 88 76 E 2 -P 100 97 90 100 99 25 100 98 50 100 83 52 E 1 -R 94 93 98 91 97 83 47 85 96 78 100 91 88 E 2 -R 83 77 84 48 59 96 53 90 86 100 87 68 E 1 -F 99 99 95 71 98 81 82 97 98 95 98 89 78 E 2 -F 96 92 89 82 87 29 85 98 95 56 100 84 55
Experimental Results (2) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (3) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (4) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (5) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (6) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (7) EXPID SIZE AP AR AF WP WR WF CR RR E 1 24 92 88 89 94 93 93 98 4 E 2 12 84 79 78 88 76 79 86 10 E 3 428 84 79 79 87 87 86 92 3 E 4 (0. 7) 282 86 80 81 90 88 88 94 5 E 5 (0. 6) 214 84 80 81 89 88 88 95 6 E 6 (0. 5) 133 83 74 76 88 83 84 96 14 E 7 (0. 4) 91 84 63 68 86 77 78 95 21 E 8 (0. 3) 47 73 53 56 80 56 60 92 44 E 9 (0. 2) 18 59 45 43 73 42 42 79 56 E 10 428 75 68 67 80 80 76 88 1 E 11 337 63 66 62 75 79 74 86 1 E 12 12 62 63 56 76 61 58 64 5
Experimental Results (8)
Experimental Results (9)
Experimental Results (10)
Some On-Line Resources ¬行政院法務部 http: //www. moj. gov. tw/ ¬立法院 http: //www. ly. gov. tw/ ¬司法院 http: //wjirs. judicial. gov. tw/jirs/ ¬法源 http: //www. lawbank. com. tw/ ¬植根 http: //rootlaw. lifelaw. com. tw/ ¬ http: //www. ordos. nm. cn/haoxia/navigation/zhengfa. htm
References In the following references, I use AI for Artificial Intelligence, ICAIL for International Conference on Artificial Intelligence and Law, and DEXA for International Workshop on Database and Expert Systems Applications. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. V. Aleven, Teaching Case-based Argumentation Through a Model and Examples, Ph. D. Dissertation, University of Pittsburgh, Ohio, USA, 1997. K. Al-Kofahi, A. Tyrrell, A. Vachher, P. Jackson, A machine learning approach to prior case retrieval, Proc. of the 8 th ICAIL, 88– 93, 2001. T. J. M. Bench-Capon, P. R. S. Visser, Open texture and ontologies in legal information systems, Proc. of the 8 th DEXA, 192– 197, 1997. K. Branting, J. Lester, C. Callaway. Automating judicial document drafting: A discourse-based approach. AI & Law, 6(2 -4), 111– 149, 1998. M. P. Ebenhoch, Legal knowledge representation using the resource description framework (RDF), Proc. of the 12 th DEXA, 369– 373, 2001. C. -L. Liu and C. -T. Chang. Some case-refinement strategies for case-based criminal summary judgments, Proc. of the 14 th Int’l Symposium on Methodologies for Intelligent Systems, to appear, October 2003. C. -L. Liu, C. -T. Chang, J. -H. Ho, Classification and clustering for case-based criminal summary judgments, Proc. of the 9 th ICAIL, 252– 261, 2003. M. -F. Moens, C. Uyttendaele, and J. Dumortier, Abstracting of legal cases: The SALOMON experience, Proc. of the 6 th ICAIL, 114– 122, 1997. M. -F Moens, Innovative techniques for legal text retrieval, AI and Law, 9(1), 29– 57, 2001. U. J. Schild, Intelligent computer systems for criminal sentencing, Proc. of the 5 th ICAIL, 229– 238, 1995. U. J. Schild, Criminal sentencing and intelligent decision support, AI and Law, 6(2 -4), 151– 202, 1998. A. Stranieri, J. Yearwood, and J. Zeleznikow, Tools for world wide web based legal decision support systems, Proc. of the 8 th ICAIL, 206– 214, 2001. P. Thompson, Automatic categorization of case law, Proc. of the 8 th ICAIL, 77– 77, 2001. B. Verheij, Automated argument assistance for lawyers, Proc. of the 7 th ICAIL, 43– 52, 1999.
Скачать презентацию 資訊檢索研討 會 法學資訊服務 政治大學資訊科學系 劉昭麟 18 September 2003
a3fcbdb5af0fc83360157db1af233759.ppt