垃圾郵件知多少 Maksim H Tien Product Mgr of

垃圾郵件知多少? Maksim H. Tien 　　 Product Mgr. of Ringline Corp. 1

關於垃圾郵件什麼是SPAM? Spam 是指在網路上一種不斷複製相同訊息(資料)的溢位攻擊，意圖強迫接收者接受而無法接收到其他的訊息。大部分的Spam 來自於商業廣告，其中一部分會是曖昧性質的產品、快速致富管道、或者準合法(交友、股票、…)的服務。Spam 對發送者而言成本極其微小，大部分的成本會轉嫁到接收者或者網路服務提供者身上。 -- J. D. Falk -E-mail, Netnews, Instant Messaging, … 未經同意的訊息硬塞給大部分沒有興趣的接收者，通常訊息量都很大什麼是e-mail spam? 無意義的 e-mail 未經同意的巨量郵件(UBE, Unsolicited Bulk E-mail) 未經同意的商業郵件(UCE, Unsolicited Commercial E-mail)

垃圾郵件的演進 Jan. 2001, 8% of all e-mail traffic in the US is spam [Brightmail Inc. ] Jan. 2003, 42% [Brightmail Inc. ] nearly doubling in the past six months By the end of 2003, more than 50% [Brightmail Inc. ] By the end of 2007, more than 85% [Brightmail Inc. ]

垃圾郵件的演進 (cont. )

Spam造成的成本一般企業 > 美金一百億的有形無形損失 - 2003 [Ferris Research] 約14, 000個員的公司，每年需付出US$245, 000 的成本 [IDC] 使用者 5 spam/day, 30 seconds each -> 15 hours/year [Ferris Research] 喪失生產力 ISPs 的負擔 (郵件)伺服器及傳輸設備系統資源的損耗網路頻寬的浪費使用者的抱怨

Spam氾濫的原因寄送大量垃圾郵件的成本低廉郵箱名單取得容易 • Web, mailing list, … 垃圾郵件發送器免費郵件帳號取得容易 SMTP郵件轉送機制過於簡陋無法確認寄件者的身分 • 偽造IP/使用者郵件帳號開放架構的郵件轉送機制

7 不安全的郵件傳輸 Internet 撰寫郵件偷看郵件竄改郵件內容郵件竊取

8 大量發信程式

9 傳統文字型垃圾信

10 圖檔垃圾信 ( Image Spam )

11 圖檔垃圾信 2

12 圖檔垃圾信 3

13 PDF 型垃圾郵件

14 ZIP 壓縮附檔夾帶後門程式垃圾信

15 網路詐騙夾帶後門的惡意信件

16 Spammer 的進化 One to many - 利用一般發信軟體 - 購買搜集好的名單 • Many to many - Zombies-networks - Virus、Phishing、Spyware

17 偽造寄件者、主旨

18 退信攻擊鎖定攻擊目標為 jack@a. com ; 將郵件寄到已知的 b. com ; 但zyx 38 jh 不存在將郵件寄到已知的 c. gov ; 但zyx 38 jh 不存在 MAIL FROM jack@a. com RCPT TO zyx 38 jh@b. com “Zombies” 受感染及被控制的僵屍電腦 MAIL FROM jack@a. com RCPT TO zyx 38 jh@c. gov Internet Invalid Recipient 550 User Unknown A lot of bounces jack@a. com

19 垃圾郵件問題多　NCC 擬在管理條例草案加入業者刑責 2006/08/22 18: 17 記者陳曉藍／台北報導垃圾郵件充斥信箱刪也刪不完，是網路使用者最困擾的問題之一， NCC（國家通訊傳播委員會）表示，將檢視 94年立院一讀通過的「濫發商業電子郵件管理條例草案」，推動增加濫發垃圾郵件業者的刑責，同時 NCC也將增設濫發商業電子郵件處理（管理）科。 NCC副主委劉宗德表示， 94年 3月 4日一讀通過的「濫發商業電子郵件管理條例草案」，目前還在科資委員會待審議中，以目前條文內容來看，僅僅是要求業者自律、公協會參與，以及民事求償機制，但是一般民眾認為，這種私人對私人求償，或是團體訴訟的約束力太低。劉宗德說，NCC預計檢視一讀草案條例內容，加入適當罰則，例如是否行政檢查、找到濫發垃圾郵件來源，是否要撤照或停照，如果危害公共利益與安全，甚至是否應處以罰鍰，甚至負擔刑責。另外，網路本來就由 NCC管轄，法律事務處之下將設置濫發商業電子郵件處理（或管理；名稱未定）科，使用者部分由營運管理處管理，而業者部分就由濫發商業電子郵件處理（管理）科負責。 <結論 > 立法緩不濟急 !

20 網路釣魚 ~ Phishing 根據反網路釣魚作小組（ APWG）定義，「 Phishing」（網路釣魚）是利用發送大量偽造電子郵件與網站作為誘餌，愚弄使用者洩漏如銀行帳戶密碼、信用卡號碼等個人機密資料。利用知名品牌所建立的信賴感，幾可亂真的偽造網站與郵件也讓此類詐騙行為成功機率達 5%。你被「釣」了嗎？這可不是網路最新流行用語，「網路釣魚術」（ Phising， Fishing一字衍生而成）是一種可能危及個人及企業利益的資安危機。根據研究機構調查，近年於網路中出沒的間諜軟體與誘騙行為正急劇上升，光是 2003年，美國已有 200萬成年人跌入網路陷阱，銀行與消費者的直接損失高達 24億美元。今年 6月初，刑事局偵九隊也正式破獲國內首起利用網路釣魚手法，竊取網友銀行戶頭金錢的犯罪事件。你現在還傻傻相信每一封電子郵件、每一個網站連結嗎？網路版的「姜太公釣魚」正在熱烈上演，小心被騙！ <結論 > 運用此手法的比例會逐漸升高 !

21 郵件攻擊日異增多 2004年 12月 7日消息稱，網路安全公司周一表示，今年以來捕釣式郵件攻擊發生的頻率增加了近 10倍。其年度報告中指出，公司於 2004年全年截獲的捕釣攻擊郵件總量高達 2000萬，從一月份的 33. 705萬封增加到十一月的 450萬封。而更令人關注的是 6月到 7月的增幅最為明顯，從 26. 4254萬增至 250萬。而2003年 9月份只截獲了 279封捕釣攻擊郵件。　該公司首席技術官 Mark Sunner表示，“無論從數量還是頻率來看，郵件攻擊事件在急劇擴張。而今年之所以更為猖獗的主要原因是捕釣式郵件的出現，在不到 12個月的時間裏，它已經威脅到了所有的個人計算機及組織機構網路。 ” 發動攻擊的捕釣者所使用的技術越來越精湛，最近發現甚至不需要用戶點擊某些鏈結就可以自動獲得銀行賬號等敏感資訊。公司受到惡意攻擊的頻率也大為增加，比如針對一些賭博公司的拒絕式服務攻擊等。 <結論 > 攻擊手法日異精湛 , MIS如臨大敵 !

22 台灣地區07~08年度統計數字成長與比較 2007年度垃圾郵件數量已占整體 E-mail流量之 79% 平均每天垃圾郵件數量 (封 )成長了 128% 平均每天垃圾郵件大小 (Size)成長了 185% 夾帶圖檔之垃圾郵件 (Image Spam)成長了 350% 2007年度 Image Spam已占整體 Spam數量之 38% 2007年 7月爆發全新 PDF型垃圾郵件 2007年 8月爆發全新 ZIP型垃圾郵件 2007年 9月爆發全新 MP 3型垃圾郵件 2008年 2月爆發對岸網軍偽冒某政府單位發公告事件 2008年 3月爆發全新退信攻擊事件

23 真正需要的正常郵件 < 10%

阻擋垃圾郵件的對策 Maksim H. Tien Product Mgr. of Ringline Corp.

25 郵件的真實面貌 Return-Path: <ing 23122028@yahoo. com. tw> X-Original-To: maksim_tien@ringline. com. tw Delivered-To: maksim_tien@ringline. com. tw Received: from mailgw. ringline. com. tw (mailgw. ringline. com. tw [172. 16. 0. 51]) by mail. ringline. com. tw (Postfix) with ESMTP id BB 2 B 5 B 7 D 33 for <maksim_tien@ringline. com. tw>; Mon, 5 May 2008 14: 37: 35 +0800 (CST) Received: from web 73906. mail. tp 2. yahoo. com [(203. 188. 201. 166)] by mailgw. ringline. com. tw (Cellopoint Secure Mail Gateway v 3. 7. 1 Build 0815) with ESMTP id 489572861; Mon, 05 May 2008 14: 36: 40 +0800 Received: (qmail 37993 invoked by uid 60001); 5 May 2008 06: 39 -0000 Domain. Key-Signature: a=rsa-sha 1; q=dns; c=nofws; s=s 1024; d=yahoo. com. tw; h=X-YMail. OSG: Received: Date: From: Subject: To: MIME-Version: Content-Type: Content-Transfer-Encoding: Message-ID; b=Yp 5 Em. YJf. Kkn 5 Vycd. LZ 0/rf. Q 3 z 5 dy 1 Ni 5 S 7 PAd. FXLUAf. P 2 j. Z 97 Dz 63 q. I 3 Gt. Cj. W 72 PNOk. Oqa/DGA 3 g 4 f 6 xm. Map 4 f. Hlqi. Ps. Gku 8 e+6 MZl. Qu. Bz. MFg. Yioscm. EWAG/4 Ki. FRj 0 xohzk. J 1 Ai. G 1 u. Vg. WFc. OJVl. F 7 Indar. AS 0 g. NIEi. ACxo. FIJ 4=; X-YMail-OSG: L 8 h. I. 9 s. VM 1 nz. Tdl 4 v. Rs 7 h. Kaq. Tvzya 06 a 8 f_0 gi. FZOUGk 1 hfoz. Aem 1 Sb. AK 3 z. En. Ed. TKb. VLg. YBH 0 Pc. Lr. Iut 57 Jydv. Sfr. A 9 l. NA LXYv. Ed. I 4 dqd. Nqf 0 S 4 Fa 5 p. WNQHf. Vj 33 hf. LHrj 8 Yg-Received: from [220. 128. 137. 112] by web 73906. mail. tp 2. yahoo. com via HTTP; Mon, 05 May 2008 14: 36: 39 CST Date: Mon, 5 May 2008 14: 36: 39 +0800 (CST) From: 映象攝影器材 <ing 23122028@yahoo. com. tw> Subject: Fwd: 已匯款通知 To: maksim_tien@ringline. com. tw MIME-Version: 1. 0 Content-Type: multipart/mixed; boundary="0 -1480465516 -1209969399=: 37737" Content-Transfer-Encoding: 8 bit Message-ID: <696418. 37737. qm@web 73906. mail. tp 2. yahoo. com> Status:

正規的防堵垃圾郵件解決方案控制性的解決方案防制垃圾郵件法案限制郵件的發送操作性的解決方案郵件過濾郵資一次性郵件位址

控制性解決方防治垃圾郵件的法律 http: //www. spamlaws. com/ US CAN-SPAM Act (S. 877) enacted on Jan. 1, 2004 濫發電子郵件管理條例草案 – 台灣NCC, 2006 限制郵件的發送需依靠技術資訊耗時且耗財的進程造成極大的不便利性

操作性解決方案過濾器: 用來分辨正常或是垃圾信件探查式過濾分類式過濾: 機器自動學習徵收郵資: 增加電子郵件寄送的成本郵件位址隱藏: 郵件編碼 (text to image, Java script, …) 一次性郵件位址: 將每次郵件傳送的sender (from, return path, …)以規則化或亂數表示強化 SMTP 協定或其機制 Email 傳遞路徑確認機制 (Received) 具認證機制的SMTP (Domain-Key, DS, …)

郵件過濾技術 – 探查式過濾黑/白/灰名單黑名單: 表列會散發垃圾信的IP位址 • RBLs (Real-time Blackhole Lists), 開放郵件轉送, 開放代理, … 白名單: 可信任的郵件發送者列表 • Challenge-response mechanism 灰名單: 對於未知的送信者採暫時的緩寄政策衍生問題容易產生錯誤 • 偽冒 IP address/sender e-mail address 各名單必須經常更新 • 垃圾郵件發送者常更改IP及郵件位址

郵件過濾技術 – 探查式過濾 (cont. ) 機械式/智能式雜湊法關鍵字比對 (MS Outlook) 在該郵件的主旨或內容中尋找類似的訊息或字詞衍生問題現有的規則很難去規則化及更新 • Spam is always changing 中文(double byte)菜單表示法的攻擊 Make thousands of dollars working at home !!! Earn lots of money in the comfort of your own house.

郵件過濾技術 – 分類式過濾機器自動學習機制字詞分類方法: TF-IDF, Naïve Bayes, N-gram, SVM (Support Vector Machine), … 以演算法分辨 spam vs. good 依垃圾郵件型態的改變自動調整衍生問題需要極多的可供學習的資料 • 垃圾信的變化太快 • 資料不正確容易產生學習錯誤垃圾郵件發送者也在學習 • 圖像式、同意字、破音字、故意拼錯、 … “One man’s spam is another man’s ham” 個人化的問題

自動學習機制如何獲得供機器學習的資料? Honeypot (account) Feedback Loop (human) 學習資料中的雜訊 EX: 丘處機(周伯通)版的九陰真經個人化問題使用者偏好的學習與否

徵收郵資郵資: 用來增加寄送垃圾信件的成本金錢: 付款方式核算: 所需要的時間調整測試: challenge-response (申請時…) 衍生問題在寄送途中可能需要複雜且頻繁的匯率交換網路傳輸費用應由誰支付?

34 郵件位址隱藏 Return-Path: <avan_chung@dlink. com. tw> X-Original-To: maksim_tien@ringline. com. tw Delivered-To: maksim_tien@ringline. com. tw Received: from mailgw. ringline. com. tw (mailgw. ringline. com. tw [172. 16. 0. 51]) by mail. ringline. com. tw (Postfix) …… X-Spam-Checker-Version: Spam. Assassin 3. 1. 8 (2007 -02 -13) on mailgw. ringline. com. tw X-Spam-Status: score=-0. 6 required=3. 0 X-Spam-Report: 0. 3 FROM_HAS_ULINE_NUMS From: contains an underline and numbers/letters 1. 3 FROM_LOCAL_HEX From: localpart has long hexadecimal sequence -0. 0 SPF_HELO_PASS SPF: HELO matches SPF record 0. 0 UNPARSEABLE_RELAY Informational: message has unparseable relay lines -2. 6 BAYES_00 BODY: Bayesian spam probability is 0 to 1% [score: 0. 0000] 0. 2 MIME_BASE 64_BLANKS RAW: Extra blank lines in base 64 encoding 0. 2 MIME_BASE 64_NO_NAME RAW: base 64 attachment does not have a file name …… From: D-Link 鍾仁文Avan Chung <D-Link_0 x. LIC 1 E 9 A 4 AFA 4 E 5 z. Avan_Chung@dlink. com. tw> …… Sender: Avan_Chung@dlink. com. tw 衍生問題: 建置成本較高使用者回覆郵件的麻煩

強化 SMTP 轉送機制 Email 傳遞路徑確認機制以傳送路徑回推來驗證是否為真實寄件者衍生問題: 會產生更大的流量，造成網路負擔具認證機制的 SMTP 可信任的規範 • SMTP authentication (RFC 2554), SMTP over SSL/TLS (RFC 3207), digital signatures (PGP, …) 衍生問題: 郵件主機與所有client都需具備該機制且能配合

其他的操作方式信譽評等機制以真實度為基礎 (演算法) 將 email sending/receiving 統計排序衍生問題大量寄送需求者會擁有較差評等 (mailing lists, newsletters, …)

其他的操作方式 (cont. ) 蜂蜜罐 (Honey-pot) 設計一些不會使用的帳號來釣取垃圾信 • EX: admin@, service@, … 無任何認證或檢測機制 • 任何郵件皆可接收衍生問題: Spammer學聰明了，不會用字典式來發送垃圾信復仇攻擊 (IBM) Filters that fight back http: //www. paulgraham. com/ffb. html 衍生問題: 很多來源端都是無辜者(肉雞)

38 傳統 Anti-spam 技術

39 ICC / ICA 技術

40 全新的圖檔垃圾信( Image Spam )為例

41 可查看Header 第四代 ICA 技術能有效攔截第三代貝氏演算法攔截不到

42 ICA_000 x 為Image Spam, 所攔截到的比例愈來愈高

43 每小時自動更新ICA_rule 為最新特徵資料庫

44 標準郵件的 7 A 防護 Internet 標準的郵件的 7 A防護： Valid Mail Phishing Virus Spyware Valid Mail Spam Relay Mail Do. S Hacking • • 防垃圾郵件 (Anti-Spam) 防病毒郵件 (Anti-Virus) 防間諜程式 (Anti-Spyware) 防釣魚郵件 (Anti-Phishing) 防中繼轉信 (Anti-Relay) 防 Do. S攻擊 (Anti-Do. S) 防駭客入侵 (Anti-Hacking)

45 技術性Cocktail (Multi-Tier) Anti-Spam

Cocktail (Multi-Tier) Anti-Spam Sample Hi! My name is Mary and I've just turned 18. I can finally fullfill my burning desires and show you my HOT naked body!! I also have many friends who are just as eager as me to fullfill your fantasies. . . You can now see me and my friends doing wild sexual acts completely FREE OF CHHARGE. You can also get FREE ACCESS to thousands of PORN sites. Click HERE Now! for your free access!! 1 2 3 4 5 6 7 DNS Lookup DNS Reverse Lookup RBL (Realtime Blackhole Lists) Sender/ Recipient Verification Black / White List SPF (Sender Policy Framework) Mail-bombing Prevention 8 9 Spoofed Sender Black / White Lists Email Harvesting Prevention Keyword scanning Subject Analysis Intelligent Content Filter 10 11 12 13 14 Porn Image Detection* (* is 06 Q 3 ready) 15 OCR (Optical Character Recognition)* 16 17 18 19 20 21 22 23 Bayesian Algorithm Spam Smart-signature Database Lexical Text Classification Statistical Text Analysis Heuristic Analysis Spam. Assassin Text Manipulation Detection URL Classification

47 Q&A