AIL Framework

असंरचित जानकारी के संग्रह, क्रॉलिंग, प्रसंस्करण और विश्लेषण के लिए ओपन-सोर्स फ्रेमवर्क।

AIL framework एक ओपन-सोर्स प्लेटफॉर्म है जो क्लियर वेब, Tor, I2P, चैट, फ़ाइलों और बाहरी फीड्स से असंरचित डेटा को इकट्ठा करने, क्रॉल करने, प्रसंस्करण और विश्लेषण करने के लिए है।

मूल रूप से CIRCL में विकसित, AIL विश्लेषकों को निष्कर्षण, टैगिंग, डिटेक्शन, सहसंबंध और जाँच कार्यप्रवाहों के माध्यम से कच्ची, अव्यवस्थित सामग्री को संरचित खुफिया जानकारी में बदलने में मदद करता है।

AIL क्या है? https://ail-project.org

AIL (Analysis of Information Leaks) असंरचित जानकारी के संग्रह, क्रॉलिंग, प्रसंस्करण और विश्लेषण के लिए एक ओपन-सोर्स फ्रेमवर्क है। यह विश्लेषकों को विभिन्न स्रोतों से प्रासंगिक जानकारी निकालने, पहचानने, सहसंबंधित करने और साझा करने में मदद करके खतरा खुफिया, लीक विश्लेषण और जाँच कार्यप्रवाहों का समर्थन करता है।

AIL में शामिल हैं:

• असंरचित जानकारी के प्रसंस्करण और विश्लेषण के लिए एक विस्तार योग्य Python-आधारित फ्रेमवर्क,
• सतत और प्रमाणीकृत संग्रह के लिए एक क्रॉलर प्रबंधक,
• संचार प्लेटफार्मों और बाहरी स्ट्रीम के लिए फीडर,
• कीवर्ड, regex और YARA पर आधारित एक डिटेक्शन और रेट्रो-हंट इंजन,
• निकाले गए डेटा में पिवोट करने के लिए खोज, सहसंबंध और जाँच क्षमताएँ,
• और MISP जैसे प्लेटफार्मों के लिए निर्यात/एकीकरण सुविधाएँ।

AIL खुफिया जीवनचक्र

AIL एक व्यावहारिक खुफिया कार्यप्रवाह का अनुसरण करता है:

1. संग्रह चैट, वेबसाइटों, छिपी सेवाओं, फ़ाइलों और फीड्स से निरंतर अंतर्ग्रहण।
2. प्रसंस्करण निष्कर्षण, डिकोडिंग, OCR, QR/बारकोड पार्सिंग, संवर्धन और टैगिंग।
3. डिटेक्शन शब्दों, सेटों, regex, टाइपो-स्क्वाटिंग और YARA नियमों के साथ रीयल-टाइम ट्रैकिंग।
4. विश्लेषण खोज, पिवोटिंग, सहसंबंध ग्राफ और जाँच।
5. प्रसार मिस्प खुफिया-साझाकरण प्लेटफार्मों पर निष्कर्षों और वस्तुओं का निर्यात।

AIL v6.7 में नया क्या है?

AIL अब v6.7 पर है और हाल के रिलीज़ ने खोज, छवि विश्लेषण, क्रॉलिंग और दस्तावेज़-प्रसंस्करण क्षमताओं का महत्वपूर्ण विस्तार किया है।

हाइलाइट्स में शामिल हैं:

• एकीकृत खोज इंटरफ़ेस सर्वोत्तम-मिलान और सबसे-हालिया क्रम के साथ
• दिनांक सीमा फ़िल्टरिंग और बेहतर उन्नत खोज कार्यप्रवाह
• छवि और स्क्रीनशॉट विवरण तेज दृश्य विश्लेषण और खोजयोग्यता के लिए
• विस्तारित OCR और QR निष्कर्षण, जिसमें अधिक कठिन छवि मामलों के लिए समर्थन शामिल है
• पूर्ण PDF प्रसंस्करण पाइपलाइन, जिसमें मेटाडेटा निष्कर्षण और अनुवाद समर्थन शामिल है
• क्लियर वेब और Tor संग्रह के अतिरिक्त I2P क्रॉलिंग समर्थन
• बुनियादी ढाँचा विश्लेषण और डी-अनामीकरण कार्यप्रवाहों के लिए निष्क्रिय SSH सहसंबंध
• Discord, Telegram और Matrix जैसे प्लेटफार्मों के लिए बेहतर चैट अन्वेषण

विशेषताएँ

संग्रह

• असंरचित जानकारी की धाराओं को संभालने के लिए मॉड्यूलर आर्किटेक्चर
• एकाधिक फीडर और आयातक समर्थन
• Discord, Telegram और अन्य प्रदाताओं जैसे स्रोतों के लिए फीडर
• क्लियर वेब, डार्कनेट, Tor छिपी सेवाओं (.onion), और I2P के लिए क्रॉलिंग समर्थन
• ब्राउज़र सत्र, कुकीज़ और स्थानीय भंडारण पुन: उपयोग के साथ प्रमाणीकृत क्रॉलिंग
• समय के साथ वेबसाइटों और छिपी सेवाओं की निरंतर या ऑन-डिमांड निगरानी
• UI सबमिशन/आयात क्षमताएँ

प्रसंस्करण और संवर्धन

• असंरचित जानकारी (चैट, क्रॉल की गई सामग्री) का पूर्ण-पाठ अनुक्रमण
• URLs, होस्टनाम, ईमेल पते और क्रेडेंशियल का निष्कर्षण
• फ़ोन नंबर, API कुंजियाँ, IBAN, प्रमाणपत्र और निजी कुंजियों का पता लगाना
• Bitcoin पते, निजी कुंजियों और संबंधित क्रिप्टोकरेंसी आर्टिफैक्ट्स का पता लगाना
• एन्कोडेड सामग्री (Base64, hex) से फ़ाइल निष्कर्षण और डिकोडिंग
• स्क्रीनशॉट और छवियों के लिए OCR प्रसंस्करण
• एम्बेडेड सामग्री के पुन: प्रसंस्करण के साथ QR कोड और बारकोड निष्कर्षण
• छवियों, स्क्रीनशॉट और डोमेन के लिए AI-सहायता प्राप्त विवरण
• PDF मेटाडेटा निष्कर्षण, अंतर्ग्रहण और अनुवाद
• MISP Galaxy और MISP Taxonomies का उपयोग कर टैगिंग प्रणाली

डिटेक्शन और ट्रैकिंग

ट्रैकर उपयोगकर्ता-परिभाषित नियम या पैटर्न हैं जो स्वचालित रूप से AIL द्वारा एकत्रित प्रासंगिक जानकारी का पता लगाते हैं, टैग करते हैं और विश्लेषकों को सूचित करते हैं।

समर्थित ट्रैकर प्रकार:

• शब्द ट्रैकिंग
• शब्द-सेट ट्रैकिंग
• regex ट्रैकिंग
• YARA नियम
• टाइपो-स्क्वाटिंग डिटेक्शन

डिटेक्शन क्षमताओं में शामिल हैं:

• रीयल-टाइम टैगिंग और वर्गीकरण
• वस्तु घटना ट्रैकिंग
• वेबहुक या ईमेल सूचना कार्यप्रवाह
• अंतर्निहित YARA संपादक

AIL रेट्रो हंट्स का भी समर्थन करता है, जो विश्लेषकों को पहले से छूटी गई सामग्री को उजागर करने के लिए नवनिर्मित YARA नियमों को ऐतिहासिक डेटा के विरुद्ध चलाने में सक्षम बनाता है।

खोज, सहसंबंध और जाँच

• एकीकृत खोज इंटरफ़ेस हाल के समय और प्रासंगिकता क्रम के साथ
• दिनांक सीमा और चयनित डेटा प्रकारों के लिए विशेष उन्नत खोज द्वारा खोज
• चैट, क्रॉल किए गए डोमेन, शीर्षक, फ़ाइल नाम और AI-निर्मित विवरणों में खोज
• सहसंबंध इंजन और संबंधों के लिए ग्राफ़ विज़ुअलाइज़ेशन:
  • डिकोड की गई फ़ाइलें और हैश
  • PGP मेटाडेटा
  • डोमेन, शीर्षक, dom-hash, favicons, कुकी-नाम
  • यूज़रनेम और उपयोगकर्ता-खाते
  • CVEs
  • SSH कुंजियाँ
  • क्रिप्टोकरेंसी
  • PDF मेटाडेटा
  • ...
• विश्लेषक निष्कर्षों को समूहित करने, समृद्ध करने और अनुसरण करने के लिए जाँच कार्यप्रवाह

निर्यात और एकीकरण

• MISP पर सतर्कता और साझाकरण
• AIL वस्तुओं और जाँचों का MISP प्रारूपों में निर्यात
• चयनित डिटेक्शन और टैग पर स्वचालित निर्यात
• सहयोगी खुफिया और घटना-प्रतिक्रिया वर्कफ़्लो का समर्थन करने वाले एकीकरण

AIL क्यों?

AIL उन विश्लेषकों के लिए बनाया गया है जिन्हें अव्यवस्थित, वास्तविक-विश्व डेटा के साथ काम करने की आवश्यकता है:

• मुक्त पाठ,
• स्क्रीनशॉट,
• PDF और फ़ाइलें,
• चैट संदेश,
• एन्कोडेड पेलोड,
• वेब, Tor और I2P स्रोतों से एकत्रित सामग्री।