microsoft/msticpyमाइक्रोसॉफ्ट खतरा खुफिया सुरक्षा उपकरण
# MSTIC Jupyter और Python सुरक्षा उपकरण  [](https://dev.azure.com/mstic-detections/mstic-jupyter/_build/latest?definitionId=14&branchName=main) [](https://pepy.tech/project/msticpy) Microsoft Threat Intelligence Python सुरक्षा उपकरण. **msticpy** Jupyter Notebooks में InfoSec जांच और शिकार के लिए एक लाइब्रेरी है। इसमें निम्नलिखित कार्यक्षमताएँ शामिल हैं: - लॉग डेटा को कई स्रोतों से क्वेरी करना - डेटा को थ्रेट इंटेलिजेंस, जियोलोकेशन और Azure संसाधन डेटा से समृद्ध करना - लॉग से गतिविधि संकेतक (IoA) निकालना और एन्कोडेड डेटा को अनपैक करना - परिष्कृत विश्लेषण करना जैसे विषम सत्र पहचान और समय श्रृंखला अपघटन - इंटरैक्टिव टाइमलाइन, प्रोसेस ट्री और बहु-आयामी Morph चार्ट का उपयोग करके डेटा विज़ुअलाइज़ करना इसमें कुछ समय बचाने वाले नोटबुक टूल भी शामिल हैं जैसे क्वेरी समय सीमा निर्धारित करने, सूचियों से आइटम चुनने और प्रदर्शित करने, और नोटबुक वातावरण को कॉन्फ़िगर करने के लिए विजेट। <img src="https://assets.kitploit.com/production/public/readmes/4869/97c3e7b33ee7d0b34e5cb314f29bc107b50e55772d00da4422ad32e48b1d0b91.png" alt="Timeline" title="Msticpy Timeline Control" height="300" /> **msticpy** पैकेज शुरू में [Microsoft Sentinel](https://www.microsoft.com/en-us/security/business/siem-and-xdr/microsoft-sentinel/) के लिए [Jupyter Notebooks](https://jupyter-notebook-beginner-guide.readthedocs.io/en/latest/) लेखन का समर्थन करने के लिए विकसित किया गया था। जबकि Azure Sentinel अभी भी हमारे काम का एक बड़ा फोकस है, हम लॉग डेटा को अन्य स्रोतों (वर्तमान में Splunk, Microsoft Defender for Endpoint और Microsoft Graph समर्थित हैं, लेकिन हम अन्य SIEM प्लेटफॉर्म से डेटा के समर्थन पर सक्रिय रूप से काम कर रहे हैं) से खींचने के लिए डेटा क्वेरी/अधिग्रहण घटकों का विस्तार कर रहे हैं। अधिकांश घटकों का उपयोग किसी भी स्रोत के डेटा के साथ भी किया जा सकता है। Pandas DataFrame का उपयोग लगभग सभी घटकों के सर्वव्यापी इनपुट और आउटपुट प्रारूप के रूप में किया जाता है। स्थानीय CSV फ़ाइलों और pickled DataFrames से डेटा को आसानी से संसाधित करने के लिए एक डेटा प्रदाता भी है। पैकेज सुरक्षा अन्वेषकों और शिकारियों की तीन केंद्रीय आवश्यकताओं को संबोधित करता है: - डेटा अधिग्रहण और संवर्धन - डेटा विश्लेषण - डेटा विज़ुअलाइज़ेशन हम प्रतिक्रिया, बग रिपोर्ट, नई सुविधाओं के सुझाव और योगदान का स्वागत करते हैं। ## Installing मुख्य इंस्टॉल के लिए: `pip install msticpy` या नवीनतम डेव बिल्ड के लिए `pip install git+https://github.com/microsoft/msticpy` ## Upgrading msticpy को नवीनतम सार्वजनिक गैर-बीटा रिलीज़ में अपग्रेड करने के लिए, चलाएँ: `pip install --upgrade msticpy` ध्यान दें कि अपने msticpyconfig.yaml को कॉपी करके अपनी डिस्क पर लेकिन अपने msticpy फ़ोल्डर के बाहर स्टोर करना, और इसे एक एनवायरनमेंट वेरिएबल में संदर्भित करना अच्छा अभ्यास है। यह आपको हर बार अपने msticpy इंस्टॉलेशन को अपडेट करने पर अपने कॉन्फ़िगरेशन को खोने से बचाता है। ## Documentation पूर्ण दस्तावेज़ीकरण [ReadTheDocs](https://msticpy.readthedocs.io/en/latest/) पर है कई मॉड्यूल के नमूना नोटबुक [docs/notebooks](https://github.com/microsoft/msticpy/blob/master/docs/notebooks) फ़ोल्डर और संलग्न नोटबुक में हैं। आप संदर्भ में उपयोग की गई कुछ कार्यक्षमता देखने के लिए इस दस्तावेज़ के अंत में संदर्भित नमूना नोटबुक ब्राउज़ भी कर सकते हैं। आप mybinder.org पर इस इंटरैक्टिव डेमो में पैकेज के कुछ फंक्शन के साथ खेल सकते हैं। [](https://mybinder.org/v2/gh/Azure/Azure-Sentinel-Notebooks/master?filepath=A%20Tour%20of%20Cybersec%20notebook%20features.ipynb) --- ## Log Data Acquisition QueryProvider एक एक्सटेंसिबल क्वेरी लाइब्रेरी है जो Microsoft Sentinel/Log Analytics, Microsoft XDR, Splunk, OData और अन्य लॉग डेटा स्रोतों को लक्षित करती है। इसका [Mordor](https://github.com/OTRF/mordor) डेटा सेट और स्थानीय डेटा का उपयोग करने के लिए विशेष समर्थन भी है। अंतर्निहित पैरामीटरयुक्त क्वेरी एकल फ़ंक्शन कॉल से जटिल क्वेरी चलाने की अनुमति देती हैं। एक सरल YAML स्कीमा का उपयोग करके अपनी स्वयं की क्वेरी जोड़ें। [Data Queries Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/Data_Queries.ipynb) ## Data Enrichment ### Threat Intelligence providers TILookup क्लास कई TI प्रदाताओं में IoCs देख सकता है। अंतर्निर्मित प्रदाताओं में AlienVault OTX, IBM XForce, VirusTotal और Azure Sentinel शामिल हैं। इनपुट एक एकल IoC ऑब्ज़र्वेबल या कई ऑब्ज़र्वेबल वाला pandas DataFrame हो सकता है। प्रदाता के आधार पर, आपको एक खाते और API कुंजी की आवश्यकता हो सकती है। कुछ प्रदाता थ्रॉटलिंग (विशेषकर मुफ्त स्तरों के लिए) भी लागू करते हैं, जो बल्क लुकअप करने को प्रभावित कर सकता है। [TIProviders](https://msticpy.readthedocs.io/en/latest/data_acquisition/TIProviders.html) और [TILookup Usage Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/TIProviders.ipynb) ### GeoLocation Data GeoIP लुकअप वर्ग आपको निम्नलिखित का उपयोग करके IP पतों के जियोलोकेशन मिलान करने की अनुमति देते हैं: - GeoLiteLookup - Maxmind Geolite (देखें <https://www.maxmind.com>) - IPStackLookup - IPStack (देखें <https://ipstack.com>) <img src="https://assets.kitploit.com/production/public/readmes/4869/cfda22181d7483aad3a5f9b26a66c0cdbac4b83d6d5b17ccc5ed230225785fe2.png" alt="Folium map" title="Plotting Geo IP Location" height="200" /> [GeoIP Lookup](https://msticpy.readthedocs.io/en/latest/data_acquisition/GeoIPLookups.html) और [GeoIP Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/GeoIPLookups.ipynb) ### Azure Resource Data, Storage and Azure Sentinel API AzureData मॉड्यूल में Azure API के माध्यम से उजागर अतिरिक्त होस्ट विवरण के साथ Azure होस्ट विवरणों से संबंधित डेटा को समृद्ध करने की कार्यक्षमता है। AzureSentinel मॉड्यूल आपको घटनाओं (incidents) को क्वेरी करने, डिटेक्टर और शिकार (hunting) क्वेरी प्राप्त करने की अनुमति देता है। AzureBlogStorage आपको ब्लब स्टोरेज से डेटा पढ़ने और लिखने देता है। [Azure Resource APIs](https://msticpy.readthedocs.io/en/latest/data_acquisition/AzureData.html), [Azure Sentinel APIs](https://msticpy.readthedocs.io/en/latest/data_acquisition/Sentinel.html), [Azure Storage](https://msticpy.readthedocs.io/en/latest/data_acquisition/AzureBlobStorage.html) ## Security Analysis इस उपपैकेज में सुरक्षा जांच और शिकार पर काम करने के लिए उपयोगी कई मॉड्यूल हैं: ### Anomalous Sequence Detection अपने Office, Active Directory या अन्य लॉग डेटा में घटनाओं के असामान्य अनुक्रम का पता लगाएं। आप सत्र (जैसे एक ही खाते द्वारा शुरू की गई गतिविधि) निकाल सकते हैं और गतिविधि के असामान्य अनुक्रम की पहचान और कल्पना कर सकते हैं। उदाहरण के लिए, किसी के मेलबॉक्स पर मेल अग्रेषण नियम सेट करने वाले हमलावर का पता लगाना। [Anomalous Sessions](https://msticpy.readthedocs.io/en/latest/data_analysis/AnomalousSequence.html) और [Anomalous Sequence Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/AnomalousSequence.ipynb) ### Time Series Analysis समय श्रृंखला विश्लेषण आपको सामान्य मौसमी विविधताओं (जैसे दिन के घंटों, सप्ताह के दिनों आदि पर घटनाओं का नियमित उतार-चढ़ाव) को ध्यान में रखते हुए अपने लॉग डेटा में असामान्य पैटर्न की पहचान करने की अनुमति देता है। विश्लेषण और विज़ुअलाइज़ेशन दोनों का उपयोग करके किसी भी डेटा सेट के लिए असामान्य ट्रैफ़िक प्रवाह या घटना गतिविधि को उजागर करता है। <img src="https://assets.kitploit.com/production/public/readmes/4869/4fd2983bca85a193be350f49bdaeb72fc1d926a40242c044bda8701f0759b886.png" alt="Time Series anomalies" title="Time Series anomalies" height="300" /> [Time Series](https://msticpy.readthedocs.io/en/latest/visualization/TimeSeriesAnomalies.html) ## Visualization ### Event Timelines किसी भी लॉग ईवेंट को इंटरैक्टिव टाइमलाइन पर प्रदर्शित करें। [Bokeh Visualization Library](https://bokeh.org/) का उपयोग करके टाइमलाइन नियंत्रण आपको एक या अधिक ईवेंट स्ट्रीम की कल्पना करने, विशिष्ट समय स्लॉट में इंटरैक्टिव रूप से ज़ूम करने और प्लॉट किए गए ईवेंट के लिए ईवेंट विवरण देखने में सक्षम बनाता है। <img src="https://assets.kitploit.com/production/public/readmes/4869/c045bd779bafa8ae992a1d2b3741f4a71c5adaf4466d37c870c51f1cb00ade10.png" alt="Timeline" title="Msticpy Timeline Control" height="300" /> [Timeline](https://msticpy.readthedocs.io/en/latest/visualization/EventTimeline.html) और [Timeline Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/EventTimeline.ipynb) ### Process Trees प्रोसेस ट्री कार्यक्षमता के दो मुख्य घटक हैं: - प्रोसेस ट्री निर्माण - एक होस्ट से प्रोसेस निर्माण लॉग लेकर और डेटा सेट में प्रक्रियाओं के बीच माता-पिता-बच्चे के संबंध बनाना। - प्रोसेस ट्री विज़ुअलाइज़ेशन - यह संसाधित आउटपुट लेता है और Bokeh प्लॉट का उपयोग करके एक इंटरैक्टिव प्रोसेस ट्री प्रदर्शित करता है। संसाधित डेटा सेट से व्यक्तिगत और आंशिक ट्री निकालने के लिए उपयोगिता फ़ंक्शन का एक सेट है। <img src="https://assets.kitploit.com/production/public/readmes/4869/30c4a7e6484a64a4f9434396b7b26a442e0ab697e26e2bd6d00f0abe754df60b.png" alt="Process Tree" title="Interactive Process Tree" height="400" /> [Process Tree](https://msticpy.readthedocs.io/en/latest/visualization/ProcessTree.html) और [Process Tree Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/ProcessTree.ipynb) ## Data Manipulation and Utility functions ### Pivot Functions आपको *MSTICPy* कार्यक्षमता का उपयोग "एंटिटी-सेंट्रिक" तरीके से करने देता है। एक विशेष एंटिटी प्रकार (जैसे Host, IpAddress, Url) से संबंधित सभी फ़ंक्शन, क्वेरी और लुकअप उस एंटिटी क्लास के तरीकों के रूप में एक साथ एकत्र किए जाते हैं। इसलिए, यदि आप IP पते के साथ कुछ करना चाहते हैं, तो बस IpAddress एंटिटी लोड करें और इसके तरीकों को ब्राउज़ करें। [Pivot Functions](https://msticpy.readthedocs.io/en/latest/data_analysis/PivotFunctions.html) और [Pivot Functions Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/PivotFunctions.ipynb) ### base64unpack Base64 और आर्काइव (gz, zip, tar) निकालने वाला। यह किसी भी base64 एन्कोडेड स्ट्रिंग की पहचान करने और उन्हें डीकोड करने का प्रयास करेगा। यदि परिणाम समर्थित आर्काइव प्रकारों में से एक जैसा दिखता है तो यह सामग्री को अनपैक करेगा। प्रत्येक डीकोड/अनपैक के परिणामों को आगे base64 सामग्री के लिए और एक निर्दिष्ट गहराई तक पुनः जांचा जाता है। [Base64 Decoding](https://msticpy.readthedocs.io/en/latest/data_analysis/Base64Unpack.html) और [Base64Unpack Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/Base64Unpack.ipynb) ### iocextract समझौता संकेतक (IoC) पैटर्न - IP पते, URLs, DNS डोमेन, हैश, फ़ाइल पथ खोजने के लिए रेगुलर एक्सप्रेशन का उपयोग करता है। इनपुट एक एकल स्ट्रिंग या pandas डेटाफ्रेम हो सकता है। [IoC Extraction](https://msticpy.readthedocs.io/en/latest/data_analysis/IoCExtract.html) और [IoCExtract Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/IoCExtract.ipynb) ### eventcluster (experimental) यह मॉड्यूल बड़ी संख्या में घटनाओं को विभिन्न पैटर्न के क्लस्टर में सारांशित करने के लिए उपयोग किया जाना है। उच्च मात्रा में दोहराई जाने वाली घटनाएं अक्सर अद्वितीय और रोचक वस्तुओं को देखना कठिन बना सकती हैं। <img src="https://assets.kitploit.com/production/public/readmes/4869/ce85802e87219053d8ac425fd3fb3d07ba8f638bcbd0078756a9f4f0bcbb1d06.png" alt="Clustering" title="Clustering based on command-line variability" height="400" /> यह SciKit Learn DBScan का उपयोग करके कार्यान्वित एक अप्रशिक्षित शिक्षण मॉड्यूल है। [Event Clustering](https://msticpy.readthedocs.io/en/latest/data_analysis/EventClustering.html) और [Event Clustering Notebook](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/EventClustering.ipynb) ### auditdextract Linux ऑडिट लॉग लोड और डीकोड करने के लिए मॉड्यूल। यह समान संदेश ID साझा करने वाले संदेशों को एकल घटनाओं में संक्षिप्त करता है, हेक्स-एन्कोडेड डेटा फ़ील्ड को डीकोड करता है और कुछ ईवेंट-विशिष्ट फ़ॉर्मेटिंग और सामान्यीकरण करता है (उदाहरण के लिए प्रोसेस स्टार्ट ईवेंट के लिए यह प्रोसेस कमांड लाइन तर्कों को एक स्ट्रिंग में पुन: इकट्ठा करेगा)। ### syslog_utils केवल syslog लॉगिंग सक्षम वाले Linux होस्ट की जांच का समर्थन करने के लिए मॉड्यूल। इसमें होस्ट डेटा को संकलित करने, लॉगऑन ईवेंट को क्लस्टर करने और संदिग्ध गतिविधि वाले उपयोगकर्ता सत्रों का पता लगाने के कार्य शामिल हैं। ### cmd_line ज्ञात दुर्भावनापूर्ण कमांड लाइन गतिविधि या कमांड लाइन गतिविधि के संदिग्ध पैटर्न का पता लगाने का समर्थन करने के लिए एक मॉड्यूल। ### domain_utils डोमेन नाम और URLs की जांच का समर्थन करने के लिए एक मॉड्यूल जिसमें डोमेन नाम को मान्य करने और URL का स्क्रीनशॉट लेने के कार्य हैं। ### Notebook widgets ये [Jupyter ipywidgets](https://ipywidgets.readthedocs.io/) संग्रह से बनाए गए हैं और InfoSec कार्यों में उपयोगी सामान्य कार्यक्षमता जैसे सूची चयनकर्ता, क्वेरी समय सीमा सेटिंग्स और ईवेंट प्रदर्शन को एक उपयोग में आसान प्रारूप में समूहित करते हैं। <img src="https://assets.kitploit.com/production/public/readmes/4869/26d223a31e1750c7407e4e562689fbfb4c92243981b794d649f35d9dafd06836.png" alt="Time span Widget" title="Query time setter" height="100" /> <img src="https://assets.kitploit.com/production/public/readmes/4869/5491bab202c5644d32270ea256b0e6f9173346595cd7245120d35330dcfe2e8b.png" alt="Alert browser" title="Alert browser" height="300" /> --- ## Example MSTICPy notebooks [MSTICPy Notebooks](https://github.com/microsoft/msticpy/blob/master/docs/notebooks/) ## More Notebooks on Azure Sentinel Notebooks GitHub [Azure Sentinel Notebooks](https://github.com/Azure/Azure-Sentinel-Notebooks) Example notebooks: - [MSTICPy सुविधाओं का दौरा](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/A%20Tour%20of%20Cybersec%20notebook%20features.ipynb) - [खाता एक्सप्लोरर](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Entity%20Explorer%20-%20Account.ipynb) - [डोमेन और URL एक्सप्लोरर](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Entity%20Explorer%20-%20Domain%20and%20URL.ipynb) - [IP एक्सप्लोरर](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Entity%20Explorer%20-%20IP%20Address.ipynb) - [Linux होस्ट एक्सप्लोरर](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Entity%20Explorer%20-%20Linux%20Host.ipynb) - [Windows होस्ट एक्सप्लोरर](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Entity%20Explorer%20-%20Windows%20Host.ipynb) - [Azure Sentinel नोटबुक में आरंभ करना](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/A%20Getting%20Started%20Guide%20For%20Azure%20Sentinel%20ML%20Notebooks.ipynb) सीधे GitHub पर देखें या लिंक को [nbviewer.org](https://nbviewer.jupyter.org/) में कॉपी और पेस्ट करें ## Notebook examples with saved data व्यवहार में इस पैकेज के उपयोग के अधिक उदाहरणों के लिए निम्नलिखित नोटबुक देखें: - [सरल मशीन लर्निंग](https://github.com/Azure/Azure-Sentinel-Notebooks/blob/master/Machine%20Learning%20in%20Notebooks%20Examples.ipynb) ## Supported Platforms and Packages - msticpy OS-स्वतंत्र है - [Python 3.10 या बाद के संस्करण](https://www.python.org/dev/peps/pep-0494/) की आवश्यकता है - अधिक विवरण और संस्करण आवश्यकताओं के लिए [requirements.txt](https://github.com/microsoft/msticpy/blob/main/requirements.txt) देखें। --- ## Contributing (संक्षिप्त) डेवलपर दिशानिर्देशों के लिए, यह विकि लेख देखें [योगदानकर्ता दिशानिर्देश](https://github.com/microsoft/msticpy/wiki/Contributor-guidelines) यह परियोजना योगदान और सुझावों का स्वागत करती है। अधिकांश योगदानों के लिए आपको एक योगदानकर्ता लाइसेंस समझौते (CLA) से सहमत होना आवश्यक है जो घोषित करता है कि आपके पास अधिकार है, और वास्तव में, हमें आपके योगदान का उपयोग करने का अधिकार प्रदान करते हैं। विवरण के लिए, <https://cla.microsoft.com> पर जाएँ। जब आप पुल अनुरोध सबमिट करते हैं, तो एक CLA-बॉट स्वचालित रूप से निर्धारित करेगा कि क्या आपको CLA प्रदान करने की आवश्यकता है और PR को उचित रूप से सजाएगा (जैसे, लेबल, टिप्पणी)। बस बॉट द्वारा प्रदान किए गए निर्देशों का पालन करें। हमारे CLA का उपयोग करने वाले सभी रिपॉजिटरी में आपको ऐसा केवल एक बार करना होगा। इस परियोजना ने [Microsoft ओपन सोर्स आचार संहिता](https://opensource.microsoft.com/codeofconduct/) को अपनाया है। अधिक जानकारी के लिए [आचार संहिता FAQ](https://opensource.microsoft.com/codeofconduct/faq/) देखें या किसी अतिरिक्त प्रश्न या टिप्पणी के लिए [[email protected]](mailto:[email protected]) से संपर्क करें।
