Nosey Parker अब Titus द्वारा प्रतिस्थापित हो गया है। Nosey Parker आधिकारिक रूप से सेवानिवृत्त हो गया है

हमारी घोषणा पोस्ट देखें https://www.praetorian.com/blog/titus-open-source-secret-scanner/। Titus रेपो https://github.com/praetorian-inc/titus पर पाया जा सकता है

अवलोकन

Nosey Parker एक CLI टूल है जो टेक्स्टुअल डेटा में रहस्य और संवेदनशील जानकारी ढूंढता है। यह मूलतः रहस्यों का पता लगाने के लिए एक विशेष-उद्देश्यीय grep-जैसा टूल है।

इसे आक्रामक सुरक्षा (जैसे, रेड टीमों पर पार्श्व गति सक्षम करना) के लिए डिज़ाइन किया गया है, लेकिन यह रक्षात्मक सुरक्षा परीक्षण के लिए भी उपयोगी हो सकता है। इसने Praetorian में सैकड़ों आक्रामक सुरक्षा अभियानों में रहस्य पाए हैं।

मुख्य विशेषताएं:

• लचीलापन: यह मूलतः फ़ाइलों, निर्देशिकाओं, GitHub और Git इतिहास को स्कैन करता है, और एक विस्तार योग्य इनपुट गणना तंत्र रखता है
• फ़ील्ड-परीक्षित नियम: यह सुरक्षा इंजीनियरों से प्रतिक्रिया के आधार पर उच्च सटीकता के लिए चुने गए 188 नियमों के साथ रेगुलर एक्सप्रेशन का उपयोग करता है
• सिग्नल-टू-शोर: यह उन मैचों को डीडुप्लीकेट करता है जो एक ही रहस्य साझा करते हैं, जिससे समीक्षा का बोझ 10-1000 गुना या अधिक कम हो जाता है
• गति और स्केलेबिलिटी: यह मल्टीकोर सिस्टम पर GB/s पर स्कैन कर सकता है, और सुरक्षा अभियानों के दौरान 20TB जितने बड़े इनपुट को स्कैन किया है

सामान्य कार्यप्रवाह तीन चरणों में है:

1. scan कमांड का उपयोग करके रुचि के इनपुट स्कैन करें
2. report कमांड का उपयोग करके स्कैन परिणामों के विवरण रिपोर्ट करें
3. निष्कर्षों की समीक्षा और ट्राइएज करें

स्थापना

Homebrew फ़ॉर्मूला

brew install noseyparker

पूर्व-निर्मित बाइनरी

नवीनतम रिलीज़ पृष्ठ में x86_64/aarch64 Linux और macOS के लिए पूर्व-निर्मित बाइनरी हैं।

Docker: x86_64/aarch64

docker pull ghcr.io/praetorian-inc/noseyparker:latest

सबसे हालिया कमिट main टैग के माध्यम से भी उपलब्ध है।

Docker: x86_64/aarch64, Alpine आधार:

docker pull ghcr.io/praetorian-inc/noseyparker-alpine:latest

सबसे हालिया कमिट main टैग के माध्यम से भी उपलब्ध है।

Arch Linux पैकेज

https://aur.archlinux.org/packages/noseyparker

Windows

Nosey Parker मूलतः Windows पर नहीं बनता है (#121)। WSL1 और मूल Linux रिलीज़ का उपयोग करके Windows पर चलाना संभव है।

स्रोत से निर्माण

सहायता प्राप्त करना

noseyparker बाइनरी को बिना तर्कों के चलाने से शीर्ष-स्तरीय सहायता प्रिंट होती है और बाहर निकल जाता है। आप noseyparker COMMAND -h चलाकर किसी विशेष कमांड के लिए संक्षिप्त सहायता प्राप्त कर सकते हैं। help कमांड या लंबे-रूप --help विकल्प के साथ अधिक विस्तृत सहायता उपलब्ध है।

पूर्व-निर्मित रिलीज़ में मैनपेज भी शामिल हैं जो कमांड-लाइन सहायता को एक ही स्थान पर एकत्रित करते हैं। ये मैनपेज मार्कडाउन प्रारूप में परिवर्तित होकर रिपॉजिटरी में यहाँ भी शामिल हैं।

यदि आपके पास कोई प्रश्न है जिसका उत्तर इस दस्तावेज़ीकरण द्वारा नहीं दिया गया है, तो कृपया चर्चा शुरू करें।

शब्दावली और डेटा मॉडल

डेटास्टोर

डेटास्टोर एक विशेष निर्देशिका है जिसका उपयोग Nosey Parker अपने निष्कर्षों को रिकॉर्ड करने और अपनी आंतरिक स्थिति बनाए रखने के लिए करता है। यदि आवश्यक हो तो scan कमांड द्वारा डेटास्टोर अंतर्निहित रूप से बनाया जाएगा।

ब्लॉब्स

प्रत्येक स्कैन किए गए इनपुट को ब्लॉब कहा जाता है। प्रत्येक ब्लॉब का एक अद्वितीय ब्लॉब ID होता है, जो एक SHA-1 डाइजेस्ट है जिसकी गणना उसी तरह की जाती है जैसे git करता है।

प्रोवेनेंस

प्रत्येक ब्लॉब से जुड़े एक या अधिक प्रोवेनेंस प्रविष्टियाँ होती हैं। प्रोवेनेंस प्रविष्टि मेटाडेटा है जो बताता है कि इनपुट कैसे खोजा गया, जैसे फाइलसिस्टम पर एक फ़ाइल या Git रिपॉजिटरी इतिहास में एक फ़ाइल।

नियम

Nosey Parker एक नियम-आधारित प्रणाली है जो रेगुलर एक्सप्रेशन का उपयोग करती है। प्रत्येक नियम में कम से कम एक कैप्चर ग्रुप के साथ एक एकल पैटर्न होता है जो आसपास के संदर्भ से मैच सामग्री को अलग करता है। आप noseyparker rules list के साथ उपलब्ध नियमों को सूचीबद्ध कर सकते हैं।

रूलसेट्स

नियमों का एक संग्रह रूलसेट में व्यवस्थित होता है। Nosey Parker के डिफ़ॉल्ट रूलसेट में ऐसे नियम शामिल हैं जो उन चीजों का पता लगाते हैं जो रहस्य प्रतीत होते हैं। अन्य रूलसेट उपलब्ध हैं; आप उन्हें noseyparker rules list. से सूचीबद्ध कर सकते हैं।

मैच

जब कोई नियम का पैटर्न किसी इनपुट से मेल खाता है, तो यह एक मैच उत्पन्न करता है। एक मैच को विशिष्ट रूप से एक नियम, ब्लॉब ID, प्रारंभ बाइट ऑफ़सेट और अंत बाइट ऑफ़सेट द्वारा परिभाषित किया जाता है; इन फ़ील्ड का उपयोग एक अद्वितीय मैच पहचानकर्ता की गणना करने के लिए किया जाता है।

निष्कर्ष

एक ही नियम और कैप्चर ग्रुप साझा करने वाले मैच एक निष्कर्ष में संयुक्त होते हैं। दूसरे शब्दों में, एक निष्कर्ष मैचों का एक समूह है। यह Nosey Parker की शीर्ष-स्तरीय रिपोर्टिंग इकाई है।

उपयोग उदाहरण

नोट: Docker का उपयोग करते समय...

Docker इमेज का उपयोग करते समय, निम्नलिखित कमांड में noseyparker को एक Docker आह्वान से बदलें जो एक माउंटेड वॉल्यूम का उपयोग करता है:

docker run -v "$PWD":/scan ghcr.io/praetorian-inc/noseyparker:latest <ARGS>

Docker कंटेनर /scan को अपनी कार्यशील निर्देशिका के रूप में चलाता है, इसलिए कंटेनर में $PWD को /scan पर माउंट करने से टैब पूर्णता और आपके कमांड-लाइन आह्वान में सापेक्ष पथ काम करेंगे।

फ़ाइलसिस्टम सामग्री स्कैन करें, स्थानीय Git रिपॉजिटरी सहित

Nosey Parker में फ़ाइलों, निर्देशिकाओं और Git रिपॉजिटरी के पूरे इतिहास को स्कैन करने के लिए मूल समर्थन है।

उदाहरण के लिए, यदि आपके पास स्थानीय रूप से cpython.git पर CPython का Git क्लोन है, तो आप इसे scan कमांड से स्कैन कर सकते हैं। Nosey Parker cpython.np पर एक नया डेटास्टोर बनाएगा और अपने निष्कर्षों को वहाँ सहेजेगा। (नाम cpython.np अनिवार्य नहीं है, और जो भी आप चाहें हो सकता है।)

$ noseyparker scan -d cpython.np cpython.git
Scanned 19.19 GiB from 335,849 blobs in 17 seconds (1.11 GiB/s); 2,178/2,178 new matches

 Rule                            Findings   Matches   Accepted   Rejected   Mixed   Unlabeled
──────────────────────────────────────────────────────────────────────────────────────────────
 Generic API Key                        1         8          0          0       0           1
 Generic Password                       8     1,283          0          0       0           8
 Generic Username and Password          2        40          0          0       0           2
 HTTP Bearer Token                      1       108          0          0       0           1
 PEM-Encoded Private Key               61       151          0          0       0          61
 netrc Credentials                     27       588          0          0       0          27

Run the `report` command next to show finding details.

अधिक जानकारी के लिए noseyparker help scan देखें।

HTTPS URL से Git रिपॉजिटरी स्कैन करें

उदाहरण के लिए, Nosey Parker रिपॉजिटरी को ही स्कैन करने के लिए:

noseyparker scan --datastore np.noseyparker --git-url https://github.com/praetorian-inc/noseyparker

अधिक जानकारी के लिए noseyparker help scan देखें।

GitHub उपयोगकर्ता या संगठन की Git रिपॉजिटरी स्कैन करें

--github-user=USER या --github-org=ORG का उपयोग करें। उदाहरण के लिए, octocat उपयोगकर्ता से संबंधित सुलभ रिपॉजिटरी को स्कैन करने के लिए:

noseyparker scan --datastore np.noseyparker --github-user octocat

ये इनपुट स्पेसिफ़ायर एक वैकल्पिक GitHub टोकन का उपयोग करेंगे यदि NP_GITHUB_TOKEN पर्यावरण चर में उपलब्ध हो। एक्सेस टोकन प्रदान करने से उच्च API दर सीमा मिलती है और अतिरिक्त रिपॉजिटरी आपके लिए सुलभ हो सकती हैं।

अधिक जानकारी के लिए noseyparker help scan देखें।

निष्कर्षों की इंटरैक्टिव समीक्षा और एनोटेशन

सहयोगी प्रोजेक्ट देखें, Nosey Parker Explorer:

निष्कर्षों को मानव-पठनीय टेक्स्ट प्रारूप में रिपोर्ट करें

निष्कर्षों को JSON प्रारूप में रिपोर्ट करें

निष्कर्षों का सारांश

Nosey Parker स्कैन समाप्त करने पर अपने निष्कर्षों का एक सारांश प्रिंट करता है। आप इस चरण को स्कैन करने के बाद अलग से भी चला सकते हैं:

$ noseyparker summarize --datastore np.cpython

 Rule                      Distinct Groups   Total Matches
───────────────────────────────────────────────────────────
 PEM-Encoded Private Key             1,076           1,192
 Generic Secret                        331             478
 netrc Credentials                      42           3,201
 Generic API Key                         2              31
 md5crypt Hash                           1               2

अतिरिक्त आउटपुट प्रारूप समर्थित हैं, जिनमें JSON और JSON लाइन्स शामिल हैं, --format=FORMAT विकल्प के माध्यम से।

अधिक जानकारी के लिए noseyparker help summarize देखें।

GitHub से रिपॉजिटरी सूचीबद्ध करें

GitHub उपयोगकर्ताओं या संगठनों से संबंधित रिपॉजिटरी के URL सूचीबद्ध करने के लिए github repos list कमांड का उपयोग करें। यह कमांड GitHub REST API का उपयोग करके उपयोगकर्ताओं या संगठनों से संबंधित रिपॉजिटरी की गणना करता है। उदाहरण के लिए:

$ noseyparker github repos list --user octocat
https://github.com/octocat/Hello-World.git
https://github.com/octocat/Spoon-Knife.git
https://github.com/octocat/boysenberry-repo-1.git
https://github.com/octocat/git-consortium.git
https://github.com/octocat/hello-worId.git
https://github.com/octocat/linguist.git
https://github.com/octocat/octocat.github.io.git
https://github.com/octocat/test-repo1.git

यह कमांड एक वैकल्पिक GitHub टोकन का उपयोग करेगा यदि NP_GITHUB_TOKEN पर्यावरण चर में उपलब्ध हो। एक्सेस टोकन प्रदान करने से उच्च API दर सीमा मिलती है और अतिरिक्त रिपॉजिटरी आपके लिए सुलभ हो सकती हैं।

अतिरिक्त आउटपुट प्रारूप समर्थित हैं, जिनमें JSON और JSON लाइन्स शामिल हैं, --format=FORMAT विकल्प के माध्यम से।

अधिक जानकारी के लिए noseyparker help github देखें।

एकीकरण

Nosey Parker के कुछ तृतीय-पक्ष एकीकरण हैं:

• Nosey Parker को Homebrew में पैकेज किया गया है
• Nosey Parker को Arch Linux में पैकेज किया गया है
• एक GitHub Action जो Nosey Parker चलाता है, उपलब्ध है
• DefectDojo में Nosey Parker v0.16 JSON के लिए एक पार्सर शामिल है
• Nemesis में Nosey Parker के लिए समर्थन शामिल है
• noseyparker-compact कॉम्पैक्ट रिपोर्ट पोस्टप्रोसेसर प्रदान करता है
• segfault.net डिस्पोजेबल रूट सर्वर Nosey Parker प्रीइंस्टॉल्ड के साथ आते हैं

यदि आपके पास एक एकीकरण है जिसे आप साझा करना चाहते हैं जो यहाँ सूचीबद्ध नहीं है, तो कृपया एक PR बनाएं।

योगदान

चर्चा क्षेत्र में प्रश्न पूछें या विचार साझा करें।

योगदान का स्वागत है, विशेष रूप से नए regex नियमों का। नए regex नियम विकसित करना एक अलग दस्तावेज़ में विस्तृत है।

यदि आप महत्वपूर्ण कोड परिवर्तन करने पर विचार कर रहे हैं, तो कृपया पहले एक मुद्दा खोलें या चर्चा शुरू करें।

इस परियोजना में कई pre-commit हुक सक्षम हैं जिनका उपयोग करने के लिए आपको प्रोत्साहित किया जाता है। उन्हें अपने स्थानीय रेपो में स्थापित करने के लिए, सुनिश्चित करें कि pre-commit स्थापित है और चलाएँ:

$ pre-commit install

ये जाँचें सरल त्रुटियों का शीघ्र पता लगाने में मदद करेंगी।

लाइसेंस

Nosey Parker Apache License, Version 2.0 के तहत लाइसेंस प्राप्त है।