git-all-secrets

परिचय

git-all-secrets एक उपकरण है जो निम्नलिखित कार्य कर सकता है:

• किसी संगठन के कई सार्वजनिक/निजी गिटहब रिपॉजिटरी को क्लोन करके उन्हें स्कैन करना,
• किसी संगठन से संबंधित उपयोगकर्ता की कई सार्वजनिक/निजी गिटहब रिपॉजिटरी को क्लोन करके उन्हें स्कैन करना,
• किसी संगठन की एकल सार्वजनिक/निजी रिपॉजिटरी को क्लोन करके उसे स्कैन करना,
• किसी उपयोगकर्ता की एकल सार्वजनिक/निजी रिपॉजिटरी को क्लोन करके उसे स्कैन करना,
• किसी उपयोगकर्ता के एकल सार्वजनिक/गुप्त गिस्ट को क्लोन करके उसे स्कैन करना,
• किसी संगठन में एक टीम की रिपॉजिटरी को क्लोन करके उन्हें स्कैन करना,
• उपरोक्त सभी एक साथ!! हाँ बिल्कुल!! बस एक संगठन का नाम प्रदान करें और उनके सभी रहस्य प्राप्त करें। यदि आप किसी संगठन के भीतर एक टीम के रहस्य भी प्राप्त करना चाहते हैं, तो बस संगठन के साथ टीम का नाम बताएं।
• गिटहब एंटरप्राइज रिपॉजिटरी और गिस्ट को भी क्लोन और स्कैन करना।

स्कैनिंग कई ओपन सोर्स टूल्स द्वारा की जाती है जैसे:

• truffleHog - उच्च एन्ट्रॉपी स्ट्रिंग्स और उपयोगकर्ता द्वारा प्रदान किए गए रेगुलर एक्सप्रेशन के लिए कमिट्स को स्कैन करता है,
• repo-supervisor - .js और .json फ़ाइलों में उच्च एन्ट्रॉपी स्ट्रिंग्स के लिए स्कैन करता है

नोट - भविष्य में आवश्यकता होने पर ऐसे और उपकरण जोड़े जा सकते हैं! नोट - toolName फ़्लैग निर्दिष्ट करके सभी टूल्स या उनमें से किसी एक द्वारा स्कैन किया जा सकता है।

यदि स्कैन करने के लिए सभी टूल्स का उपयोग किया जाता है, तो टूल से अंतिम आउटपुट सभी टूल्स की सभी फ़ाइलों के आउटपुट को एक समेकित आउटपुट फ़ाइल में जोड़ता है।

आरंभ करना

git-all-secrets चलाने का सबसे आसान तरीका डॉकर के माध्यम से है और यदि आपके पास पहले से डॉकर नहीं है तो मैं इसे स्थापित करने की अत्यधिक अनुशंसा करता हूं। एक बार जब आप डॉकर स्थापित कर लें,

• docker run --rm -it abhartiya/tools_gitallsecrets --help टाइप करें ताकि यह समझ सकें कि यह इनपुट के रूप में कौन से विभिन्न फ़्लैग ले सकता है।
• एक बार जब आप जान लें कि आप क्या स्कैन करना चाहते हैं, तो कुछ इस तरह टाइप करें: docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>। आप स्कैनिंग के लिए किसी विशेष उपकरण का उपयोग करने के लिए कुछ इस तरह भी टाइप कर सकते हैं: docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>। विकल्प thog और repo-supervisor हैं।
• यदि आप truffleHog को डिफ़ॉल्ट regex और उच्च एन्ट्रॉपी सेटिंग्स के साथ चलाना चाहते हैं, तो thogEntropy फ़्लैग इस तरह प्रदान करें - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy।
• कंटेनर के चलने के बाद, docker ps -a टाइप करके कंटेनर आईडी प्राप्त करें।
• एक बार जब आपके पास कंटेनर आईडी हो, तो docker cp <container-id>:/root/results.txt . टाइप करके परिणाम फ़ाइल को कंटेनर से होस्ट में लाएं।

फ़्लैग/विकल्प

• -token = गिटहब व्यक्तिगत एक्सेस टोकन। हमें इसकी आवश्यकता है क्योंकि गिटहब API के लिए अप्रमाणित अनुरोध जल्द ही दर सीमा से टकरा सकते हैं!

• -org = स्कैन करने के लिए संगठन का नाम। यह संगठन के सभी सार्वजनिक रिपॉजिटरी + संगठन के सभी उपयोगकर्ताओं के सभी रिपॉजिटरी और गिस्ट को स्कैन करेगा। यदि आप उस उपयोगकर्ता का टोकन उपयोग कर रहे हैं जो इस संगठन का हिस्सा है, तो यह उस उपयोगकर्ता से संबंधित सभी गुप्त गिस्ट के साथ-साथ उस संगठन के सभी निजी रिपॉजिटरी को भी क्लोन और स्कैन करेगा, जिस तक उपयोगकर्ता की पहुंच है। हालांकि, यह इस संगठन से संबंधित इस उपयोगकर्ता की किसी भी निजी रिपॉजिटरी को क्लोन और स्कैन नहीं करेगा। उपयोगकर्ताओं की निजी रिपॉजिटरी को स्कैन करने के लिए, कृपया user फ़्लैग के साथ scanPrivateReposOnly फ़्लैग का उपयोग करें, साथ ही वॉल्यूम पर माउंट किए गए SSH कुंजी का उपयोग करें।

• -user = स्कैन करने के लिए उपयोगकर्ता का नाम। यह इस उपयोगकर्ता के सभी रिपॉजिटरी और गिस्ट को स्कैन करेगा। यदि प्रदान किया गया टोकन उपयोगकर्ता का टोकन है, तो गुप्त गिस्ट भी क्लोन और स्कैन किए जाएंगे। लेकिन केवल सार्वजनिक रिपॉजिटरी ही क्लोन और स्कैन की जाएंगी। इस उपयोगकर्ता की निजी रिपॉजिटरी को स्कैन करने के लिए, कृपया user फ़्लैग के साथ scanPrivateReposOnly फ़्लैग का उपयोग करें, साथ ही वॉल्यूम पर माउंट किए गए SSH कुंजी का उपयोग करें।

• -repoURL = स्कैन करने के लिए रिपॉजिटरी का HTTPS URL। यह केवल इस रिपॉजिटरी को स्कैन करेगा। सार्वजनिक रिपॉजिटरी के लिए, रिपॉजिटरी का https URL बताना पर्याप्त होगा। हालांकि, यदि आप किसी निजी रिपॉजिटरी को स्कैन करना चाहते हैं, तो आपको वॉल्यूम पर माउंट किए गए SSH कुंजी और फ़्लैग के साथ URL प्रदान करना होगा।

नोट

• token फ़्लैग अनिवार्य है। यह खाली नहीं हो सकता।

• org, user, repoURL और gistURL एक ही समय में सभी खाली नहीं हो सकते। आपको इनमें से केवल एक मान प्रदान करना होगा। यदि आप उन सभी को या एक साथ कई मान प्रदान करते हैं, तो प्राथमिकता का क्रम org > user > repoURL > gistURL होगा। उदाहरण के लिए, यदि आप दोनों फ़्लैग -org=secretorg123 और -user=secretuser1 एक साथ प्रदान करते हैं, तो उपकरण शिकायत करेगा कि उसे org मान के साथ किसी और चीज़ की आवश्यकता नहीं है। किसी विशेष उपयोगकर्ता के विरुद्ध इसे चलाने के लिए, केवल user फ़्लैग प्रदान करने की आवश्यकता है, न कि org फ़्लैग।

निजी रिपॉजिटरी स्कैन करना

निजी रिपॉजिटरी को स्कैन करने का सबसे सुरक्षित तरीका SSH URL का उपयोग करके क्लोन करना है। इसे प्राप्त करने के लिए, एक उपयुक्त SSH कुंजी रखनी होगी जिसे गिटहब उपयोगकर्ता में जोड़ा गया हो। गिटहब के पास आपके खाते को कॉन्फ़िगर करने के लिए सहायक दस्तावेज़ीकरण है। सुनिश्चित करें कि इस कुंजी पर कोई पासफ़्रेज़ सेट न हो। एक बार जब आपके पास SSH कुंजी हो, तो बस इसे वॉल्यूम के माध्यम से डॉकर कंटेनर पर माउंट करें। यह नीचे दिए गए कमांड को टाइप करने जितना आसान है:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

या

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

यहां, मैं अपनी निजी SSH कुंजी id_rsa_personal जो स्थानीय रूप से संग्रहीत है, को कंटेनर के अंदर /root/.ssh/id_rsa पर मैप कर रहा हूं ताकि git-all-secrets रिपॉजिटरी को ssh के माध्यम से क्लोन करने का प्रयास करेगा और कंटेनर के अंदर /root/.ssh/id_rsa पर संग्रहीत SSH कुंजी का उपयोग करेगा। इस तरह, आप वास्तव में कंटेनर के अंदर कुछ भी संवेदनशील संग्रहीत नहीं कर रहे हैं। आप बस अपनी स्थानीय मशीन से एक फ़ाइल का उपयोग कर रहे हैं। एक बार कंटेनर नष्ट हो जाने पर, उसके पास इस कुंजी तक पहुंच नहीं रहती।

संगठन टीम स्कैन करना

गिटहब API उन परिस्थितियों को सीमित करता है जहां एक निजी रिपॉजिटरी की रिपोर्ट की जाती है। यदि कोई उपयोगकर्ता जो प्रशासक नहीं है, के साथ किसी संगठन को स्कैन करने का प्रयास कर रहा है, तो आपको वह टीम प्रदान करने की आवश्यकता हो सकती है जो उपयोगकर्ता को रिपॉजिटरी तक पहुंच प्रदान करती है। ऐसा करने के लिए, org फ़्लैग के साथ teamName फ़्लैग का उपयोग करें। उदाहरण नीचे दिया गया है:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

गिटहब एंटरप्राइज स्कैन करना

git-all-secrets अब गिटहब एंटरप्राइज को स्कैन करने का भी समर्थन करता है। यदि आपका अपना गिटहब एंटरप्राइज किसी VPN के पीछे होस्ट किया गया है या कुछ इसी तरह, तो सुनिश्चित करें कि आप VPN से जुड़े हैं या सही नेटवर्क पर हैं जिसकी गिटहब एंटरप्राइज रिपॉजिटरी तक पहुंच है। enterpriseURL वह है जिसकी आपको अपने गिटहब एंटरप्राइज रिपॉजिटरी को स्कैन करने के लिए आवश्यकता होगी। नीचे कुछ उदाहरण दिए गए हैं:

उदाहरण 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

यहां, मैं अब अपनी गिटहब एंटरप्राइज SSH कुंजी को कंटेनर पर माउंट कर रहा हूं, उसके बाद अपना व्यक्तिगत एक्सेस टोकन, एंटरप्राइज URL जिस पर अनुरोध भेजे जाएंगे और वह रिपॉजिटरी जिसे मैं स्कैन करना चाहता हूं।

उदाहरण 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

ऊपर, मैं अब एन्ट्रॉपी सेटिंग्स के साथ केवल truffleHog को रिपॉजिटरी के विरुद्ध चला रहा हूं।

उदाहरण 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

ऊपर, मैं उस उपयोगकर्ता की केवल निजी रिपॉजिटरी को स्कैन कर रहा हूं जिसका टोकन सभी टूल्स (repo-supevisor और thog) के साथ प्रदान किया गया है, लेकिन truffleHog की एन्ट्रॉपी सेटिंग के बिना।

TODO

• टीम स्कैनिंग कार्यक्षमता का परीक्षण करें
• गोरूटीन बग को ठीक करें - उम्मीद है कि हो गया!
• गिटहब एंटरप्राइज स्कैन करने का समर्थन - हो गया!
• किसी संगठन की निजी रिपॉजिटरी को क्लोन और स्कैन करने का समर्थन - हो गया!
• gitsecrets को truffleHog की नई Regex कार्यक्षमता से बदलें - हो गया!
• SSH कुंजियों के माध्यम से निजी उपयोगकर्ता रिपॉजिटरी को स्कैन करने के लिए समर्थन जोड़ें - हो गया!
• फोर्क को स्कैन करने से बचने के लिए फ़्लैग जोड़ें - हो गया!

विवरण

विशेषताएं

• आप rules.json फ़ाइल में अपने स्वयं के रेगुलर एक्सप्रेशन जोड़ सकते हैं और docker run को निष्पादित करते समय तर्क -v $(pwd)/rules.json:/root/truffleHog/rules.json का उपयोग करके इसे शामिल कर सकते हैं।
• उपकरण कुछ डिफ़ॉल्ट रेगुलर एक्सप्रेशन की तलाश करता है। यदि आवश्यक हो, तो इसे उच्च एन्ट्रॉपी स्ट्रिंग्स के लिए भी बनाया जा सकता है। यह सब truffleHog टूल के माध्यम से होता है।
• यह repo-supervisor टूल के माध्यम से .js और .json फ़ाइलों में उच्च एन्ट्रॉपी स्ट्रिंग्स की तलाश कर सकता है।
• यह उपयोगकर्ताओं के गिस्ट को स्कैन करता है, जो अधिकांश उपकरण नहीं करते।
• यदि कोई नया उपकरण अच्छा है, तो इसे git-all-secrets में बहुत आसानी से एकीकृत किया जा सकता है।
• यह अन्य उपकरणों और फ्रेमवर्क के साथ एकीकरण के लिए बनाया गया है। यह कुछ इनपुट पैरामीटर लेता है और परिणामों की एक आउटपुट फ़ाइल उत्पन्न करता है। काफी सीधा!
• यह गिटहब एंटरप्राइज orgs/users/repos/gists को स्कैन करने का भी समर्थन करता है।
• बाजार में अधिकांश उपकरण व्यक्तिगत रिपॉजिटरी को स्कैन करने के लिए बनाए गए हैं। यदि आप इसे कई रिपॉजिटरी पर लूप करना चाहते हैं, तो आपको शेल स्क्रिप्ट या उसी तरह की किसी चीज़ में अपना स्वयं का फॉर लूप लिखना होगा। git-all-secrets आपको एक बार में कई रिपॉजिटरी को स्कैन करने में मदद कर सकता है।
• अब आप दोनों टूल्स के आउटपुट को एक json फ़ाइल में मर्ज कर सकते हैं जिसका उपयोग अन्य ऑटोमेशन प्रकार के टूल्स/फ्रेमवर्क में किया जा सकता है।

प्रेरणा

मैंने बड़ी संख्या में ओपन सोर्स टूल्स को देखा जिनका उपयोग संभावित रूप से गिटहब रिपॉजिटरी में रहस्यों की तलाश के लिए किया जा सकता है। कुछ शीर्ष उपकरण जो मुझे अच्छे लगे, वे हैं: gitrob, truffleHog और git-secrets।

Gitrob एक स्टैंडअलोन टूल है जिसे अन्य टूल्स के साथ एकीकृत करना काफी कठिन है क्योंकि इसका अपना डेटाबेस और UI है जो खोजे गए सभी रहस्यों को देखने के लिए है। यह truffleHog से अधिक गलत सकारात्मक परिणाम भी उत्पन्न करता है। और, यह वास्तव में खोजे गए रहस्यों को हाइलाइट नहीं करता है। यह केवल फ़ाइलों और उनके एक्सटेंशन को देखता है, वास्तविक सामग्री को नहीं। इसलिए, यद्यपि Gitrob शुरू करने के लिए एक बहुत अच्छा उपकरण है, मैं यह समझने के लिए कि हमले की सतह कैसी दिखती है और यह देखने के लिए कि क्या यह बदल गया है, इसे हर बार चलाने की सलाह दूंगा।

फिर, truffleHog है जो शैनन की एन्ट्रॉपी को देखकर फ़ाइल की वास्तविक सामग्री में रहस्यों की तलाश करता है और आउटपुट को स्क्रीन पर प्रिंट करता है। यह एक रिपॉजिटरी URL या एक रिपॉजिटरी निर्देशिका को एक तर्क के रूप में लेता है। यह एक काफी अच्छा उपकरण है, हालांकि इसके अपने कुछ गलत सकारात्मक परिणाम हैं। कुछ अन्य कमियां हैं:

• हम इसका उपयोग उन निर्देशिकाओं को स्कैन करने के लिए पुनरावर्ती रूप से नहीं कर सकते जिनमें कई रिपॉजिटरी हों।
• ऐसा कोई तरीका नहीं है जिससे हम truffleHog का उपयोग उन रहस्यों की पहचान करने के लिए कर सकें जो एक निश्चित पैटर्न का पालन करते हैं लेकिन इतनी अधिक एन्ट्रॉपी नहीं रखते हैं, अर्थात हम उन रहस्यों को देखने के लिए इसे नहीं बना सकते जिन्हें हम जानते हैं लेकिन जरूरी नहीं कि उनमें रहस्य माने जाने के लिए पर्याप्त एन्ट्रॉपी हो।
• यह आउटपुट को स्क्रीन पर प्रिंट करता है, इसलिए इस तरह से ऑटोमेशन के लिए वास्तव में उपयोगी नहीं है।

अंत में, git-secrets है जो AWS रहस्यों जैसी चीजों को फ्लैग कर सकता है। सबसे अच्छी बात यह है कि आप उन रहस्यों के लिए अपने स्वयं के रेगुलर एक्सप्रेशन भी जोड़ सकते हैं जिन्हें आप जानते हैं कि उसे देखना चाहिए। एक बड़ी कमी यह है कि यह उच्च एन्ट्रॉपी स्ट्रिंग्स को खोजने में उतना अच्छा काम नहीं करता जितना truffleHog करता है। आप केवल एक विशेष निर्देशिका को स्कैन कर सकते हैं जो एक रिपॉजिटरी है, इसलिए रिपॉजिटरी की निर्देशिका से पुनरावर्ती स्कैनिंग भी नहीं होती।

तो, जैसा कि आप देख सकते हैं, बाजार में अच्छे उपकरण हैं, लेकिन उन्हें किसी तरह संयोजित करना आवश्यक था। एक से अधिक रिपॉजिटरी को पुनरावर्ती रूप से स्कैन करने की भी आवश्यकता थी, न कि केवल एक। और, गिस्ट के बारे में क्या? संगठन और उपयोगकर्ता हैं। फिर, संगठनों और उपयोगकर्ताओं के लिए रिपॉजिटरी हैं। उपयोगकर्ताओं द्वारा गिस्ट भी हैं। इन सभी को स्कैन किया जाना चाहिए। और, इस तरह से स्कैन किया जाना चाहिए कि इसे स्वचालित किया जा सके और अन्य टूल्स/फ्रेमवर्क द्वारा आसानी से उपभोग किया जा सके।

परिवर्तन लॉग

• 2/9/19 - स्कैन करते समय कुछ रिपॉजिटरी नामों को छोड़ने के लिए blacklist फ़्लैग जोड़ा गया। PR के लिए @sjqnn का धन्यवाद। एक नई डॉकर इमेज बनाई और पुश की। GLHF!

• 7/31/18 - pip का उपयोग करके trugglehog की स्थापना को सरल बनाया गया। @mhmdiaa ने trufflehog के आउटपुट फ़ंक्शन में एक बग ठीक किया जहां यह ठीक से मर्ज और सॉर्ट नहीं कर रहा था। password जैसी चीजों को शामिल करने के लिए regex फ़ाइल अपडेट की गई। एक नई डॉकर इमेज बनाई और पुश की। GLHF!

• 7/15/18 - repo-supervisor के फोर्क को अपडेट किया गया क्योंकि अपस्ट्रीम में कुछ बदलाव थे। नवीनतम Trufflehog का उपयोग करके एक नई डॉकर इमेज बनाई गई। rules.json फ़ाइल प्रदान की गई जिसमें सभी regexes हैं जिनका उपयोग Trufflehog रहस्य खोजने के लिए करता है। -mergeOutput फ़्लैग का उपयोग करके दोनों टूल्स के आउटपुट (json में) को मर्ज करने की क्षमता जोड़ी गई। मल्टी-स्टेज बिल्ड और डिपेंडेंसी प्रबंधन के लिए dep का उपयोग करके डॉकर इमेज के आकार को काफी कम किया गया। इन सबके लिए @mhmdiaa को बहुत-बहुत धन्यवाद!

• 12/12/17 - कुछ बड़ी रिपॉजिटरी के लिए, truffleHog विफल हो जाता है और बाहर निकल जाता है। लेकिन, हम वहां रुकना नहीं चाहते। हम उपयोगकर्ता को सूचित करना चाहते हैं कि उस रिपॉजिटरी के लिए स्कैनिंग विफल रही और अन्य रिपॉजिटरी को स्कैन करना जारी रखना चाहते हैं। यह अब नवीनतम डॉकर इमेज में लागू किया गया है।

• 12/11/17 - gitsecrets हटा दिया गया क्योंकि truffleHog अब regex कार्यक्षमता का समर्थन करता है। बस अपने regexes को rules.json फ़ाइल में जोड़ना और डॉकर इमेज को फिर से बनाना मूल रूप से वह कार्यक्षमता प्रदान करेगा जो gitsecrets पहले प्रदान कर रहा था, इसलिए अब gitsecrets की कोई आवश्यकता नहीं है। मैंने गिटहब एंटरप्राइज रिपॉजिटरी और गिस्ट को स्कैन करने का समर्थन भी जोड़ा। @high-stakes ने एक PR प्राप्त करने में मदद की जो (उम्मीद है) थ्रेड्स की मात्रा को सीमित करके गोरूटीन बग को ठीक करता है। अंत में, किसी संगठन के लिए निजी रिपॉजिटरी को स्कैन करने का समर्थन भी जोड़ा गया।

• 12/08/17 - truffleHog का अपना फोर्क हटा दिया। अब अपस्ट्रीम संस्करण का उपयोग truffleHog की नई regex कार्यक्षमता + एन्ट्रॉपी मोड के साथ किया जा रहा है। जल्द ही, मेरा मानना है कि एक बार कुछ मुद्दों को ठीक करने के बाद हम gitsecrets और repo supervisor दोनों को केवल truffleHog से बदल सकते हैं।

दान करें

यदि आप कुछ प्यार दिखाना चाहते हैं, तो मेरा BTC वॉलेट पता है 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7।