git-all-secrets

حول

git-all-secrets هي أداة يمكنها:

• استنساخ مستودعات GitHub العامة/الخاصة المتعددة لمؤسسة ما ومسحها ضوئيًا،
• استنساخ مستودعات GitHub العامة/الخاصة المتعددة لمستخدم ينتمي إلى مؤسسة ومسحها ضوئيًا،
• استنساخ مستودع عام/خاص واحد لمؤسسة ومسحه ضوئيًا،
• استنساخ مستودع عام/خاص واحد لمستخدم ومسحه ضوئيًا،
• استنساخ Gist عام/سري واحد لمستخدم ومسحه ضوئيًا،
• استنساخ مستودعات فريق في مؤسسة ومسحها ضوئيًا،
• كل ما سبق معًا!! أوه نعم!! ببساطة قم بتوفير اسم المؤسسة واحصل على كل أسرارها. إذا كنت ترغب أيضًا في الحصول على أسرار فريق داخل مؤسسة، فقط اذكر اسم الفريق مع اسم المؤسسة.
• استنساخ ومسح مستودعات Github Enterprise وGists أيضًا.

يتم المسح باستخدام أدوات مفتوحة المصدر متعددة مثل:

• truffleHog - يفحص الالتزامات (commits) بحثًا عن سلاسل عالية الإنتروبيا وتعبيرات منتظمة يقدمها المستخدم،
• repo-supervisor - يفحص الملفات ذات الامتداد .js و .json بحثًا عن سلاسل عالية الإنتروبيا

ملاحظة - يمكن إضافة المزيد من هذه الأدوات في المستقبل إذا رغب المستخدم! ملاحظة - يمكن إجراء المسح باستخدام جميع الأدوات أو أي منها عن طريق تحديد العلامة toolName.

إذا تم استخدام جميع الأدوات للمسح، فإن المخرجات النهائية من الأداة تجمع مخرجات جميع الملفات من جميع الأدوات في ملف مخرجات واحد موحد.

البدء

أسهل طريقة لتشغيل git-all-secrets هي عبر Docker وأوصي بشدة بتثبيت Docker إذا لم يكن مثبتًا لديك بالفعل. بمجرد تثبيت Docker،

• اكتب docker run --rm -it abhartiya/tools_gitallsecrets --help لفهم العلامات المختلفة التي يمكن أن يقبلها كمدخلات.
• بمجرد معرفة ما تريد مسحه، اكتب شيئًا مثل docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<>. يمكنك أيضًا تحديد أداة معينة لاستخدامها في المسح عن طريق كتابة شيء مثل docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=<>. الخيارات هي thog و repo-supervisor.
• إذا كنت تريد تشغيل truffleHog مع التعبير المنتظم الافتراضي وإعدادات الإنتروبيا العالية، قم بتوفير العلامة thogEntropy على النحو التالي - docker run -it abhartiya/tools_gitallsecrets -token=<> -org=<> -toolName=thog -thogEntropy.
• بعد انتهاء تشغيل الحاوية، استرجع معرف الحاوية عن طريق كتابة docker ps -a.
• بمجرد الحصول على معرف الحاوية، احصل على ملف النتائج من الحاوية إلى المضيف عن طريق كتابة docker cp <container-id>:/root/results.txt .

العلامات/الخيارات

• -token = رمز الوصول الشخصي لـ GitHub. نحتاج إلى هذا لأن الطلبات غير الموثقة لواجهة برمجة تطبيقات GitHub يمكن أن تصل إلى حدود المعدل بسرعة!

• -org = اسم المؤسسة المراد مسحها. سيؤدي هذا إلى مسح جميع المستودعات العامة في المؤسسة + جميع المستودعات وGists لجميع المستخدمين في المؤسسة. إذا كنت تستخدم رمز مستخدم هو جزء من هذه المؤسسة، فسيقوم أيضًا باستنساخ ومسح جميع الـ Gists السرية التي تخص هذا المستخدم بالإضافة إلى جميع المستودعات الخاصة في تلك المؤسسة التي يملك المستخدم صلاحية الوصول إليها. ومع ذلك، لن يقوم باستنساخ ومسح أي مستودعات خاصة لهذا المستخدم تنتمي إلى هذه المؤسسة. لمسح المستودعات الخاصة للمستخدمين، يرجى استخدام العلامة scanPrivateReposOnly مع العلامة user مع مفتاح SSH المثبت على وحدة تخزين.

• -user = اسم المستخدم المراد مسحه. سيؤدي هذا إلى مسح جميع المستودعات وGists لهذا المستخدم. إذا كان الرمز المقدم هو رمز المستخدم، فسيتم أيضًا استنساخ ومسح الـ Gists السرية. ولكن، سيتم فقط استنساخ ومسح المستودعات العامة. لمسح المستودعات الخاصة لهذا المستخدم، يرجى استخدام العلامة scanPrivateReposOnly مع العلامة user مع مفتاح SSH المثبت على وحدة تخزين.

• -repoURL = عنوان HTTPS URL للمستودع المراد مسحه. سيؤدي هذا إلى مسح هذا المستودع فقط. بالنسبة للمستودعات العامة، يكفي ذكر عنوان https للمستودع. ومع ذلك، إذا كنت ترغب في مسح مستودع خاص، فأنت بحاجة إلى توفير عنوان مع مفتاح SSH المثبت على وحدة تخزين والعلامة .

ملاحظة

• العلامة token إلزامية. لا يمكن أن تكون فارغة.

• لا يمكن أن تكون العلامات org و user و repoURL و gistURL فارغة جميعها في نفس الوقت. تحتاج إلى تقديم قيمة واحدة فقط من هذه القيم. إذا قدمت جميعها أو قيمًا متعددة معًا، فسيكون ترتيب الأولوية هو org > user > repoURL > gistURL. على سبيل المثال، إذا قدمت كلتا العلامتين -org=secretorg123 و -user=secretuser1 معًا، فستشتكي الأداة من أنها لا تحتاج إلى أي شيء مع قيمة org. لتشغيلها ضد مستخدم معين فقط، تحتاج فقط إلى توفير العلامة user وليس العلامة org.

مسح المستودعات الخاصة

الطريقة الأكثر أمانًا لمسح المستودعات الخاصة هي الاستنساخ باستخدام عناوين SSH. لتحقيق ذلك، يحتاج المرء إلى وضع مفتاح SSH مناسب تمت إضافته إلى مستخدم GitHub. يحتوي GitHub على وثائق مفيدة لتكوين حسابك. تأكد من أن هذا المفتاح لا يحتوي على أي عبارة مرور. بمجرد أن يكون لديك مفتاح SSH، قم ببساطة بتثبيته على حاوية Docker عبر وحدة تخزين. الأمر بسيط مثل كتابة الأوامر أدناه:

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -user=<> -scanPrivateReposOnly

أو

docker run -it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -repoURL=<> -scanPrivateReposOnly

هنا، أقوم بتعيين مفتاح SSH الشخصي id_rsa_personal المخزن محليًا إلى /root/.ssh/id_rsa داخل الحاوية بحيث يحاول git-all-secrets استنساخ المستودع عبر ssh وسيستخدم مفتاح SSH المخزن في /root/.ssh/id_rsa داخل الحاوية. بهذه الطريقة، لا تقوم حقًا بتخزين أي شيء حساس داخل الحاوية. أنت فقط تستخدم ملفًا من جهازك المحلي. بمجرد تدمير الحاوية، لم يعد لديها إمكانية الوصول إلى هذا المفتاح.

مسح فريق مؤسسة

تحدد واجهة برمجة تطبيقات GitHub الظروف التي يتم فيها الإبلاغ عن مستودع خاص. إذا كان المرء يحاول مسح مؤسسة مع مستخدم ليس مسؤولاً، فقد تحتاج إلى توفير الفريق الذي يوفر الوصول إلى المستودع للمستخدم. للقيام بذلك، استخدم العلامة teamName مع العلامة org. المثال أدناه:

docker run --it -v ~/.ssh/id_rsa_personal:/root/.ssh/id_rsa abhartiya/tools_gitallsecrets -token=<> -org=<> -teamName <>

مسح Github Enterprise

يدعم git-all-secrets الآن أيضًا مسح Github Enterprise. إذا كان لديك Github Enterprise الخاص بك مستضافًا خلف VPN أو شيء من هذا القبيل، فتأكد من أنك متصل على VPN أو على الشبكة الصحيحة التي لديها إمكانية الوصول إلى مستودعات Github Enterprise. enterpriseURL هو ما ستحتاجه لمسح مستودعات Github Enterprise الخاصة بك. فيما يلي بعض الأمثلة:

مثال 1:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git

هنا، أقوم الآن بتثبيت مفتاح SSH الخاص بـ Github Enterprise على الحاوية، متبوعًا برمز الوصول الشخصي الخاص بي، وعنوان URL للمؤسسة الذي سيتم إرسال الطلبات إليه، والمستودع الذي أريد مسحه.

مثال 2:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -repoURL https://github.<org>.com/<user>/<repo>.git -toolName thog -thogEntropy

أعلاه، أقوم الآن بتشغيل truffleHog فقط ضد المستودع مع إعدادات الإنتروبيا.

مثال 3:

docker run -it -v ~/.ssh/id_rsa_gitenterprise:/root/.ssh/id_rsa -token <token> -enterpriseURL https://github.<org>.com/api/v3 -user <username> -scanPrivateReposOnly

أعلاه، أقوم بمسح المستودعات الخاصة فقط للمستخدم الذي تم توفير رمزه مع جميع الأدوات (repo-supevisor و thog)، ولكن بدون إعداد الإنتروبيا لـ truffleHog.

TODO

• اختبار وظيفة مسح الفريق
• إصلاح خطأ Goroutine - نأمل أن يكون قد تم!
• دعم مسح Github Enterprise تم!
• دعم استنساخ ومسح المستودعات الخاصة لمؤسسة - تم!
• استبدال gitsecrets بوظيفة Regex الجديدة في truffleHog - تم!
• إضافة دعم لمسح مستودعات المستخدم الخاصة عبر مفاتيح SSH - تم!
• إضافة علامة لتجنب مسح الـ forks - تم!

التفاصيل

الميزات

• يمكنك إضافة التعبيرات المنتظمة الخاصة بك في ملف rules.json وتضمينه عند تنفيذ docker run باستخدام الوسيطة -v $(pwd)/rules.json:/root/truffleHog/rules.json.
• تبحث الأداة عن بعض التعبيرات المنتظمة الافتراضية. إذا لزم الأمر، يمكن أيضًا جعلها تبحث عن سلاسل عالية الإنتروبيا. كل هذا يحدث عبر أداة truffleHog.
• يمكنها البحث عن سلاسل عالية الإنتروبيا في ملفات .js و .json عبر أداة repo-supervisor.
• تقوم بمسح Gists المستخدمين، وهو ما لا تفعله معظم الأدوات.
• إذا كانت هناك أداة جديدة جيدة، يمكن دمجها في git-all-secrets بسهولة تامة.
• إنها مصممة للتكامل مع الأدوات والأطر الأخرى. تأخذ بعض معلمات الإدخال وتنتج ملف مخرجات للنتائج. مباشر جدًا!
• تدعم أيضًا مسح مؤسسات/مستخدمين/مستودعات/Gists Github Enterprise.
• معظم الأدوات المتوفرة مصممة لمسح المستودعات الفردية. إذا كنت تريد تكرارها على مستودعات متعددة، فسيتعين عليك كتابة حلقة for الخاصة بك في سكريبت شل أو شيء من هذا القبيل. يمكن لـ git-all-secrets مساعدتك في مسح مستودعات متعددة في وقت واحد.
• يمكنك الآن دمج المخرجات من كلتا الأداتين في ملف json يمكن استخدامه بعد ذلك في أنواع أخرى من الأدوات/الأطر الآلية.

الدافع

لقد نظرت إلى عدد كبير من أدوات المصدر المفتوح التي يمكن استخدامها للبحث عن الأسرار في مستودعات github. بعض من أفضل الأدوات التي اعتقدت أنها جيدة هي: gitrob و truffleHog و git-secrets.

Gitrob هي أداة مستقلة يصعب دمجها مع الأدوات الأخرى لأن لديها قاعدة بيانات وواجهة مستخدم خاصة بها لرؤية جميع الأسرار المكتشفة. كما أنها تنتج طنًا من الإيجابيات الخاطئة، أكثر من truffleHog. وهي لا تبرز الأسرار المكتشفة حقًا. إنها تنظر فقط إلى الملفات وامتداداتها، وليس المحتوى الفعلي. لذا، على الرغم من أن Gitrob هي أداة رائعة للبدء بها، إلا أنني أوصي بتشغيلها من وقت لآخر لفهم شكل سطح الهجوم ومعرفة ما إذا كان قد تغير.

ثم، هناك truffleHog التي تبحث عن الأسرار في المحتوى الفعلي للملف من خلال النظر في إنتروبيا شانون وتطبع المخرجات على الشاشة. تأخذ عنوان URL للمستودع أو دليل المستودع كوسيطة. هذه أداة جيدة جدًا على الرغم من أن لديها نصيبها من الإيجابيات الخاطئة. بعض العيوب الأخرى هي:

• لا يمكننا استخدامها بشكل متكرر لمسح الدلائل التي تحتوي على مستودعات متعددة.
• لا توجد طريقة يمكننا من خلالها استخدام truffleHog لتحديد الأسرار التي تتبع نمطًا معينًا ولكن ليس لديها إنتروبيا عالية بما يكفي، أي لا يمكننا جعلها تبحث عن الأسرار التي نعرفها ولكن ليس بالضرورة أن تكون عالية الإنتروبيا لاعتبارها سرًا.
• تطبع المخرجات على الشاشة لذا فهي ليست مفيدة حقًا للأتمتة على هذا النحو.

أخيرًا، هناك git-secrets التي يمكنها الإشارة إلى أشياء مثل أسرار AWS. أفضل جزء هو أنه يمكنك إضافة التعبيرات المنتظمة الخاصة بك أيضًا للأسرار التي تعلم أنها يجب أن تبحث عنها. عيب كبير هو أنها لا تقوم بعمل جيد في العثور على سلاسل عالية الإنتروبيا مثل truffleHog. يمكنك أيضًا فقط مسح دليل معين هو مستودع لذا لا يوجد مسح متكرر من دليل المستودعات أيضًا.

لذا، كما ترى، هناك أدوات لائقة متاحة، ولكن يجب دمجها بطريقة ما. كانت هناك أيضًا حاجة لمسح مستودعات متعددة بشكل متكرر وليس واحدًا فقط. وماذا عن Gists؟ هناك مؤسسات ومستخدمون. ثم، هناك مستودعات للمؤسسات والمستخدمين. هناك أيضًا Gists من قبل المستخدمين. يجب مسح كل هذه. ومسحها بطريقة يمكن أتمتتها واستهلاكها بسهولة بواسطة أدوات/أطر أخرى.

سجل التغييرات

• 2/9/19 - تمت إضافة علامة blacklist لتخطي بعض أسماء المستودعات أثناء المسح. شكرًا @sjqnn على الـ PR. تم بناء ودفع صورة Docker جديدة. استمتع!

• 7/31/18 - تم تبسيط تثبيت trugglehog باستخدام pip. قام @mhmdiaa بإصلاح خطأ بخصوص دالة إخراج trufflehog حيث لم تكن تدمج وترتب بشكل صحيح. تم تحديث ملف regex ليشمل أشياء مثل password. تم بناء ودفع صورة Docker جديدة. استمتع!

• 7/15/18 - تم تحديث fork repo-supervisor لأن upstream كانت لديه بعض التغييرات. تم إعادة بناء صورة Docker جديدة باستخدام أحدث إصدار من Trufflehog. تم توفير ملف rules.json الذي يحتوي على جميع التعبيرات المنتظمة التي يستخدمها Trufflehog للعثور على الأسرار. تمت إضافة القدرة على دمج المخرجات (في json) لكلتا الأداتين باستخدام العلامة -mergeOutput. تم تقليل حجم صورة Docker بشكل كبير باستخدام builds متعددة المراحل و dep لإدارة التبعيات. تحية كبيرة لـ @mhmdiaa على كل هذا!

• 12/12/17 - بالنسبة لبعض المستودعات الكبيرة، يفشل truffleHog ويخرج. لكننا لا نريد التوقف عند هذا الحد. نريد إخطار المستخدم بأن المسح فشل لهذا المستودع والاستمرار في مسح المستودعات الأخرى. تم تنفيذ هذا الآن في أحدث صورة Docker.

• 12/11/17 - تمت إزالة gitsecrets لأن truffleHog يدعم وظيفة regex الآن. ببساطة، إضافة التعبيرات المنتظمة الخاصة بك في ملف rules.json وإعادة بناء صورة Docker سيعطينا أساسًا الوظيفة التي كان يوفرها gitsecrets سابقًا، لذلك لا حاجة لـ gitsecrets بعد الآن. أضفت أيضًا دعمًا لمسح مستودعات Github Enterprise و Gists. ساعد @high-stakes في الحصول على PR قام (نأمل) بإصلاح خطأ Goroutine عن طريق الحد من عدد الخيوط. أخيرًا، تمت إضافة دعم مسح المستودعات الخاصة لمؤسسة أيضًا.

• 12/08/17 - تمت إزالة fork الخاص بي لـ truffleHog. أستخدم إصدار upstream الآن مع وظيفة regex الجديدة لـ truffleHog + وضع الإنتروبيا. قريبًا، أعتقد أنه يمكننا استبدال كل من gitsecrets و repo supervisor بـ truffleHog فقط بمجرد إصلاح بعض المشكلات.

• 12/07/17 - قمت بتحديث الوثائق بمزيد من التفاصيل والشرح حول العلامات المختلفة.

• 12/05/17 - تم دمج دعم مسح المستودعات الخاصة عبر مفتاح SSH. كان هذا مطلبًا لأطول فترة ومن الممكن الآن القيام بذلك. أيضًا، تم تغيير مخطط علامات صورة Docker. من الآن فصاعدًا، ستحمل أحدث صورة العلامة . وجميع الإصدارات السابقة ستكون موسومة برقم. كل هذا لم يكن ممكنًا بدون فريق ، وبالأخص Matthew Cox (). لذا، تحية كبيرة لك مات!

Donate

إذا كنت ترغب في إظهار بعض الحب، عنوان محفظة BTC الخاص بي هو 1PtMhXWCcMZCitcDfaEBe7jnV9sjKoNvq7.