git-vuln-finder

git-vuln-finder logo

git कमिट संदेशों से संभावित सॉफ़्टवेयर कमज़ोरियाँ ढूँढना। आउटपुट प्रारूप JSON है जिसमें संबंधित कमिट शामिल है जिसमें सॉफ़्टवेयर कमज़ोरी के संबंध में एक फिक्स हो सकता है। खोज केवल कमिट संदेशों के विरुद्ध नियमित अभिव्यक्तियों के एक सेट पर आधारित है। यदि CVE IDs मौजूद हैं, तो वे स्वचालित रूप से आउटपुट में जोड़ दिए जाते हैं। इनपुट कोई भी git रिपॉजिटरी या GH आर्काइव स्रोत हो सकता है।

आवश्यकताएँ

jq (sudo apt install jq)
Python poetry

स्थापना

इसे एक लाइब्रेरी के रूप में उपयोग करें

git-vuln-finder को poetry के साथ स्थापित किया जा सकता है। यदि आपके पास poetry स्थापित नहीं है, तो आप निम्नलिखित कर सकते हैं curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python।

$ poetry install
$ poetry shell
$ git-vuln-finder -h

आप pip का भी उपयोग कर सकते हैं। फिर इसे आयात करें:

Python 3.8.0 (default, Dec 11 2019, 21:43:13)
[GCC 9.2.1 20191008] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from git_vuln_finder import find
>>> all_potential_vulnerabilities, all_cve_found, found = find("~/git/curl")

>>> [commit for commit, summary in all_potential_vulnerabilities.items() if summary['state'] == 'cve-assigned']
['9069838b30fb3b48af0123e39f664cea683254a5', 'facb0e4662415b5f28163e853dc6742ac5fafb3d',
... snap ...
 '8a75dbeb2305297640453029b7905ef51b87e8dd', '1dc43de0dccc2ea7da6dddb7b98f8d7dcf323914', '192c4f788d48f82c03e9cef40013f34370e90737', '2eb8dcf26cb37f09cffe26909a646e702dbcab66', 'fa1ae0abcde5df8d0b3283299e3f246bedf7692c', 'c11c30a8c8d727dcf5634fa0cc6ee0b4b77ddc3d', '75ca568fa1c19de4c5358fed246686de8467c238', 'a20daf90e358c1476a325ea665d533f7a27e3364', '042cc1f69ec0878f542667cb684378869f859911']

 >>> print(json.dumps(all_potential_vulnerabilities['9069838b30fb3b48af0123e39f664cea683254a5'], sort_keys=True, indent=4, separators=(",", ": ")))
 {
     "author": "Daniel Stenberg",
     "author-email": "[email protected]",
     "authored_date": 1567544372,
     "branches": [
         "master"
     ],
     "commit-id": "9069838b30fb3b48af0123e39f664cea683254a5",
     "committed_date": 1568009674,
     "cve": [
         "CVE-2019-5481",
         "CVE-2019-5481"
     ],
     "language": "en",
     "message": "security:read_data fix bad realloc()\n\n... that could end up a double-free\n\nCVE-2019-5481\nBug: https://curl.haxx.se/docs/CVE-2019-5481.html\n",
     "origin": "https://github.com/curl/curl.git",
     "origin-github-api": "https://api.github.com/repos///github.com/curl/curl/commits/9069838b30fb3b48af0123e39f664cea683254a5",
     "pattern-matches": [
         "double-free"
     ],
     "pattern-selected": "(?i)(double[-| ]free|buffer overflow|double free|race[-| ]condition)",
     "state": "cve-assigned",
     "stats": {
         "deletions": 4,
         "files": 1,
         "insertions": 2,
         "lines": 6
     },
     "summary": "security:read_data fix bad realloc()",
     "tags": []
 }

इसे कमांड लाइन टूल के रूप में उपयोग करें

$ git clone https://github.com/cve-search/git-vuln-finder.git
$ cd https://github.com/cve-search/git-vuln-finder.git
$ pip install .
$ git-vuln-finder --help

आप pip का भी उपयोग कर सकते हैं। pipx Python पैकेजों द्वारा प्रदान की गई स्क्रिप्ट्स (सिस्टम-वाइड उपलब्ध) को अलग-अलग वर्चुअलएन्व में स्थापित करता है ताकि उन्हें आपके सिस्टम और एक-दूसरे से बचाया जा सके।

उपयोग

usage: git-vuln-finder [-h] [-v] [-r R] [-o O] [-s S] [-p P] [-c] [-t] [-gh GH]

Finding potential software vulnerabilities from git commit messages.

optional arguments:
  -h, --help  show this help message and exit
  -v          increase output verbosity
  -r R        git repository to analyse
  -o O        Output format: [json]
  -s S        State of the commit found
  -p P        Matching pattern to use: [vulnpatterns, cryptopatterns, cpatterns] - the pattern 'all' is used to match all the patterns at once.
  -c          output only a list of the CVE pattern found in commit messages (disable by default)
  -t          Include tags matching a specific commit
  -gh GH      special option for gharchive, pass a file containing a PushEvent in JSON format

More info: https://github.com/cve-search/git-vuln-finder

पैटर्न

git-vuln-finder 3 डिफ़ॉल्ट पैटर्न के साथ आता है जिन्हें कमिट संदेशों में वर्णित संभावित कमज़ोरियों को खोजने के लिए चुना जा सकता है, जैसे:

vulnpatterns एक सामान्य कमज़ोरी पैटर्न है जो विशेष रूप से वेब एप्लिकेशन और सामान्य सुरक्षा कमिट संदेशों को लक्षित करता है। एक अकादमिक पेपर पर आधारित।
cryptopatterns कमिट संदेशों में उल्लिखित क्रिप्टोग्राफ़िक त्रुटियों के लिए एक कमज़ोरी पैटर्न है।
cpatterns C/C++-जैसी भाषाओं के लिए देखे जाने वाले मानक कमज़ोरी पैटर्न का एक सेट है।

Curl git रिपॉजिटरी से एक नमूना आंशिक आउटपुट

$ git-vuln-finder -r ~/git/curl | jq .
...
 "6df916d751e72fc9a1febc07bb59c4ddd886c043": {
    "message": "loadlibrary: Only load system DLLs from the system directory\n\nInspiration provided by: Daniel Stenberg and Ray Satiro\n\nBug: https://curl.haxx.se/docs/adv_20160530.html\n\nRef: Windows DLL hijacking with curl, CVE-2016-4802\n",
    "language": "en",
    "commit-id": "6df916d751e72fc9a1febc07bb59c4ddd886c043",
    "summary": "loadlibrary: Only load system DLLs from the system directory",
    "stats": {
      "insertions": 180,
      "deletions": 8,
      "lines": 188,
      "files": 7
    },
    "author": "Steve Holme",
    "author-email": "[email protected]",
    "authored_date": 1464555460,
    "committed_date": 1464588867,
    "branches": [
      "master"
    ],
    "pattern-selected": "(?i)(denial of service |\bXXE\b|remote code execution|\bopen redirect|OSVDB|\bvuln|\bCVE\b |\bXSS\b|\bReDoS\b|\bNVD\b|malicious|x−frame−options|attack|cross site |exploit|malicious|directory traversal |\bRCE\b|\bdos\b|\bXSRF \b|\bXSS\b|clickjack|session.fixation|hijack|\badvisory|\binsecure |security |\bcross−origin\b|unauthori[z|s]ed |infinite loop)",
    "pattern-matches": [
      "hijack"
    ],
    "origin": "[email protected]:curl/curl.git",
    "origin-github-api": "https://api.github.com/repos/curl/curl/commits/6df916d751e72fc9a1febc07bb59c4ddd886c043",
    "tags": [],
    "cve": [
      "CVE-2016-4802"
    ],
    "state": "cve-assigned"
  },
  "c2b3f264cb5210f82bdc84a3b89250a611b68dd3": {
    "message": "CONNECT_ONLY: don't close connection on GSS 401/407 reponses\n\nPreviously, connections were closed immediately before the user had a\nchance to extract the socket when the proxy required Negotiate\nauthentication.\n\nThis regression was brought in with the security fix in commit\n79b9d5f1a42578f\n\nCloses #655\n",
    "language": "en",
    "commit-id": "c2b3f264cb5210f82bdc84a3b89250a611b68dd3",
    "summary": "CONNECT_ONLY: don't close connection on GSS 401/407 reponses",
    "stats": {
      "insertions": 4,
      "deletions": 2,
      "lines": 6,
      "files": 1
    },
    "author": "Marcel Raad",
    "author-email": "[email protected]",
    "authored_date": 1455523116,
    "committed_date": 1461704516,
    "branches": [
      "master"
    ],
    "pattern-selected": "(?i)(denial of service |\bXXE\b|remote code execution|\bopen redirect|OSVDB|\bvuln|\bCVE\b |\bXSS\b|\bReDoS\b|\bNVD\b|malicious|x−frame−options|attack|cross site |exploit|malicious|directory traversal |\bRCE\b|\bdos\b|\bXSRF \b|\bXSS\b|clickjack|session.fixation|hijack|\badvisory|\binsecure |security |\bcross−origin\b|unauthori[z|s]ed |infinite loop)",
    "pattern-matches": [
      "security "
    ],
    "origin": "[email protected]:curl/curl.git",
    "origin-github-api": "https://api.github.com/repos/curl/curl/commits/c2b3f264cb5210f82bdc84a3b89250a611b68dd3",
    "tags": [],
    "state": "under-review"
  },
...

git संदेशों से CVE id(s) निकालना

  "98d132cf6a879faf0147aa83ea0c07ff326260ed": {
    "message": "Add a macro for testing assertion in both debug and production builds\n\nIf we have an assert then in a debug build we want an abort() to occur.\nIn a production build we wan
t the function to return an error.\n\nThis introduces a new macro to assist with that. The idea is to replace\nexisting use of OPENSSL_assert() with this new macro. The problem with\nOPENSSL
_assert() is that it aborts() on an assertion failure in both debug\nand production builds. It should never be a library's decision to abort a\nprocess (we don't get to decide when to kill t
he life support machine or\nthe nuclear reactor control system). Additionally if an attacker can\ncause a reachable assert to be hit then this can be a source of DoS attacks\ne.g. see CVE-20
17-3733, CVE-2015-0293, CVE-2011-4577 and CVE-2002-1568.\n\nReviewed-by: Tim Hudson <[email protected]>\n(Merged from https://github.com/openssl/openssl/pull/3496)",
    "commit-id": "98d132cf6a879faf0147aa83ea0c07ff326260ed",
    "summary": "Add a macro for testing assertion in both debug and production builds",
    "stats": {
      "insertions": 18,
      "deletions": 0,
      "lines": 18,
      "files": 1
    },
    "author": "Matt Caswell",
    "author-email": "[email protected]",
    "authored_date": 1495182637,
    "committed_date": 1495457671,
    "branches": [
      "master"
    ],
    "pattern-selected": "(?i)(denial of service |\bXXE\b|remote code execution|\bopen redirect|OSVDB|\bvuln|\bCVE\b |\bXSS\b|\bReDoS\b|\bNVD\b|malicious|x−frame−options|attack|cross site |ex
ploit|malicious|directory traversal |\bRCE\b|\bdos\b|\bXSRF \b|\bXSS\b|clickjack|session.fixation|hijack|\badvisory|\binsecure |security |\bcross−origin\b|unauthori[z|s]ed |infinite loop)",
    "pattern-matches": [
      "attack"
    ],
    "cve": [
      "CVE-2017-3733",
      "CVE-2015-0293",
      "CVE-2011-4577",
      "CVE-2002-1568"
    ],
    "state": "cve-assigned"
  }

विशेष gharchive विकल्प के लिए उपयोग

$ git-vuln-finder -gh ../tests/gharchive_test.json

gh पैरामीटर के लिए मान एक json फ़ाइल होनी चाहिए, जिसमें प्रत्येक PushEvent का एक सरणी हो जिसे आप परीक्षण करना चाहते हैं।

[
   {
    "id": "19351512310",
    "type": "PushEvent",
    "actor": {
      "id": 32466128,
      "login": "DavidCruciani",
      "display_login": "DavidCruciani",
      "gravatar_id": "",
      "url": "https://api.github.com/users/DavidCruciani",
      "avatar_url": "https://avatars.githubusercontent.com/u/32466128?"
    },
    "repo": {
      "id": 424660123,
      "name": "ail-project/ail-feeder-gharchive",
      "url": "https://api.github.com/repos/ail-project/ail-feeder-gharchive"
    },
    "payload": {
      "push_id": 8628652926,
      "size": 1,
      "distinct_size": 1,
      "ref": "refs/heads/main",
      "head": "910ed71a2819546a3f3bcce1ebb9e3984a8c8d86",
      "before": "40a9ef5dc6b2add5184a0a58401bfe9058faa8df",
      "commits": [
        {
          "sha": "910ed71a2819546a3f3bcce1ebb9e3984a8c8d86",
          "author": {
            "email": "[email protected]",
            "name": "David Cruciani"
          },
          "message": "chg: [feeder] case sensitive",
          "distinct": true,
          "url": "https://api.github.com/repos/ail-project/ail-feeder-gharchive/commits/910ed71a2819546a3f3bcce1ebb9e3984a8c8d86"
        }
      ]
    },
    "public": true,
    "created_at": "2021-12-15T16:06:43Z",
    "org": {
      "id": 62389074,
      "login": "ail-project",
      "gravatar_id": "",
      "url": "https://api.github.com/orgs/ail-project",
      "avatar_url": "https://avatars.githubusercontent.com/u/62389074?"
    }
  }
]

आयात के लिए उपयोग

यदि लक्ष्य मॉड्यूल को उपयोग करने के लिए आयात करना है, तो कॉल करने की विधि find_event है

from git_vuln_finder import find_event

for element in event:
    for i in range(0,len(element["payload"]["commits"])):
        all_potential_vulnerabilities, all_cve_found, found = find_event(element["payload"]["commits"][i], element)

gharchive विकल्प के साथ आउटपुट

{
    "repo_name": "LeandroFChaves/gerenciador-alunos",
    "message": "[UI] - Ajustes no css da aplica\u00e7\u00e3o\n\n- Adicionado padding para a exibi\u00e7\u00e3o do conte\u00fado das p\u00e1ginas;\n- Alinhado os bot\u00f5es de a\u00e7\u00f5es dos forms a direita da table",
    "language": "pt",
    "commit-id": "73a1c68b520853198eaac199a41d141ee96dc64d",
    "author": "LeandroFChaves",
    "author-email": "[email protected]",
    "authored_date": "2021-10-01T03:00:07Z",
    "branches": "refs/heads/master",
    "pattern-selected": "(?i)(denial of service|\\bXXE\\b|remote code execution|\\bopen redirect|OSVDB|\\bvuln|\\bCVE\\b|\\bXSS\\b|\\bReDoS\\b|\\bNVD\\b|malicious|x\u2212frame\u2212options|attack|cross site|exploit|malicious|directory traversal|\\bRCE\\b|\\bdos\\b|\\bXSRF \\b|\\bXSS\\b|clickjack|session.fixation|hijack|\\badvisory|\\binsecure|security|\\bcross\u2212origin\\b|unauthori[z|s]ed|infinite loop)",
    "pattern-matches": [
        "dos"
    ],
    "origin-github-api": "https://api.github.com/repos/LeandroFChaves/gerenciador-alunos/commits/73a1c68b520853198eaac199a41d141ee96dc64d",
    "state": "under-review"
}

परीक्षण चलाना

$ pytest

चेतावनी

git-vuln-finder एक स्वचालित उपकरण है जो विशिष्ट कीवर्ड के आधार पर कमिट संदेशों में संभावित कमज़ोरियों का पता लगाता है। यदि आप खोजी गई कमज़ोरी की जानकारी, जैसे कि CVE पंजीकरण, का उपयोग करने का इरादा रखते हैं, तो कृपया आगे बढ़ने से पहले सॉफ़्टवेयर के लेखकों के साथ खोजी गई कमज़ोरियों की समीक्षा करें।

लाइसेंस और लेखक

यह सॉफ़्टवेयर मुफ़्त सॉफ़्टवेयर है और AGPL संस्करण 3 के तहत लाइसेंस प्राप्त है।

कॉपीराइट (c) 2019-2023 एलेक्ज़ेंडर डुलौनी - https://github.com/adulau/
कॉपीराइट (c) 2019-2023 परियोजना के सभी योगदानकर्ता

आभार

जीन-लुई ह्यूएनन का धन्यवाद क्रिप्टो कमज़ोरी पैटर्न के बारे में चर्चा के लिए।
सेबेस्टियन ट्रिकाउड का धन्यवाद मूल भाषा, कमिट संदेशों और बाहरी पैटर्न के बारे में चर्चा के लिए।
सेड्रिक बोनहोम का धन्यवाद git-vuln-finder को Python लाइब्रेरी बनाने, परीक्षण जोड़ने और समग्र स्थापना प्रक्रिया में सुधार करने के लिए।
डेविड क्रूसियानी का धन्यवाद gharchive के समर्थन के लिए।

योगदान

हम सॉफ़्टवेयर और विशेष रूप से अतिरिक्त कमज़ोरी पैटर्न के लिए योगदान का स्वागत करते हैं। प्रत्येक योगदानकर्ता को AUTHORS फ़ाइल में जोड़ा जाएगा और सामूहिक रूप से इस ओपन सोर्स सॉफ़्टवेयर का स्वामित्व होगा। योगदानकर्ता डेवलपर सर्टिफिकेट ऑफ़ ओरिजिन को स्वीकार करते हैं।

संदर्भ

नोट्स
https://csce.ucmss.com/cr/books/2017/LFS/CSREA2017/ICA2077.pdf (मुख्य रूप से कमिट संदेश में संदर्भित CVE का उपयोग करते हुए) - संग्रह (http://archive.is/xep9o)
https://asankhaya.github.io/pdf/automated-identification-of-security-issues-from-commit-messages-and-bug-reports.pdf (2 मुख्य रेगेक्स)

git-vuln-finder

सबसे लोकप्रिय

git-vuln-finder

आवश्यकताएँ

स्थापना

इसे एक लाइब्रेरी के रूप में उपयोग करें

इसे कमांड लाइन टूल के रूप में उपयोग करें

उपयोग

पैटर्न

Curl git रिपॉजिटरी से एक नमूना आंशिक आउटपुट

विशेष gharchive विकल्प के लिए उपयोग

आयात के लिए उपयोग

gharchive विकल्प के साथ आउटपुट

परीक्षण चलाना

चेतावनी

लाइसेंस और लेखक

आभार

योगदान

संदर्भ