
๐ - tor ๋คํธ์ํฌ ์ฌ์ดํธ์์ ํค์๋๋ฅผ ๊ฒ์ํ๋ ํฌ๋กค๋ฌ์ ๋๋ค.
tor ๋คํธ์ํฌ ์ฌ์ดํธ์์ ํค์๋๋ฅผ ๊ฒ์ํ๋ ํฌ๋กค๋ฌ.
VigilantOnion์ ์ฌ์ด๋ฒ ์ํ ์ธํ ๋ฆฌ์ ์ค ํ์ด tor ๋คํธ์ํฌ์์ ์ํ๋ ์กฐํ์ ์ต์์ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ํฐ๋งํ๊ณ ์ป์ ์ ์๋๋ก ๋ณด์ํด ์ค๋๋ค.
๊ด๋ฆฌ ๋ฐ ๋์๋ณด๋ ์์ฑ์ ์ํด django๋ฅผ ์ฌ์ฉํ ์ฒซ ๋ฒ์งธ ๋ฒ์ ์์๋ ์ฌ์ฉ์ ํฐ ์ด๋ ค์์ด ์์์ต๋๋ค. ์ด ์๋ก์ด ๋ฒ์ ์์๋ ์กฐํ ๋ฐฉ์๊ณผ ์คํ์ ์ ๊ฑฐํ๋ ๋ฐฉ๋ฒ๋ก ์ด ๋ ๊ฐ์ ๋์์ต๋๋ค.
์คํ์ ์ ๊ฑฐํ๊ณ ์ ํ๋๋ฅผ ๋ ๋์ด๊ธฐ ์ํด, ์๋ ๊ทธ๋ฆผ๊ณผ ๊ฐ์ด ๊ฐ์ฅ ๊ด๋ จ์ฑ์ด ๋๋ค๊ณ ํ๋จ๋๋ ๊ท์น์ ๋์ ๊ฐ์ ์ค์ ํ์ฌ yararule๊ณผ notes๋ฅผ ์ฌ์ฉํ๊ณ ์์ต๋๋ค:

์ด ๊ฐ๋ค์ ๋์ ์ด๋ฉฐ ํ์์ ๋ฐ๋ผ ๋ณ๊ฒฝํ ์ ์์ต๋๋ค.
์นดํ ๊ณ ๋ฆฌ ํ์ผ๊ณผ ํค์๋ ํ์ผ ๋ชจ๋์ ์๋ก์ด yararule์ ์ถ๊ฐํ ์ ์์ผ๋ฏ๋ก, ์คํ์ ์ ๊ฑฐํ๊ณ ๋ ๋ง์กฑ์ค๋ฌ์ด ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ต๋๋ค.
์ค์ ํ์ผ์์ ๋ณ๊ฒฝํด์ผ ํ ์ฌํญ์ ๋ง์ง ์์ง๋ง, ์คํฌ๋ฆฝํธ ์ฌ์ฉ์ ๋งค์ฐ ์ค์ํฉ๋๋ค.
์๋ ํ๋๋ tor ๋คํธ์ํฌ ํ๋ก์ ๊ตฌ์ฑ์ฉ์ด๋ฉฐ, Windows์์ ์คํฌ๋ฆฝํธ๋ฅผ ์คํํ๋ ๊ฒฝ์ฐ ํฌํธ๊ฐ ๋ณดํต 9051๋ก ๋ณ๊ฒฝ๋ฉ๋๋ค
server_proxy: localhost
port_proxy: 9050
type_proxy: socks5h
timeout ์๋ฒ ํ๋๋ ์์ฒญ์ ๊ธฐ๋ค๋ฆฌ๋ ์๊ฐ์ ๊ฒฐ์ ํ๋ ๊ฒ์ผ๋ก, ์๊ฐ์ด ๊ธธ์๋ก ์คํฌ๋ฆฝํธ ์คํ ์๊ฐ์ด ๊ธธ์ด์ง ์ ์์ต๋๋ค.
timeout: 30
score ์๋ฒ ํ๋๋ URL์ด ํฌ๋กค๋ง๋์ด syslog๋ก ์ ์ก๋๊ธฐ ์ํ ์ต์ ์ ์ ๊ฐ์ ๊ฒฐ์ ํ๋ ๊ฒ์ ๋๋ค.
score_categorie: 20
score_keywords: 40
์ผ๋ถ URL์ ์คํ๋ผ์ธ ์ํ๊ฐ ๋๋ฉฐ ๋ค์ ๋์์ฌ์ง ์๊ธฐ ์ด๋ ต๊ธฐ ๋๋ฌธ์, ์ต๋ ์๋ ํ์๋ฅผ ์ง์ ํ ์ ์๋ ์นด์ดํฐ๋ฅผ ๋ง๋ค์์ผ๋ฉฐ, ์ด ํ์์ ๋๋ฌํ๋ฉด ์คํฌ๋ฆฝํธ๋ ๋ ์ด์ ํด๋น URL์ ์ ๊ทผ์ ์๋ํ์ง ์์ต๋๋ค.
count_categories: 5
URL์์ ํฌ๋กค๋ง์ด ์ํ๋ ๋๋ง๋ค ๋ง์ง๋ง ์ค์บ ๋ ์ง์ ํจ๊ป ์ ์ฅ๋๋ฉฐ, ๋์ผํ URL์ ๋ํด ์ค์บ ์ฌ์ด์ ์ผ์ ์ ํ์ ์ง์ ํ ์ ์์ต๋๋ค.
daystime: 10
๊ทธ๋ฆฌ๊ณ ๋ง์ง๋ง์ผ๋ก ๋ ์ด์ django๋ฅผ ์ฌ์ฉํ์ง ์์ผ๋ฏ๋ก, ์ด์ ๊ฒฐ๊ณผ๋ฅผ ๋ณด๋ ค๋ฉด Splunk๋ ELK ๊ฐ์ syslog๊ฐ ํ์ํ๋ฉฐ, ์ฌ๊ธฐ์์ ์ ์ํ๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค
sendlog: True
logport: 5151
logip: "localhost"
์ฌ์ฉ๋ฒ์ ๋ ๊ฐ๋จํฉ๋๋ค. tor์ python ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ง ์ค์น๋์ด ์์ผ๋ฉด ๋๋ฉฐ, ์ด๋ฅผ ์ํด ์๋ ๋ช ๋ น์ ์คํํ์ธ์:
pip install -r requirements.txt
tor ํด๋ผ์ด์ธํธ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค์น ํ --help ๋ช
๋ น์ ์ฌ์ฉํ์ฌ ์ฌ์ฉ๋ฒ์ ๋ํ ์ธ๋ถ ์ ๋ณด๋ฅผ ํ์ธํ์ธ์.
โ python3 observer.py -h
usage: observer.py [-h] [--config CONFIG] [--crawler] [--url URL] [--search]
[--engines ENGINES] [--find FIND] [--pastebin PASTEBIN]
VigilantOnion is a script to collect as many sites from the onion network as
possible and add them to a database. With all possible sites collected, a
crawler will be created so that we can monitor the search for keywords defined
by you.
optional arguments:
-h, --help show this help message and exit
--config CONFIG, -c CONFIG
Configuration file in yaml format
--crawler Starts the TOR network URL crawler process.
--url URL, -u URL Specifies the URL to crawl.
--search Start the URL search process on the surface. Select a
framework where you want to search for urls.
--engines ENGINES, -e ENGINES
Validates the available engines for searching URLs.
--find FIND, -f FIND Search for arguments on .onion network research sites
--pastebin PASTEBIN Search for .onion urls in pastebin paste.
You can also develop new framework so that the database has more urls onions.
์คํฌ๋ฆฝํธ๊ฐ ์๋ํ๋ ค๋ฉด ์๋ก์ด URL์ด ํ์ํ๋ฉฐ, ์ด๋ฅผ ์ํด ์๋ ์์์ฒ๋ผ ํ๋ฉด์์ URL์ ๊ฒ์ํ๋ ๋ฉ์๋๋ฅผ ๋ง๋ค์์ต๋๋ค:
python3.6 observer.py --config config/config.yml --search -e "gist,reddit,cybersecuritynews,discoverdarkwebservice"
์๋ ์์์ฒ๋ผ pastebin ํ์ผ์์ ์ง์ URL์ ๊ฐ์ ธ์ฌ ์๋ ์์ต๋๋ค:
python3.6 observer.py --config config/config.yml --search --pastebin "s7TPZCKz,kSaYqtVX,0GYEEApe,3qkqyqiM,RfgBLg5Q,gtksBij4,FpPzQKHg,wB0uh00r,jDGJhQCC,q6DZ9U,ac2TnUjY,pv4xRWXQ,PgLUE7pF,9XW5Pc7R,hqyGMi7e,UZRM2z8y,7tQvV5CU,9JhVq3H3,Cb5HTydt,kMW5wp3N,v5Yq66sH,2q3SsR3a,gnd8jx97,QwSJYhYF,iNydrDfe"
URL์ ์ด๋ ์ ๋ ์์งํ ํ์๋ ํฌ๋กค๋ฌ ํ๋ก์ธ์ค๋ฅผ ์์ํ ์ ์์ต๋๋ค. ์ฒซ ๋ฒ์งธ ์คํ์ด ๊ฐ์ฅ ์ค๋ ๊ฑธ๋ฆฐ๋ค๋ ์ ์ ๊ธฐ์ตํ์ธ์. ์น์ฌ์ดํธ ์ฝํ ์ธ ์ ๋ถ๋ฅ ๋ฐ ๋ฒ์ฃผํ๊ฐ ๋ฐ๋ก ์ด ๋จ๊ณ์์ ์ด๋ฃจ์ด์ง๊ธฐ ๋๋ฌธ์ ๋๋ค.
python3.6 observer.py --config config/config.yml --crawler
๋จ์ผ URL์ ํฌ๋กค๋งํ๋ ค๋ฉด ๋ค์์ ์ฌ์ฉํ์ธ์:
python3.6 observer.py --config config/config.yml --crawler --url "76qugh5bey5gum7l.onion"
๊ฒฐ๊ณผ์ ์ถ๋ ฅ์ json์ด๋ฉฐ, ๋์ผํ ํ์์ผ๋ก ์ ํํ syslog๋ก ์ ์ก๋ฉ๋๋ค.
{
"lastscan": "2020-06-29",
"id": 10760,
"type": "URI",
"url": "lolitmhfkpif7sky.onion",
"title": "Lolita Club",
"baseurl": "vyqi2nm36otufrgg.onion",
"status": "Online",
"count_status": 0,
"source": "Script",
"categorie": [
{
"full_categorie": [
"no_match"
],
"score_categorie": 0
}
],
"keywords": [
{
"full_keywords": [
"no_match"
],
"score_keywords": 0
}
],
"discovery_date": "2020-06-29 14:24"
}
์ ๋ splunk๋ฅผ ์ฌ์ฉํ๋ฉฐ, ์ฌ๋ฌ๋ถ๋ ์ ๋์๋ณด๋์ฒ๋ผ ๋ณด์ด๊ฒ ๋ง๋ค ์ ์์ต๋๋ค:

ํ๋ก์ ํธ์ ํ๋ ฅํ๊ธฐ ์ํด ์์ ๋กญ๊ฒ ํฌํฌํ๊ฑฐ๋ ์ด์๋ฅผ ์ด์ด ์ฃผ์ธ์.
์ปค๋ฎค๋ํฐ์์ ๊ฐ์ฅ ๋ง์ด ์ฌ์ฉ๋๋ ๋๊ตฌ๋ฅผ ์ฐพ์๋ณด์ธ์.
์์ง ์ธ๊ธฐ ๋ฐ์ดํฐ๊ฐ ์์ต๋๋ค.