dwisiswant0/galerHTML 속성에서 URL을 크롤링으로 가져오는 빠른 도구.
__
__ _ _(_ ) __ _ __
/'_ '\/'_' )| | /'__'( '__)
( (_) ( (_| || |( ___| |
'\__ '\__,_(___'\____(_)
( )_) |
\___/' @dwisiswant0
크롤인을 통해 HTML 속성에서 URL을 가져오는 빠른 도구입니다. @omespino의 트윗에서 영감을 받았으며, Chrome DevTools Protocol을 통해 JavaScript를 평가하여 src, href, url, action 값을 추출할 수 있습니다.
설치는 간단합니다. 릴리스 페이지에서 미리 빌드된 바이너리를 다운로드하여 압축을 풀고 실행하세요! 또는 다음 명령어로 설치할 수 있습니다.
▶ (sudo) curl -sSfL https://git.io/galer | sh -s -- -b /usr/local/bin
go1.22+ 컴파일러가 설치 및 구성되어 있다면:
▶ go install -v github.com/dwisiswant0/galer@latest
▶ git clone https://github.com/dwisiswant0/galer
▶ cd galer
▶ go build .
▶ (sudo) install galer /usr/local/bin
간단히 galer를 다음과 같이 실행할 수 있습니다:
▶ galer -u "http://domain.tld"
이것은 도구의 도움말을 표시합니다. 지원되는 모든 옵션입니다.
$ galer -h
__ v0.2.0
__ _ _(_ ) __ _ __
/'_ '\/'_' )| | /'__'( '__)
( (_) ( (_| || |( ___| |
'\__ '\__,_(___'\____(_)
( )_) |
\___/' @dwisiswant0
A fast tool to fetch URLs from HTML attributes by crawl-in
Usage:
galer -u [URL|URLs.txt] -o [output.txt]
Options:
-u, --url <URL/FILE> Target to fetches (single target URL or list)
-e, --extension <EXT> Show only certain extensions (comma-separated, e.g. js,php)
-c, --concurrency <N> Concurrency level (default: 50)
-w, --wait <N> Wait N seconds before evaluate (default: 1)
-d, --depth <N> Max. depth for crawling (levels of links to follow)
--same-host Same host only
--same-root Same root (eTLD+1) only (takes precedence over --same-host)
-o, --output <FILE> Save fetched URLs output into file
-T, --template <string> Format for output template (e.g., "{{scheme}}://{{host}}{{path}}")
Valid variables are: "raw_url", "scheme", "user", "username",
"password", "host", "hostname", "port", "path", "raw_path",
"escaped_path", "raw_query", "fragment", "raw_fragment".
-t, --timeout <N> Max. time (seconds) allowed for connection (default: 60)
-s, --silent Silent mode (suppress an errors)
-v, --verbose Verbose mode show error details unless you weren't use silent
-h, --help Display its helps
▶ galer -u "http://domain.tld"
▶ galer -u /path/to/urls.txt
▶ cat urls.txt | galer
다른 도구와 연결하려면:
▶ subfinder -d domain.tld -silent | httpx -silent | galer
galer를 라이브러리로 사용할 수 있습니다.
▶ go get github.com/dwisiswant0/galer/pkg/galer@latest
예를 들어:
package main
import (
"fmt"
"github.com/dwisiswant0/galer/pkg/galer"
)
func main() {
cfg := &galer.Config{
Timeout: 60,
}
cfg = galer.New(cfg)
run, err := cfg.Crawl("https://twitter.com")
if err != nil {
panic(err)
}
for _, url := range run {
fmt.Println(url)
}
}
여전히 혼란스럽거나 버그를 발견하셨다면 이슈를 열어주세요. 모든 버그 리포트는 감사히 받습니다. 일부 기능은 시간 부족으로 아직 테스트되지 않았습니다.
[!CAUTION] galer는 아직 1.0에 도달하지 않았습니다. 따라서 이 라이브러리는 현재 지원되지 않으며 안정적인 API를 제공하지 않습니다. 사용 시 주의하세요.
이 라이브러리의 API는 안정성을 보장하지 않으며, 크게 변경되지 않을 것으로 예상되지만 API 조정 및 버그 수정이 발생할 수 있습니다.
id_ID • /gäˈlər/ — kalau galer jangan dicium baunya, langsung cuci tangan, bego!
sebel은 MIT 라이선스 하에 @dwisiswant0에 의해 공개되었습니다. LICENSE를 참조하세요.