__
   __    _ _(_ )   __  _ __ 
 /'_ '\/'_' )| | /'__'( '__)
( (_) ( (_| || |(  ___| |
'\__  '\__,_(___'\____(_)
( )_) |
 \___/'  @dwisiswant0

▶ (sudo) curl -sSfL https://git.io/galer | sh -s -- -b /usr/local/bin

▶ go install -v github.com/dwisiswant0/galer@latest

▶ git clone https://github.com/dwisiswant0/galer
▶ cd galer
▶ go build .
▶ (sudo) install galer /usr/local/bin

▶ galer -u "http://domain.tld"

$ galer -h

             __   v0.2.0
   __    _ _(_ )   __  _ __
 /'_ '\/'_' )| | /'__'( '__)
( (_) ( (_| || |(  ___| |
'\__  '\__,_(___'\____(_)
( )_) |
 \___/'  @dwisiswant0

أداة سريعة لجلب عناوين URL من سمات HTML عبر الزحف

الاستخدام:
  galer -u [URL|URLs.txt] -o [output.txt]

الخيارات:
  -u, --url <URL/FILE>        الهدف المراد الجلب منه (رابط واحد أو قائمة)
  -e, --extension <EXT>       إظهار امتدادات معينة فقط (مفصولة بفواصل، مثل js,php)
  -c, --concurrency <N>       مستوى التزامن (الافتراضي: 50)
  -w, --wait <N>              الانتظار لمدة N ثانية قبل التقييم (الافتراضي: 1)
  -d, --depth <N>             أقصى عمق للزحف (مستويات الروابط التي سيتم متابعتها)
      --same-host             نفس المضيف فقط
      --same-root             نفس الجذر (eTLD+1) فقط (له أولوية على --same-host)
  -o, --output <FILE>         حفظ مخرجات عناوين URL المجلوبة في ملف
  -T, --template <string>     تنسيق قالب المخرجات (مثال: "{{scheme}}://{{host}}{{path}}")
                              المتغيرات الصالحة هي: "raw_url", "scheme", "user", "username",
                              "password", "host", "hostname", "port", "path", "raw_path",
                              "escaped_path", "raw_query", "fragment", "raw_fragment".
  -t, --timeout <N>           أقصى وقت (بالثواني) مسموح للاتصال (الافتراضي: 60)
  -s, --silent                الوضع الصامت (كتم الأخطاء)
  -v, --verbose               الوضع المفصّل يعرض تفاصيل الأخطاء ما لم تستخدم الصامت
  -h, --help                  عرض المساعدة

▶ galer -u "http://domain.tld"

▶ galer -u /path/to/urls.txt

▶ cat urls.txt | galer

▶ subfinder -d domain.tld -silent | httpx -silent | galer

▶ go get github.com/dwisiswant0/galer/pkg/galer@latest

package main

import (
	"fmt"

	"github.com/dwisiswant0/galer/pkg/galer"
)

func main() {
	cfg := &galer.Config{
		Timeout: 60,
	}
	cfg = galer.New(cfg)

	run, err := cfg.Crawl("https://twitter.com")
	if err != nil {
		panic(err)
	}

	for _, url := range run {
		fmt.Println(url)
	}
}