
Легкий и быстрый обмен файлами из командной строки.
Обход IP-фильтра и HTTP-аутентификации через подделку неаутентифицированного заголовка X-Forwarded-For
Простой и быстрый обмен файлами из командной строки. Этот код содержит сервер со всем необходимым для создания собственного экземпляра.
Transfer.sh в настоящее время поддерживает провайдеров s3 (Amazon S3), gdrive (Google Drive), storj (Storj) и локальную файловую систему (local).
@stefanbenten является мейнтейнером этого репозитория и человеком, который хостит известную публичную установку программного обеспечения из репозитория.
Однако эти две вещи не связаны между собой, и репозиторий не является местом для направления запросов и проблем, связанных с любой из публичных установок.
Никакие сторонние публичные установки программного обеспечения из репозитория не будут рекламироваться или упоминаться в самом репозитории по соображениям безопасности.
Официальная позиция меня, @aspacca, как мейнтейнера репозитория, заключается в том, что если вы хотите использовать программное обеспечение, вы должны размещать свою собственную установку.
В этом разделе описано, как использовать transfer.sh
$ curl -v --upload-file ./hello.txt https://transfer.sh/hello.txt
<br />
### Шифрование и загрузка```bash
$ gpg --armor --symmetric --output - /tmp/hello.txt | curl --upload-file - https://transfer.sh/test.txt
$ curl https://transfer.sh/1lDau/test.txt | gpg --decrypt --output /tmp/hello.txt
<br />
### Загрузить в Virustotal```bash
$ curl -X PUT --upload-file nhgbhhj https://transfer.sh/test.txt/virustotal
$ curl -X DELETE
<br />
---
<br />
## Заголовки запросов
В этом разделе объясняется, как обрабатывать заголовки запросов с помощью curl:
<br />
### Max-Downloads```bash
$ curl --upload-file ./hello.txt https://transfer.sh/hello.txt -H "Max-Downloads: 1" # Limit the number of downloads
$ curl --upload-file ./hello.txt https://transfer.sh/hello.txt -H "Max-Days: 1" # Set the number of days before deletion
<br />
### X-Encrypt-Password
#### Осторожно, используйте эту функцию только на вашем собственном сервере: доверие стороннему сервису для шифрования на стороне сервера осуществляется на ваш собственный риск.```bash
$ curl --upload-file ./hello.txt https://your-transfersh-instance.tld/hello.txt -H "X-Encrypt-Password: test" # Encrypt the content server side with AES256 using "test" as password
$ curl https://your-transfersh-instance.tld/BAYh0/hello.txt -H "X-Decrypt-Password: test" # Decrypt the content server side with AES256 using "test" as password
<br />
---
<br />
## Заголовки ответов
В этом разделе объясняется, как обрабатывать заголовки ответов:
<br />
### X-Url-Delete
URL, используемый для запроса на удаление файла и возвращаемый в качестве заголовка ответа:```bash
curl -sD - --upload-file ./hello.txt https://transfer.sh/hello.txt | grep -i -E 'transfer\.sh|x-url-delete'
x-url-delete: https://transfer.sh/hello.txt/BAYh0/hello.txt/PDw0NHPcqU
https://transfer.sh/hello.txt/BAYh0/hello.txt
Смотрите хорошие примеры использования в examples.md
Создать прямую ссылку для скачивания:
https://transfer.sh/1lDau/test.txt --> https://transfer.sh/get/1lDau/test.txt
Встроенный файл:
https://transfer.sh/1lDau/test.txt --> https://transfer.sh/inline/1lDau/test.txt
Если вы хотите использовать TLS с сертификатами Let's Encrypt, укажите lets-encrypt-hosts для вашего домена, установите tls-listener в :443 и включите force-https.
Если вы хотите использовать TLS с собственными сертификатами, установите tls-listener в :443, force-https, tls-cert-file и tls-private-key.
Переключено на GO111MODULE```bash go run main.go --provider=local --listener :8080 --temp-path=/tmp/ --basedir=/tmp/
<br />
---
<br />
## Сборка```bash
$ git clone [email protected]:dutchcoders/transfer.sh.git
$ cd transfer.sh
$ go build -o transfersh main.go
Для удобного развёртывания мы создали официальный Docker-контейнер. Существует два варианта, которые различаются только тем, от какого пользователя запускается процесс.
По умолчанию контейнер запускается от root:
[!WARNING] Не рекомендуется использовать тег
latestс WatchTower или подобными инструментами. Тегlatestможет ссылаться на невыпущенные разработчиком тестовые сборки и патчи для старых версий. Используйте конкретный тег версии, пока transfer.sh не начнёт поддерживать теги major или minor версий.```bash docker run --publish 8080:8080 dutchcoders/transfer.sh:latest --provider local --basedir /tmp/
<br />
### Без root
Теги `-noroot` указывают на сборки образов, которые запускаются с наименьшими привилегиями, чтобы уменьшить поверхность атаки в случае компрометации приложения.
> [!NOTE]
> Использование `-noroot` **рекомендуется**
<br />
Тот, который помечен суффиксом `-noroot`, будет использовать `5000` как UID, так и GID:```bash
docker run --publish 8080:8080 dutchcoders/transfer.sh:latest-noroot --provider local --basedir /tmp/
[!NOTE] Детали истории разработки:
Вы также можете собрать контейнер самостоятельно. Это позволяет выбрать, какой UID/GID будет использоваться, например, при использовании NFS-монтирований:```bash
docker build -t transfer.sh-noroot --build-arg RUNAS=doesntmatter --build-arg PUID=1337 --build-arg PGID=1338 .
<br />
---
<br />
## Использование S3
Для использования с AWS S3 Bucket необходимо указать следующие параметры:
- провайдер `--provider s3`
- aws-access-key _(либо через флаг, либо через переменную окружения `AWS_ACCESS_KEY`)_
- aws-secret-key _(либо через флаг, либо через переменную окружения `AWS_SECRET_KEY`)_
- bucket _(либо через флаг, либо через переменную окружения `BUCKET`)_
- s3-region _(либо через флаг, либо через переменную окружения `S3_REGION`)_
Если вы укажете s3-region, вам не нужно устанавливать URL конечной точки, так как правильная конечная точка будет использоваться автоматически.
<br />
### Пользовательские S3 провайдеры
Чтобы использовать пользовательского S3 провайдера, отличного от AWS, необходимо указать конечную точку, как определено вашим облачным провайдером.
<br />
---
<br />
## Провайдер Storj Network
Чтобы использовать Storj Network в качестве провайдера хранилища, необходимо указать следующие флаги:
- провайдер `--provider storj`
- storj-access _(либо через флаг, либо через переменную окружения STORJ_ACCESS)_
- storj-bucket _(либо через флаг, либо через переменную окружения STORJ_BUCKET)_
<br />
### Создание Bucket и Scope
Вам необходимо заранее создать грант доступа (или скопировать его из конфигурации uplink) и bucket.
Для начала войдите в свою учетную запись и перейдите в меню Access Grant, затем запустите Мастер в правом верхнем углу.
Введите желаемое имя гранта доступа, нажмите *Далее* и ограничьте его по необходимости/предпочтению.
Затем продолжите либо в CLI, либо в браузере. Далее у вас спросят Passphrase, используемый в качестве ключа шифрования.
**Убедитесь, что сохранили его в надежном месте. Без него вы потеряете возможность расшифровать свои файлы!**
После этого вы можете скопировать грант доступа и запустить endpoint transfer.sh.
Рекомендуется указывать как грант доступа, так и имя bucket как переменные окружения для повышения безопасности.
Пример:```
export STORJ_BUCKET=<BUCKET NAME>
export STORJ_ACCESS=<ACCESS GRANT>
transfer.sh --provider storj
Для работы с Google Drive необходимо указать следующие параметры:
Вам нужно создать идентификатор OAuth-клиента в console.cloud.google.com, скачать файл и поместить его в безопасную директорию.
go run main.go --provider gdrive --basedir /tmp/ --gdrive-client-json-filepath /[credential_dir] --gdrive-local-config-path [directory_to_save_config] transfer() (if [ $# -eq 0 ]; then printf "Аргументы не указаны.\nИспользование:\n transfer <file|directory>\n ... | transfer <file_name>\n">&2; return 1; fi; file_name=$(basename "$1"); if [ -t 0 ]; then file="$1"; if [ ! -e "$file" ]; then echo "$file: Нет такого файла или каталога">&2; return 1; fi; if [ -d "$file" ]; then cd "$file" || return 1; file_name="$file_name.zip"; set -- zip -r -q - .; else set -- cat "$file"; fi; else set -- cat; fi; url=$("$@" | curl --silent --show-error --progress-bar --upload-file "-" "https://transfer.sh/$file_name"); echo "$url"; )```
<br />
#### Now you can use transfer function
$ transfer hello.txt```
transfer()
{
local file
declare -a file_array
file_array=("${@}")
if [[ "${file_array[@]}" == "" || "${1}" == "--help" || "${1}" == "-h" ]]
then
echo "${0} - Загрузить произвольные файлы на \"transfer.sh\"."
echo ""
echo "Использование: ${0} [опции] [<файл>]..."
echo ""
echo "ОПЦИИ:"
echo " -h, --help"
echo " показать это сообщение"
echo ""
echo "ПРИМЕРЫ:"
echo " Загрузить один файл из текущей рабочей директории:"
echo " ${0} \"image.img\""
echo ""
echo " Загрузить несколько файлов из текущей рабочей директории:"
echo " ${0} \"image.img\" \"image2.img\""
echo ""
echo " Загрузить файл из другой директории:"
echo " ${0} \"/tmp/some_file\""
echo ""
echo " Загрузить все файлы из текущей рабочей директории. Обратите внимание на ограничение скорости веб-сервера!:"
echo " ${0} *"
echo ""
echo " Загрузить один файл из текущей рабочей директории и отфильтровать токен удаления и ссылку для скачивания:"
echo " ${0} \"image.img\" | awk --field-separator=\": \" '/Delete token:/ { print \$2 } /Download link:/ { print \$2 }'"
echo ""
echo " Показать текст справки с \"transfer.sh\":"
echo " curl --request GET \"https://transfer.sh\""
return 0
else
for file in "${file_array[@]}"
do
if [[ ! -f "${file}" ]]
then
echo -e "\e[01;31m'${file}' не найден или не является файлом.\e[0m" >&2
return 1
fi
done
unset file
fi
local upload_files
local curl_output
local awk_output
du -c -k -L "${file_array[@]}" >&2
# совместимость с "bash"
if [[ "${ZSH_NAME}" == "zsh" ]]
then
read $'upload_files?\e[01;31mВы действительно хотите загрузить указанные файлы ('"${#file_array[@]}"$') на "transfer.sh"? (Y/n): \e[0m'
elif [[ "${BASH}" == *"bash"* ]]
then
read -p $'\e[01;31mВы действительно хотите загрузить указанные файлы ('"${#file_array[@]}"$') на "transfer.sh"? (Y/n): \e[0m' upload_files
fi
case "${upload_files:-y}" in
"y"|"Y")
# ради прогресс-бара выполнять "curl" для каждого файла.
# параметры "--include" и "--form" подавят прогресс-бар.
for file in "${file_array[@]}"
do
# показать ссылку на удаление и отфильтровать токен удаления из заголовка ответа после загрузки.
# важно сохранить "stdout" от "curl" через подшелл в переменную или перенаправить его в другую команду,
# которая просто перенаправляет в "stdout", чтобы получить нормальный вывод позже.
# прогресс-бар перенаправляется в "stderr" и отображается только,
# если "stdout" перенаправлен во что-то; например, ">/dev/null", "tee /dev/null" или "| <some_command>".
# заголовок ответа перенаправляется в "stdout", поэтому перенаправление "stdout" в "/dev/null" не имеет смысла.
# перенаправление "stderr" от "curl" в "stdout" ("2>&1") подавит прогресс-бар.
curl_output=$(curl --request PUT --progress-bar --dump-header - --upload-file "${file}" "https://transfer.sh/")
awk_output=$(awk \
'gsub("\r", "", $0) && tolower($1) ~ /x-url-delete/ \
{
delete_link=$2;
print "Delete command: curl --request DELETE " "\""delete_link"\"";
gsub(".*/", "", delete_link);
delete_token=delete_link;
print "Delete token: " delete_token;
}
END{
print "Download link: " $0;
}' <<< "${curl_output}")
# возвращать результаты через "stdout", "awk" не делает этого по какой-то причине.
echo -e "${awk_output}\n"
# избегать ограничения скорости насколько возможно; nginx: слишком много запросов.
if (( ${#file_array[@]} > 4 ))
then
sleep 5
fi
done
;;
"n"|"N")
return 1
;;
*)
echo -e "\e[01;31mНеверный ввод: '${upload_files}'.\e[0m" >&2
return 1
esac
}```
</p></details>
#### Sample output
```bash
$ ls -lh
total 20M
-rw-r--r-- 1 <some_username> <some_username> 10M Apr 4 21:08 image.img
-rw-r--r-- 1 <some_username> <some_username> 10M Apr 4 21:08 image2.img
$ transfer image*
10240K image2.img
10240K image.img
20480K total
Вы действительно хотите загрузить указанные файлы (2) на "transfer.sh"? (Y/n):
######################################################################################################################################################################################################################################## 100.0%
Команда удаления: curl --request DELETE "https://transfer.sh/wJw9pz/image2.img/mSctGx7pYCId"
Токен удаления: mSctGx7pYCId
Ссылка для скачивания: https://transfer.sh/wJw9pz/image2.img
######################################################################################################################################################################################################################################## 100.0%
Команда удаления: curl --request DELETE "https://transfer.sh/ljJc5I/image.img/nw7qaoiKUwCU"
Токен удаления: nw7qaoiKUwCU
Ссылка для скачивания: https://transfer.sh/ljJc5I/image.img
$ transfer "image.img" | awk --field-separator=": " '/Delete token:/ { print $2 } /Download link:/ { print $2 }'
10240K image.img
10240K total
Вы действительно хотите загрузить указанные файлы (1) на "transfer.sh"? (Y/n):
######################################################################################################################################################################################################################################## 100.0%
tauN5dE3fWJe
https://transfer.sh/MYkuqn/image.img```
<br />
---
<br />
## Contributions
Contributions are welcome.
<br />
---
<br />
## Creators
**Remco Verhoef**
- <https://twitter.com/remco_verhoef>
- <https://twitter.com/dutchcoders>
**Uvis Grinfelds**
<br />
---
<br />
## Maintainers
- **Andrea Spacca**
- **Stefan Benten**
<br />
---
<br />
## Copyright and License
Code and documentation copyright 2011-2018 Remco Verhoef.
Code and documentation copyright 2018-2020 Andrea Spacca.
Code and documentation copyright 2020- Andrea Spacca and Stefan Benten.
Code released under [the MIT license](https://github.com/dutchcoders/transfer.sh/blob/HEAD/LICENSE).
| Параметр | Описание | Значение | Переменная окружения |
|---|
| listener | порт для http (:80) | LISTENER | |
| profile-listener | порт для профайлера (:6060) | PROFILE_LISTENER | |
| force-https | перенаправление на https | false | FORCE_HTTPS |
| tls-listener | порт для https (:443) | TLS_LISTENER | |
| tls-listener-only | флаг для включения только tls-слушателя | TLS_LISTENER_ONLY | |
| tls-cert-file | путь к tls-сертификату | TLS_CERT_FILE | |
| tls-private-key | путь к закрытому ключу tls | TLS_PRIVATE_KEY | |
| http-auth-user | пользователь для базовой http-аутентификации при загрузке | HTTP_AUTH_USER | |
| http-auth-pass | пароль для базовой http-аутентификации при загрузке | HTTP_AUTH_PASS | |
| http-auth-htpasswd | путь к файлу htpasswd для базовой http-аутентификации при загрузке | HTTP_AUTH_HTPASSWD | |
| http-auth-ip-whitelist | список разрешённых IP-адресов через запятую для загрузки без проверки аутентификации | HTTP_AUTH_IP_WHITELIST | |
| virustotal-key | API-ключ VirusTotal | VIRUSTOTAL_KEY | |
| ip-whitelist | список IP-адресов через запятую, которым разрешено подключаться к сервису | IP_WHITELIST | |
| ip-blacklist | список IP-адресов через запятую, которым запрещено подключаться к сервису | IP_BLACKLIST | |
| temp-path | путь к временной папке | системная временная папка | TEMP_PATH |
| web-path | путь к статическим веб-файлам (для разработки или пользовательского интерфейса) | WEB_PATH | |
| proxy-path | префикс пути при запуске сервиса за прокси (префикс / будет удалён) | PROXY_PATH | |
| proxy-port | порт прокси при запуске сервиса за прокси | PROXY_PORT | |
| email-contact | контактный email для интерфейса | EMAIL_CONTACT | |
| ga-key | ключ Google Analytics для интерфейса | GA_KEY | |
| provider | какой провайдер хранения использовать | (s3, storj, gdrive или local) | |
| uservoice-key | ключ User Voice для интерфейса | USERVOICE_KEY | |
| aws-access-key | ключ доступа AWS | AWS_ACCESS_KEY | |
| aws-secret-key | секретный ключ AWS | AWS_SECRET_KEY | |
| bucket | корзина AWS | BUCKET | |
| s3-endpoint | пользовательская конечная точка S3. | S3_ENDPOINT | |
| s3-region | регион корзины S3 | eu-west-1 | S3_REGION |
| s3-no-multipart | отключает многокомпонентную загрузку S3 | false | S3_NO_MULTIPART |
| s3-path-style | принудительно использует URL в стиле пути, требуется для Minio. | false | S3_PATH_STYLE |
| storj-access | доступ к проекту Storj | STORJ_ACCESS | |
| storj-bucket | корзина для использования в проекте | STORJ_BUCKET | |
| basedir | путь хранения для локального провайдера/gdrive | BASEDIR | |
| gdrive-client-json-filepath | путь к JSON-конфигурации oauth-клиента для провайдера gdrive | GDRIVE_CLIENT_JSON_FILEPATH | |
| gdrive-local-config-path | путь для хранения локального кэша конфигурации transfer.sh для провайдера gdrive | GDRIVE_LOCAL_CONFIG_PATH | |
| gdrive-chunk-size | размер фрагмента для загрузки gdrive в мегабайтах, должен быть меньше доступной памяти (8 МБ) | GDRIVE_CHUNK_SIZE | |
| lets-encrypt-hosts | хосты для использования сертификатов Let's Encrypt (через запятую) | HOSTS | |
| log | путь к файлу журнала | LOG | |
| cors-domains | список доменов через запятую для CORS, включение активирует CORS | CORS_DOMAINS | |
| clamav-host | хост для функции clamav | CLAMAV_HOST | |
| perform-clamav-prescan | предварительное сканирование каждой загрузки с помощью clamav (clamav-host должен быть локальным unix-сокетом clamd) | PERFORM_CLAMAV_PRESCAN | |
| rate-limit | запросов в минуту | RATE_LIMIT | |
| max-upload-size | максимальный размер загрузки в килобайтах | MAX_UPLOAD_SIZE | |
| purge-days | количество дней, после которого загрузки автоматически удаляются | PURGE_DAYS | |
| purge-interval | интервал (часы) для автоматической очистки (исключая S3 и Storj) | PURGE_INTERVAL | |
| random-token-length | длина случайного токена для пути загрузки (удвоенный размер для пути удаления) | 6 | RANDOM_TOKEN_LENGTH |
| Имя | Использование |
|---|
| latest | Последняя сборка CI, может быть ночной, по коммиту, по тегу и т.д. |
| latest-noroot | Последняя сборка CI, может быть ночной, по коммиту, по тегу и т.д. с использованием [no root] |
| nightly | Запланированная сборка CI каждую полночь UTC |
| nightly-noroot | Запланированная сборка CI каждую полночь UTC с использованием [no root] |
| edge | Последняя сборка CI после каждого коммита в main |
| edge-noroot | Последняя сборка CI после каждого коммита в main с использованием [no root] |
vx.y.z | Сборка CI после создания тега релиза |
vx.y.z-noroot | Сборка CI после создания тега релиза с использованием [no root] |