Bagaimana cara membersihkan snapshot AWS EC2 yatim?

Kita berakhir dengan sejumlah besar snapshot AWS EC2 di mana AMI telah dihapus, tetapi snapshot tersebut ditinggalkan untuk membusuk. Saya ingin cara non-manual mengidentifikasi dan menghapus anak-anak yatim ini untuk menghemat uang dan ruang.

Idealnya saya sedang memikirkan skrip bash yang meningkatkan CLI , tetapi AWS-fu saya lemah. Saya berasumsi seseorang telah melakukan ini sebelumnya tetapi saya tidak dapat menemukan skrip yang benar-benar berfungsi.

Dalam skenario terbaik, ini juga akan memeriksa volume dan membersihkannya juga, tetapi itu mungkin lebih cocok untuk pertanyaan kedua.

Sebagian besar terinspirasi oleh posting blog dan intisari sudah ditautkan dalam jawaban lain, di sini adalah saya mengambil masalah.

Saya memang menggunakan beberapa fungsi JMESpath yang berbelit-belit untuk mendapatkan daftar foto dan tidak perlu tr.

Penafian : Gunakan dengan risiko Anda sendiri , saya melakukan yang terbaik untuk menghindari masalah dan tetap waras, tetapi saya tidak akan bertanggung jawab jika itu menyebabkan masalah bagi Anda.

#!/bin/sh
# remove x if you don't want to see the commands
set -ex

# Some variable initialisation with sane defaults
DRUN='--dry-run'
DO_DELETE=${1:-'no'}
REGION=${2:-'eu-west-1'}
ACCOUNTID=${3:-'self'}

# Get two temporary files
SNAP_FILE=$(mktemp)
IMAGE_FILE=$(mktemp)

# Get the snapshot list and the volume list
aws --region "$REGION" ec2 describe-snapshots --owner-ids "$ACCOUNTID" --query 'Snapshots[*].[SnapshotId]' --output text > "$SNAP_FILE"
aws --region "$REGION" ec2 describe-images --owners "$ACCOUNTID" --filters Name=state,Values=available --query 'Images[*].BlockDeviceMappings[*].Ebs.[SnapshotId]' --output text > "$IMAGE_FILE"

# Check if the outputed command should be dry-run (default) or not
if [ "$DO_DELETE" = "IAMSURE" ]
then
 DRUN=''
fi

# count each snapshot id, decrease when a volume reference it, print delete command for those with no volumes
awk -v REGION="$REGION" -v DRUN="$DRUN" '
FNR==NR { snap[$1]++; next } # increment snapshots and get to next line in file immediately

{ snap[$1]-- } # we changed file, decrease the snap counter when a volume reference it

END {
 for (s in snap) { # loop over the snapshots
   if (snap[s] > 0) { # if we did not decrese under 1 that means there is no volume referencing this snapshot
    cmd="aws --region " REGION " " DRUN " ec2 delete-snapshot --snapshot-id " s
    print(cmd)
  }
 }
}
' "$SNAP_FILE" "$IMAGE_FILE"
# Clean up the temp files
rm "$SNAP_FILE" "$IMAGE_FILE"

Saya harap skrip itu sendiri cukup dikomentari.

Penggunaan default (tanpa-params) akan mencantumkan perintah penghapusan snapshot yatim untuk akun saat ini dan wilayah eu-west-1, ekstrak:

aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-81e5856a
aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-95c68c7e
aws --region eu-west-1 --dry-run ec2 delete-snapshot --snapshot-id snap-a3bf50bd

Anda dapat mengarahkan output ini ke file untuk ditinjau sebelum mengambilnya untuk menjalankan semua perintah.

Jika Anda ingin skrip mengeksekusi perintah alih-alih mencetaknya, ganti print(cmd)dengan system(cmd).

Penggunaan adalah sebagai ikuti dengan skrip bernama snap_cleaner:

untuk perintah dry-run di wilayah us-west-1

./snap_cleaner no us-west-1

untuk perintah yang dapat digunakan di eu-central-1

./snap_cleaner IAMSURE eu-central-1 

Parameter ketiga dapat digunakan untuk mengakses akun lain (saya lebih suka untuk beralih peran ke akun lain sebelumnya).

Lepaskan versi skrip dengan skrip awk sebagai oneliner:

#!/bin/sh
set -ex

# Some variable initialisation with sane defaults
DRUN='--dry-run'
DO_DELETE=${1:-'no'}
REGION=${2:-'eu-west-1'}
ACCOUNTID=${3:-'self'}

# Get two temporary files
SNAP_FILE=$(mktemp)
IMAGE_FILE=$(mktemp)

# Get the snapshot list and the volume list
aws --region "$REGION" ec2 describe-snapshots --owner-ids "$ACCOUNTID" --query 'Snapshots[*].[SnapshotId]' --output text > "$SNAP_FILE"
aws --region "$REGION" ec2 describe-images --owners "$ACCOUNTID" --filters Name=state,Values=available --query 'Images[*].BlockDeviceMappings[*].Ebs.[SnapshotId]' --output text > "$IMAGE_FILE"

# Check if the outputed command should be dry-run (default) or not
if [ "$DO_DELETE" = "IAMSURE" ]
then
 DRUN=''
fi

# count each snapshot id, decrease when a volume reference it, print delete command for those with no volumes
awk -v REGION="$REGION" -v DRUN="$DRUN" 'FNR==NR { snap[$1]++; next } { snap[$1]-- } END { for (s in snap) { if (snap[s] > 0) { cmd="aws --region " REGION " " DRUN " ec2 delete-snapshot --snapshot-id " s; print(cmd) } } }' "$SNAP_FILE" "$IMAGE_FILE"
# Clean up the temp files
rm "$SNAP_FILE" "$IMAGE_FILE"

Saya menggunakan skrip berikut di GitHub oleh Rodrigue Koffi (bonclay7) dan ini bekerja dengan sangat baik.

https://github.com/bonclay7/aws-amicleaner

Perintah:

amicleaner --check-orphans

Dari posting blog dokumentasi itu melakukan beberapa hal lagi:

Ini sebenarnya sedikit lebih dari itu, pada hari ini memungkinkan:

• Menghapus daftar gambar dan foto terkait
• Memetakan AMI:
  • Menggunakan nama
  • Menggunakan tag
• Memfilter AMI:
  • digunakan dengan menjalankan instance
  • dari grup autoscaling (konfigurasi peluncuran) dengan kapasitas yang diinginkan diatur ke 0
  • dari konfigurasi peluncuran terlepas dari kelompok autoscaling
• Tentukan berapa banyak AMI yang ingin Anda pertahankan
• Membersihkan foto anak yatim
• Sedikit pelaporan

Berikut ini adalah satu skrip yang dapat membantu Anda menemukan foto-foto yatim

comm -23 <(echo $(ec2-describe-snapshots --region eu-west-1 | grep SNAPSHOT | awk '{print $2}' | sort | uniq) | tr ' ' '\n') <(echo $(ec2-describe-images --region eu-west-1 | grep BLOCKDEVICEMAPPING | awk '{print $3}' | sort | uniq) | tr ' ' '\n') | tr '\n' ' '

(dari sini )

Anda juga dapat memeriksa artikel ini dari serverfault

PS Tentu saja Anda dapat mengubah wilayah untuk mencerminkan Anda

PPS Berikut adalah kode yang diperbarui:

 comm -23 \
<(echo $(aws ec2 describe-snapshots --region eu-west-1 |awk '/SNAPSHOT/ {print $2}' | sort -u) | tr ' ' '\n') \
<(echo $(aws ec2 describe-images --region eu-west-1 |  awk '/BLOCKDEVICEMAPPING/ {print $3}' | sort -u) | tr ' ' '\n') | tr '\n' ' '

Contoh exaplanations yang dilakukan oleh kode:

echo $(aws ec2 describe-snapshots --region eu-west-1 | awk '/SNAPSHOT/ {print $2}' | sort -u) | tr ' ' '\n')

kirim ke STDOUT daftar foto. konstruksi ini:

<(...)

buat filehandler sementara virtual untuk membuat commperintah membaca dari dua "file" dan membandingkannya

Berikut ini cuplikan kode GitHub Gist dari apa yang Anda minta oleh Daniil Yaroslavtsev.

Ini menggunakan daftar semua gambar dan snapshot mereka dan membandingkan ID untuk daftar semua ID snapshot. Apa pun yang tersisa adalah yang yatim piatu. Kode ini bekerja dengan prinsip yang sama dengan jawaban di atas, tetapi lebih baik diformat dan sedikit lebih mudah dibaca.

Kode mengambil keuntungan dari opsi JMESPath dengan --query Snapshots[*].SnapshotId(Anda juga dapat menggunakan utilitas baris perintah jp untuk itu, jika sudah dalam distribusi Anda. Format output sebagai teks dengan --output text. Berikut adalah tautan ke referensi API dan beberapa contoh. Ini sedikit lebih elegan dari rantai panjang pipa grep / awk / sort / uniq / tr.

Peringatan oleh Todd Walton : Jangan salah dengan utilitas 'jq' yang menggunakan bahasa kueri yang berbeda untuk mem-parsing dokumen json.

Saya telah menulis skrip snapshots.py yang mengulang semua snapshot (dalam daftar wilayah yang ditentukan) dan menghasilkan report.csv. File ini berisi informasi tentang instance, AMI dan volume yang dirujuk oleh semua snapshot.

Ada juga perintah untuk secara interaktif menghapus snapshot yang menjuntai.