Infrastruktur kami ada di AWS. Saya ingin mendapatkan laporan harian tentang berapa banyak yang dihabiskan pada hari sebelumnya. Apa cara terbaik untuk melakukannya?

Memperbarui

AWS baru saja mengumumkan ketersediaan fungsi secara umum untuk Memantau Taksiran Biaya Menggunakan Peringatan Penagihan melalui Amazon CloudWatch (tampaknya sudah tersedia untuk akun premium AWS sejak akhir 2011, lihat jawaban Daniel Lopez untuk Apakah ada cara untuk mengatur Amazon AWS batas penagihan? ):

Kami secara teratur memperkirakan total biaya bulanan untuk setiap layanan AWS yang Anda gunakan. Saat Anda mengaktifkan pemantauan untuk akun Anda, kami mulai menyimpan perkiraan sebagai metrik CloudWatch, di mana mereka akan tetap tersedia untuk periode 14 hari yang biasa. [...]

Seperti yang diuraikan dalam posting blog pengantar, Anda dapat mulai dengan menggunakan lansiran penagihan untuk memberi tahu Anda kapan tagihan AWS Anda akan lebih tinggi dari yang diharapkan , lihat Memantau Taksiran Biaya Anda Menggunakan Amazon CloudWatch untuk detail lebih lanjut mengenai fungsi ini.

Ini sudah cukup berguna untuk banyak kebutuhan dasar, namun, menggunakan API CloudWatch untuk mengambil metrik yang disimpan sendiri (lihat GetMetricStatistics ) sebenarnya memungkinkan Anda untuk mengarahkan alur kerja sewenang-wenang dan logika bisnis berdasarkan data ini, dan tentu saja Anda dapat membuat laporan harian pada berapa banyak yang dihabiskan pada hari sebelumnya seperti itu juga.

Mengenai yang terakhir, ruang lingkup tawaran ini ditekankan juga:

Penting untuk dicatat bahwa ini adalah perkiraan, bukan prediksi . Perkiraan ini mendekati biaya penggunaan AWS Anda sampai saat ini dalam siklus penagihan saat ini dan akan meningkat saat Anda terus menggunakan sumber daya . [...] Ini tidak memperhitungkan tren atau potensi perubahan dalam pola penggunaan AWS Anda. [penekanan milikku]

Artinya, rincian metrik yang dilaporkan belum dianalisis (Saya melihat poin data setiap 4 hingga 8 jam, tetapi tidak harus memperbarui nilai setiap waktu, seperti yang diharapkan sebenarnya), jadi untuk memperoleh laporan harian yang cukup tepat mungkin memerlukan beberapa pemrosesan pos statistik.

Jawaban awal

Sayangnya ini kurang lurus ke depan daripada yang dipikirkan orang, terutama mengingat bahwa data yang diinginkan dapat diperiksa secara manual melalui akun Anda. Ada dua opsi pemantauan yang diharapkan:

• pemberitahuan melalui email / RSS / dll.
• Akses API ke data

Baik AWS maupun vendor IaaS / PaaS / SaaS lainnya yang saya ketahui tidak menawarkan akses API ke data akuntansi mereka saat ini (mungkin karena potensi implikasi keuangan / hukum), membuat segala bentuk integrasi pihak ke-3 (yang akan mudah untuk lakukan saat ini) rumit di terbaik, sejauh Anda perlu menggunakan memo web untuk mengambil data di tempat pertama.

Untungnya, tawaran baru dari Cloudability [tautan dihapus setelah penghentian tingkat gratis] telah memasuki tahap baru-baru ini untuk melakukan hal ini untuk Anda secara profesional dan vendor agnostik, kami menggunakannya dengan kesuksesan besar untuk AWS khususnya - Anda akan saat ini menerima laporan harian (atau kurang sering) tentang pengeluaran bulanan Anda saja , yaitu belum dirinci ke pengeluaran harian Anda. Menambahkan peningkatan harian tentu saja sepele, jadi saya berharap dan berharap mereka akan membuat lebih banyak informasi seperti ini tersedia seiring waktu.

Pendekatan mereka terhadap penetapan harga [tautan dihapus setelah penghentian tingkat gratis] juga menyegarkan (meskipun sudah jelas) dan hanya terkait dengan pengeluaran cloud Anda sendiri, sehingga harus membayar sendiri begitu Anda menyadari potensi penghematan masing-masing (mereka tidak mengenakan biaya apa saja jika Anda menghabiskan kurang dari $ 2.5rb / bulan).
Pembaruan 20121016 : Sayangnya Cloudability telah mengubah model penetapan harganya menjadi yang lebih umum, yang masih mencakup tier gratis (dan harganya wajar secara umum), tetapi menghilangkan akses ke fitur-fitur canggih di dalamnya, yang saya anggap sebagai pendekatan yang menyegarkan dan adil bagi pengguna. dengan anggaran kecil, yang mungkin masih merupakan pengganda di tempat lain atau meningkatkan sekali tumbuh ke dalamnya.
Perbarui 20150115: Sayangnya Cloudability telah memilih jalur dari banyak vendor SaaS freemium dan akhirnya menghentikan sepenuhnya tier gratis: Mulai 1 Februari, kami tidak akan lagi menawarkan edisi Cloudability Free yang Anda gunakan hari ini .

Perbarui 20120427

Peringatan sebelumnya (disimpan sebagai referensi di bawah) tentang persyaratan kredensial AWS utama Anda tidak berlaku lagi - AWS baru-baru ini memperkenalkan Fitur IAM Baru: Manajemen Kata Sandi dan Akses ke Aktivitas Akun dan Halaman Laporan Penggunaan :

Fitur baru ini memungkinkan Anda untuk membuat pengguna IAM yang terpisah dan berbeda untuk tujuan bisnis dan teknis. Anda dapat memberi pengguna bisnis Anda akses ke halaman Aktivitas Akun dan / atau Laporan Penggunaan situs web AWS untuk memungkinkan mereka mengakses data penagihan dan penggunaan tanpa memberi mereka akses ke sumber daya AWS lainnya seperti instance EC2 atau file dalam S3

Cloudability sekarang telah mengintegrasikan ini juga, sehingga Anda tidak perlu menyerahkan kredensial AWS utama Anda lagi atau menghabiskan upaya ekstra untuk membuat Penagihan Terkonsolidasi hanya untuk mendapatkan wawasan tentang pengeluaran cloud Anda, lihat Cara Mengatur Amazon IAM (Manajemen Akun Identitas) ) untuk detail.

Mantan Peringatan

Ada satu peringatan yang harus diperhatikan di muka:

Untuk mengakses data Anda, Anda harus menyerahkan kredensial AWS utama Anda, karena jika tidak, mereka tidak dapat mengikis akun Anda. Khusus untuk AWS Anda masih dapat menghindari ini dengan memfasilitasi Penagihan Terkonsolidasi , tempat Anda mengkonsolidasikan pembayaran untuk beberapa akun Amazon AWS [...] dengan menetapkan satu akun pembayaran , yang pada gilirannya tidak memiliki akses ke sumber daya dan data komputasi Anda.

Dengan menggunakan alat awscli , Anda bisa mendapatkan total bulan-ke-tanggal Anda:

$ aws --region us-east-1 cloudwatch get-metric-statistics \
    --namespace "AWS/Billing" \
    --metric-name "EstimatedCharges" \
    --dimension "Name=Currency,Value=USD" \
    --start-time $(date +"%Y-%m-%dT%H:%M:00" --date="-12 hours") \
    --end-time $(date +"%Y-%m-%dT%H:%M:00") \
    --statistic Maximum \
    --period 60 \
    --output text | sort -r -k 3 | head -n 1 | cut -f 2

2494.47

Total dari dua hari yang berbeda dapat dikurangkan untuk mendapatkan delta harian. Atau, perkiraan dapat diperoleh dalam sekali jalan dengan meningkatkan jendela waktu ( end-time- start-time) menjadi 24 jam dan mengurangi titik data paling awal dari yang terbaru.

Catatan:

• mengasumsikan Anda telah mengaktifkan pemantauan perkiraan biaya Anda
• mengasumsikan Anda memiliki GNU date(untuk yang lain date, misalnya, di OSX, date -v-12Hdapat berfungsi)
• Mata uang Anda dapat bervariasi
• Amazon memperbarui metrik CloudWatch setiap ~ 4 jam, jadi meminta jendela waktu lebih kecil dari 4 jam mungkin tidak mengembalikan poin data apa pun. Saya telah menggunakan jendela 12jam untuk menjadi ekstra aman.
• Saya ingin menyertakan tautan ke posting blog yang menjadi dasar jawaban saya, tetapi tampaknya saya perlu 10 poin reputasi untuk mengirim lebih dari 2 tautan. :)

Jika Anda benar-benar membutuhkan laporan biaya sehari-hari, Anda harus menggunakan alat " Laporan Penggunaan " di akun AWS Anda. Anda dapat meminta laporan untuk setiap layanan yang Anda gunakan, pada periode waktu apa pun yang Anda inginkan, dalam perincian dari jam ke jam. Kemudian mengunduh CSV.

Anda perlu melakukan beberapa post-processing pada CSV itu (karena itu tidak dalam biaya, tetapi dalam penggunaan dll), tetapi itu akan memberi Anda data yang Anda butuhkan untuk biaya sehari-hari.

Amazon menyediakan biaya bulan terkini Anda di sini:

http://aws-portal.amazon.com/gp/aws/developer/account/index.html?ie=UTF8&action=activity-summary

Menuju bagian atas halaman itu menunjukkan bagaimana data saat ini. Saya menemukan itu cenderung terlambat beberapa jam.

Ini adalah catatan paling akurat dan terkini yang bisa Anda dapatkan dari Amazon atau siapa pun saat ini.

Mungkin modul Python ini di Github dapat membantu Anda memulai: pyec2costs (untuk contoh khusus atau ondemand).

Ada alat baru yang cukup bersumber terbuka oleh Netflix yang disebut Ice: https://github.com/Netflix/ice yang memungkinkan untuk memvisualisasikan detail penagihan seperti yang diambil melalui laporan AWS yang dihasilkan ke dalam ember S3 Anda.

Lihatlah Xervmon. Mereka menyediakan pengeluaran sehari-hari dan penggunaan dalam analitik tambahan tentang historis. Mereka adalah penyedia layanan mendatang dengan integrasi terinci dengan Amazon AWS yang direncanakan dalam 3 bulan ke depan.

Beberapa tangkapan layar dari akun saya saat ini adalah seperti di bawah ini. http://cloudmaya.net/~develop/demo/Slide1.jpg http://cloudmaya.net/~develop/demo/Slide2.jpg

Banyak profesional telah membangun dan itu cukup rapi.

Berikut ini adalah skrip sederhana yang menunjukkan cara mem-parsing dan menganalisis file CSV penagihan AWS terperinci Anda:

• parse_aws_s3_billing.py

Seharusnya cukup mudah sehingga Anda dapat membangun analisis Anda sendiri!

Menggunakan perintah CostExplorer AWS CLI Adalah mungkin untuk mengambil kembali metrik biaya dan penggunaan untuk Akun

Misalnya: Jika Anda perlu menarik kembali biaya dari awal bulan hingga hari ini, Anda dapat menggunakan perintah di bawah ini.

aws ce get-cost-and-usage --time-period Start=$(date -u -d "$TODAY" '+%Y-%m-01'),End=$(date -u +"%Y-%m-%d" --date="+1 day") --granularity MONTHLY --metrics UnblendedCost --output text | sort -r -k 3 | head -n 1 | cut -f 2

Output: 615.6129260967

Jika Anda perlu mendapatkan biaya pada SETIAP HARI gunakan GRANULARITAS sebagai SETIAP HARI seperti yang ditunjukkan di bawah ini:

aws ce get-cost-and-usage --time-period Start=$(date -u -d "$TODAY" '+%Y-%m-01'),End=$(date -u +"%Y-%m-%d" --date="+1 day") --granularity DAILY --metrics UnblendedCost

Saya telah melihat perusahaan membuat sendiri alat internal untuk ini - pada dasarnya mereka memo halaman penagihan AWS dan pada dasbor mereka sendiri, menampilkan biaya saat ini, dan dalam satu contoh, mereka membaginya dengan hari-hari di bulan yang telah berlalu , dan kelipatannya untuk mendapatkan perkiraan biaya total bulan.

AWS belum menawarkan API penagihan (saya yakin mereka akan melakukannya di masa mendatang), tetapi ada beberapa layanan eksternal yang dapat membantu. Salah satunya adalah CloudVertical (pengungkapan: Saya bekerja di sini), di mana Anda bisa mendapatkan biaya harian, bulanan, dan per jam Anda, dikelompokkan berdasarkan layanan, dan untuk beberapa akun.

Cawan suci yang sesungguhnya untuk layanan seperti AWS bukan hanya untuk melacak pengeluaran harian, tetapi untuk menunjukkan wawasan tentang efisiensi (biaya + penggunaan = efisiensi) dan juga menyoroti peluang untuk penghematan (yaitu: waktu untuk menggunakan instance yang dicadangkan atau spot)

Ada alat untuk melihat Penggunaan Penagihan AWS Anda di mana Anda dapat mengiris dan memotong penggunaan Anda di berbagai Sumber Daya AWS hingga 30 menit. Saya telah memposting jawaban yang lebih menyeluruh di /programming//a/37585673/1526342

Anda sekarang dapat melakukan ini dengan API Biaya Explorer. Anda dapat mengakses dengan sangat mudah melalui awscli / boto3 misalnya tetapi intinya jauh lebih mudah dari sebelumnya.