Apakah direktori. Diketahui / dan bagaimana cara mengaturnya?

14

Dalam kesalahan perayapan Alat Webmaster saya, saya memiliki beberapa akses yang ditolak lokasi:

.well-known/apple-app-site-association
.well-known/assetlinks.json
.well-known/.com

Saya telah melihat RFC 5785 tetapi saya tidak benar-benar memahaminya. Saya benar-benar berjuang untuk mengikuti banyak dokumen RFC, mereka tampaknya dipenuhi dengan banyak terminologi yang tidak dapat dijelaskan dan ambigu.

Apa tujuan dari direktori ini dan ketiga file ini? Apa isinya? Haruskah saya khawatir tentang ini? Haruskah saya memblokir direktori di robots.txt?

Ini adalah pertama kalinya saya menemukan direktori ini, saya tidak percaya itu ada dan saya tidak berusaha untuk mengisinya (yang mungkin mengapa ditolak). Saya juga tidak mengetahui adanya tautan ke direktori ini dari situs saya.

.well-known Arth
sumber
1
Lokasi yang ditolak biasanya merupakan hasil dari sumber daya yang diblokir di file robots.txt atau htaccess Anda. Harap edit pertanyaan Anda dan sertakan konten file-file ini, selain itu ... apakah .well-known/ada?
Simon Hayter
4
Saya benar-benar berjuang untuk mengikuti banyak dokumen RFC, mereka tampaknya dipenuhi dengan banyak terminologi yang tidak dapat dijelaskan dan ambigu. Anda tidak sendiri! Bersulang!!
closetnoc
1
Jika saya tidak pergi juling, .well-known/seharusnya direktori tersembunyi dan tidak tersedia untuk permintaan eksternal, namun, tersedia untuk elemen kode sisi server seperti program CGI, Java, dan sejenisnya.
closetnoc
2
Kemungkinan mengambil tautan dari halaman lain. Ini upaya URI sampah, saya tidak akan khawatir kecuali Anda memiliki sumber daya di sana dan seseorang tahu tentang mereka.
L Martin
1
Lihat juga: Bot Google hits pada file 'apple-app-site-association' dan 'assetlinks.json' muncul di Google Webmaster sebagai halaman dengan kesalahan
sebelum

Jawaban:

12

RFC 5785 dapat diparafrasekan:

Jika Anda membuat URL baru seperti robots.txt atau favicon.ico yang diharapkan berada di tempat tertentu di setiap situs web, Anda selanjutnya akan membuat URL seperti itu dengan /.well-known/.

Selanjutnya, Anda akan mendaftarkan semua URL tersebut dengan IETF sehingga ada daftar pusat besar dari semua URL ini.

Registri tampaknya ada di sini: https://www.iana.org/assignments/well-known-uris/well-known-uris.xhtml Anda dapat melihat melalui registri, memutuskan apakah ada URL yang diminta melayani tujuan yang akan membantu situs Anda, dan membuat dokumen jika ada yang berguna.

Dari URL yang Anda sebutkan dalam pertanyaan Anda, hanya assetlinks.jsontampaknya terdaftar dengan benar.

Secara umum tidak ada alasan untuk membuat dokumen hanya karena Google melaporkannya sebagai 404. Google mengharapkan untuk mendapatkan 404 kesalahan pada situs. Mereka bahkan menganggapnya sebagai tanda situs yang sehat bahwa URL tanpa dokumen mengembalikan status yang benar (404).

Stephen Ostermiller
sumber
1
Ah ok, jadi untuk mematuhi, secara teknis robots.txt saya harus dipindahkan ke lokasi yang dapat diakses publik www.mysite.com/.well-known/robots.txtdaripada hanya di www.mysite.com/robots.txt? Tetapi pada akhirnya itu tidak masalah untuk saat ini?
Arth
7
Tidak, saya tidak akan bergerak robots.txt. URL itu dibuat jauh sebelum dekrit yang sudah dikenal ini dan saya berharap itu akan tetap menjadi kakek di lokasi yang biasa.
Stephen Ostermiller
Keren, itu masuk akal .. terima kasih atas bantuannya! Jika Anda dapat memparafrasekan semua RFC lain juga yang akan membengkak :)
Arth