Bagaimana cara menjalankan XPath one-liners dari shell?

Apakah ada paket di luar sana, untuk Ubuntu dan / atau CentOS, yang memiliki alat baris perintah yang dapat menjalankan XPath one-liner seperti foo //element@attribute filename.xmlatau foo //element@attribute < filename.xmldan mengembalikan hasil baris demi baris?

Saya mencari sesuatu yang akan memungkinkan saya untuk hanya apt-get install fooatau yum install foodan kemudian hanya bekerja di luar kotak, tidak ada pembungkus atau adaptasi lain yang diperlukan.

Berikut adalah beberapa contoh hal yang mendekati:

Nokogiri. Jika saya menulis bungkus ini saya bisa memanggil bungkusnya dengan cara yang dijelaskan di atas:

#!/usr/bin/ruby

require 'nokogiri'

Nokogiri::XML(STDIN).xpath(ARGV[0]).each do |row|
  puts row
end

XML :: XPath. Akan bekerja dengan bungkus ini:

#!/usr/bin/perl

use strict;
use warnings;
use XML::XPath;

my $root = XML::XPath->new(ioref => 'STDIN');
for my $node ($root->find($ARGV[0])->get_nodelist) {
  print($node->getData, "\n");
}

xpathdari XML :: XPath mengembalikan terlalu banyak noise, -- NODE --dan attribute = "value".

xml_grep dari XML :: Twig tidak dapat menangani ekspresi yang tidak mengembalikan elemen, jadi tidak dapat digunakan untuk mengekstrak nilai atribut tanpa diproses lebih lanjut.

EDIT:

echo cat //element/@attribute | xmllint --shell filename.xmlmengembalikan noise yang mirip dengan xpath.

xmllint --xpath //element/@attribute filename.xmlkembali attribute = "value".

xmllint --xpath 'string(//element/@attribute)' filename.xml mengembalikan apa yang saya inginkan, tetapi hanya untuk pertandingan pertama.

Untuk solusi lain yang hampir memuaskan pertanyaan, berikut adalah XSLT yang dapat digunakan untuk mengevaluasi ekspresi XPath yang berubah-ubah (memerlukan dyn: evaluasi dukungan dalam prosesor XSLT):

<?xml version="1.0"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0"
    xmlns:dyn="http://exslt.org/dynamic" extension-element-prefixes="dyn">
  <xsl:output omit-xml-declaration="yes" indent="no" method="text"/>
  <xsl:template match="/">
    <xsl:for-each select="dyn:evaluate($pattern)">
      <xsl:value-of select="dyn:evaluate($value)"/>
      <xsl:value-of select="'&#10;'"/>
    </xsl:for-each> 
  </xsl:template>
</xsl:stylesheet>

Jalankan dengan xsltproc --stringparam pattern //element/@attribute --stringparam value . arbitrary-xpath.xslt filename.xml.

Anda harus mencoba alat ini:

• xmlstarlet : dapat mengedit, memilih, mengubah ... Tidak diinstal secara default, xpath1
• xmllint: sering diinstal secara default dengan libxml2-utils, xpath1 (periksa pembungkus saya untuk --xpathmengaktifkan rilis yang sangat lama dan keluaran terbatas baris baru (v <2.9.9)
• xpath: diinstal melalui modul perl XML::XPath, xpath1
• xml_grep: diinstal melalui modul perl XML::Twig, xpath1 (penggunaan xpath terbatas)
• xidel: xpath3
• saxon-lint : proyek saya sendiri, membungkus perpustakaan Java Saxon-HE @ Michael Michael, xpath3

xmllintdilengkapi dengan libxml2-utils(dapat digunakan sebagai shell interaktif dengan --shellsakelar)

xmlstarletadalah xmlstarlet.

xpath dilengkapi dengan modul perl XML::Xpath

xml_grep dilengkapi dengan modul perl XML::Twig

xidel adalah xidel

saxon-lintmenggunakan SaxonHE 9.6 , XPath 3.x (+ kompatibilitas retro)

Mis:

xmllint --xpath '//element/@attribute' file.xml
xmlstarlet sel -t -v "//element/@attribute" file.xml
xpath -q -e '//element/@attribute' file.xml
xidel -se '//element/@attribute' file.xml
saxon-lint --xpath '//element/@attribute' file.xml

• halaman xmlstarlet
• man xmllint
• halaman xpath
• xml_grep
• xidel
• saxon-lint

.

Anda juga dapat mencoba Xidel saya . Itu tidak ada dalam paket di repositori, tetapi Anda bisa mengunduhnya dari halaman web (tidak memiliki dependensi).

Ini memiliki sintaks sederhana untuk tugas ini:

xidel filename.xml -e '//element/@attribute' 

Dan itu adalah salah satu alat yang langka yang mendukung XPath 2.

Satu paket yang sangat mungkin untuk diinstal pada sistem sudah adalah python-lxml. Jika demikian, ini dimungkinkan tanpa menginstal paket tambahan:

python -c "from lxml.etree import parse; from sys import stdin; print '\n'.join(parse(stdin).xpath('//element/@attribute'))"

Dalam pencarian saya untuk meminta file maven pom.xml saya berlari di pertanyaan ini. Namun saya memiliki batasan berikut:

• harus menjalankan lintas platform.
• harus ada di semua distribusi linux utama tanpa pemasangan modul tambahan
• harus menangani file xml yang kompleks seperti file maven pom.xml
• sintaksis sederhana

Saya telah mencoba banyak hal di atas tanpa hasil:

• python lxml.etree bukan bagian dari distribusi python standar
• xml.etree adalah tetapi tidak menangani file maven pom.xml yang rumit dengan baik, belum menggali cukup dalam
• python xml.etree tidak menangani file maven pom.xml karena alasan yang tidak diketahui
• xmllint juga tidak berfungsi, core dumps sering di ubuntu 12.04 "xmllint: using libxml versi 20708"

Solusi yang saya temui adalah stabil, pendek dan bekerja pada banyak platform dan yang matang adalah rexml lib builtin di ruby:

ruby -r rexml/document -e 'include REXML; 
     puts XPath.first(Document.new($stdin), "/project/version/text()")' < pom.xml

Apa yang mengilhami saya untuk menemukan yang ini adalah artikel-artikel berikut:

• Tutorial Ruby / XML, XSLT dan XPath
• IBM: Ruby on Rails dan XML

Saxon akan melakukan ini tidak hanya untuk XPath 2.0, tetapi juga untuk XQuery 1.0 dan (dalam versi komersial) 3.0. Itu tidak datang sebagai paket Linux, tetapi sebagai file jar. Sintaks (yang Anda dapat dengan mudah membungkus skrip sederhana) adalah

java net.sf.saxon.Query -s:source.xml -qs://element/attribute

UPDATE 2020

Saxon 10.0 termasuk alat Gizmo, yang dapat digunakan secara interaktif atau dalam batch dari baris perintah. Sebagai contoh

java net.sf.saxon.Gizmo -s:source.xml
/>show //element/@attribute
/>quit

Anda mungkin juga tertarik dengan xsh . Ini fitur mode interaktif di mana Anda dapat melakukan apa pun yang Anda suka dengan dokumen:

open 1.xml ;
ls //element/@id ;
for //p[@class="first"] echo text() ;

jawaban clacke bagus tetapi saya pikir hanya berfungsi jika sumber Anda adalah XML yang dibentuk dengan baik, bukan HTML normal.

Jadi untuk melakukan hal yang sama untuk konten Web normal — dokumen HTML yang belum tentu XML terbentuk dengan baik:

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
from lxml import html; \
print '\n'.join(html.tostring(node) for node in html.parse(stdin).xpath('//p'))"

Dan untuk menggunakan html5lib (untuk memastikan Anda mendapatkan perilaku parsing yang sama dengan browser Web — karena seperti parser browser, html5lib sesuai dengan persyaratan parsing dalam spesifikasi HTML).

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
import html5lib; from lxml import html; \
doc = html5lib.parse(stdin, treebuilder='lxml', namespaceHTMLElements=False); \
print '\n'.join(html.tostring(node) for node in doc.xpath('//p'))

Mirip dengan jawaban Mike dan clacke, ini adalah python one-liner (menggunakan python> = 2.5) untuk mendapatkan versi build dari file pom.xml yang mengelak dari fakta bahwa file pom.xml biasanya tidak memiliki dtd atau namespace default, jadi jangan muncul dengan baik untuk libxml:

python -c "import xml.etree.ElementTree as ET; \
  print(ET.parse(open('pom.xml')).getroot().find('\
  {http://maven.apache.org/POM/4.0.0}version').text)"

Diuji pada Mac dan Linux, dan tidak memerlukan paket tambahan untuk diinstal.

Selain XML :: XSH dan XML :: XSH2 ada beberapa greputilitas seperti menyedot sebagai App::xml_grep2dan XML::Twig(yang termasuk xml_grepdaripada xml_grep2). Ini bisa sangat berguna ketika bekerja pada file XML besar atau banyak untuk oneliners atau Makefiletarget cepat. XML::Twigterutama baik untuk bekerja dengan untuk perlpendekatan scripting ketika Anda ingin sedikit aa lebih pengolahan dari Anda $SHELLdan xmllint xstlprocditawarkan.

Skema penomoran dalam nama aplikasi menunjukkan bahwa versi "2" adalah versi yang lebih baru / lebih baru dari alat yang sama yang mungkin memerlukan versi modul lain yang lebih baru (atau dari perldirinya sendiri).

Perlu disebutkan bahwa nokogiri sendiri dikirimkan dengan alat baris perintah, yang harus diinstal bersama gem install nokogiri.

Anda mungkin menemukan posting blog ini bermanfaat .

Saya telah mencoba beberapa utilitas baris perintah XPath dan ketika saya menyadari saya menghabiskan terlalu banyak waktu untuk mencari dan mencari tahu bagaimana mereka bekerja, jadi saya menulis parser XPath yang paling sederhana dengan Python yang melakukan apa yang saya butuhkan.

Script di bawah ini menunjukkan nilai string jika ekspresi XPath mengevaluasi ke string, atau menunjukkan seluruh subnode XML jika hasilnya adalah simpul:

#!/usr/bin/env python
import sys
from lxml import etree

tree = etree.parse(sys.argv[1])
xpath = sys.argv[2]

for e in tree.xpath(xpath):

    if isinstance(e, str):
        print(e)
    else:
        print((e.text and e.text.strip()) or etree.tostring(e))

Menggunakan lxml- parser XML cepat yang ditulis dalam C yang tidak termasuk dalam pustaka python standar. Instal dengan pip install lxml. Di Linux / OSX mungkin perlu diawali dengan sudo.

Pemakaian:

python xmlcat.py file.xml "//mynode"

lxml juga dapat menerima URL sebagai input:

python xmlcat.py http://example.com/file.xml "//mynode" 

Ekstrak atribut url di bawah simpul enklosur yaitu <enclosure url="http:...""..>):

python xmlcat.py xmlcat.py file.xml "//enclosure/@url"

Xpath di Google Chrome

Sebagai catatan samping yang tidak terkait: Jika kebetulan Anda ingin menjalankan ekspresi XPath terhadap markup halaman web maka Anda dapat melakukannya langsung dari Chrome devtools: klik kanan halaman di Chrome> pilih Inspect, lalu di DevTools konsol tempelkan ekspresi XPath Anda sebagai $x("//spam/eggs").

Dapatkan semua penulis di halaman ini:

$x("//*[@class='user-details']/a/text()")

Berikut ini satu use case xmlstarlet untuk mengekstrak data dari elemen bersarang elem1, elem2 ke satu baris teks dari tipe XML ini (juga menunjukkan cara menangani ruang nama):

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<mydoctype xmlns="http://xml-namespace-uri" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xml-namespace-uri http://xsd-uri" format="20171221A" date="2018-05-15">

  <elem1 time="0.586" length="10.586">
      <elem2 value="cue-in" type="outro" />
  </elem1>

</mydoctype>

Outputnya adalah

0.586 10.586 cue-in outro

Dalam cuplikan ini, -m cocok dengan nilai atribut bersarang elem2, -v output (dengan ekspresi dan pengalamatan relatif), -o teks literal, -n menambahkan baris baru:

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2' \
 -v ../@time -o " " -v '../@time + ../@length' -o " " -v @value -o " " -v @type -n file.xml

Jika diperlukan lebih banyak atribut dari elem1, seseorang dapat melakukannya seperti ini (juga memperlihatkan fungsi concat ()):

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2/..' \
 -v 'concat(@time, " ", @time + @length, " ", ns:elem2/@value, " ", ns:elem2/@type)' -n file.xml

Perhatikan komplikasi (IMO yang tidak perlu) dengan ruang nama (ns, dideklarasikan dengan -N), yang membuat saya hampir menyerah pada xpath dan xmlstarlet, dan menulis konverter ad-hoc cepat.

Skrip Python saya xgrep.py melakukan persis ini. Untuk mencari semua atribut attributeelemen elementdalam file filename.xml ..., Anda akan menjalankannya sebagai berikut:

xgrep.py "//element/@attribute" filename.xml ...

Ada berbagai sakelar untuk mengendalikan keluaran, seperti -cuntuk menghitung kecocokan, -iuntuk indentasi bagian yang cocok, dan -luntuk keluaran hanya nama file.

Skrip tidak tersedia sebagai paket Debian atau Ubuntu, tetapi semua dependensinya adalah.

Karena proyek ini tampaknya cukup baru, periksa https://github.com/jeffbr13/xq , tampaknya menjadi pembungkus lxml, tetapi hanya itu yang Anda butuhkan (dan kirimkan solusi ad hoc menggunakan lxml dalam jawaban lain juga)

Saya tidak senang dengan Python one-liners untuk permintaan HTML XPath, jadi saya menulis sendiri. Asumsikan bahwa Anda menginstal python-lxmlpaket atau berlari pip install --user lxml:

function htmlxpath() { python -c 'for x in __import__("lxml.html").html.fromstring(__import__("sys").stdin.read()).xpath(__import__("sys").argv[1]): print(x)' $1 }

Setelah memilikinya, Anda dapat menggunakannya seperti dalam contoh ini:

> curl -s https://slashdot.org | htmlxpath '//title/text()'
Slashdot: News for nerds, stuff that matters

Instal basis data BaseX , lalu gunakan "mode baris perintah mandiri" seperti ini:

basex -i - //element@attribute < filename.xml

atau

basex -i filename.xml //element@attribute

Bahasa query sebenarnya XQuery (3.0), bukan XPath, tetapi karena XQuery adalah superset dari XPath, Anda dapat menggunakan permintaan XPath tanpa pernah memperhatikan.