kondisi filter dplyr untuk membedakan antara simbol unicode dan representasi unicode-nya

10

Saya mencoba memfilter kolom Simbol berdasarkan pada apakah itu dari formulir \uxxxx

Ini mudah visual, yaitu, beberapa terlihat seperti $, ¢, £, dan lain-lain seperti \u058f, \u060b, \u07fe.

Tapi sepertinya saya tidak bisa memahaminya menggunakan stringi/dplyr

library(dplyr)
library(stringi)

df <- structure(list(Character = c("\\u0024", "\\u00A2", "\\u00A3", 
                             "\\u00A4", "\\u00A5", "\\u058F", "\\u060B", "\\u07FE", "\\u07FF", 
                             "\\u09F2", "\\u09F3", "\\u09FB", "\\u0AF1", "\\u0BF9", "\\u0E3F", 
                             "\\u17DB", "\\u20A0", "\\u20A1", "\\u20A2", "\\u20A3"), 
                     Symbol = c("$", "¢", "£", "¤", "¥", "\u058f", "\u060b", "\u07fe", "\u07ff", 
                                "৲", "৳", "\u09fb", "\u0af1", "\u0bf9", "฿", "៛", "₠", 
                                "₡", "₢", "₣")), row.names = c(NA, 20L), class = "data.frame")

   Character Symbol
1    \\u0024      $
2    \\u00A2      ¢
3    \\u00A3      £
4    \\u00A4      ¤
5    \\u00A5      ¥
6    \\u058F \u058f
7    \\u060B \u060b
8    \\u07FE \u07fe
9    \\u07FF \u07ff
10   \\u09F2      ৲
11   \\u09F3      ৳
12   \\u09FB \u09fb
13   \\u0AF1 \u0af1
14   \\u0BF9 \u0bf9
15   \\u0E3F      ฿
16   \\u17DB      ៛
17   \\u20A0      ₠
18   \\u20A1      ₡
19   \\u20A2      ₢
20   \\u20A3      ₣

Apa yang saya coba

Saya telah mencoba menggunakan variasi nchartetapi belum beruntung


df$Symbol %>% nchar
# [1] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

df$Symbol %>% stri_unescape_unicode %>% nchar
# [1] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

df$Symbol %>% stri_escape_unicode %>% nchar
# [1] 1 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6

Pertanyaan

Bagaimana saya bisa menyaring pada kolom Simbol untuk semua baris dari bentuk $, ¢, £dll (dan sebaliknya untuk baris seperti \u058f, \u060b, \u07fe)?

r dplyr stringr stringi stevec
sumber
Apakah Anda mencoba menggunakan Regex dalam kasus ini?
vpz
@ vpz saya belum, tidak. Saya beralasan akan ada cara 'lebih formal' untuk melakukannya, tetapi dengan senang hati akan menggunakan regex jika bekerja dengan andal!
stevec
Apakah representasi karakter memiliki beberapa pola untuk simbol?
vpz
@vpz satu-satunya Info adalah apa yang terkandung dalam Symbolkolom (aku merasa seperti itu harus cukup, tapi aku tidak bisa mengetahui bagaimana membedakan - yang menarik karena begitu mudah bagi mata manusia untuk melihat)
SteveC
1
Anda dapat menggunakan utf8::utf8_valid()tetapi ini mungkin tidak membedakan antara unicode valid yang ada dan unicode yang valid tetapi tidak ditugaskan. Bisakah Anda sedikit mengembangkan apa yang pada akhirnya ingin Anda capai?
H 1

Jawaban:

7

Edit:

Fungsi glyphs_match()dari gdtoolspaket ini dirancang untuk ini, namun, menggunakannya tidak cukup mengembalikan hasil yang diharapkan. Saya menggunakan Lucida Consolefont saya dan mendapatkan output berikut saat menggunakan glyphs_match(). Tampaknya ada satu mesin terbang yang tidak diberikan tetapi fungsi kembali TRUE. Mungkin pengguna lain dapat menjelaskan mengapa itu terjadi.

df$glyph_match <- gdtools::glyphs_match(df$Symbol, fontfile = "C:\\WINDOWS\\Fonts\\lucon.TTF")
    df

   Character   Symbol glyph_match
1    \\u0024        $        TRUE
2    \\u00A2        ¢        TRUE
3    \\u00A3        £        TRUE
4    \\u00A4        ¤        TRUE
5    \\u00A5        ¥        TRUE
6    \\u058F <U+058F>       FALSE
7    \\u060B <U+060B>       FALSE
8    \\u07FE <U+07FE>       FALSE
9    \\u07FF <U+07FF>       FALSE
10   \\u09F2 <U+09F2>       FALSE
11   \\u09F3 <U+09F3>       FALSE
12   \\u09FB <U+09FB>       FALSE
13   \\u0AF1 <U+0AF1>       FALSE
14   \\u0BF9 <U+0BF9>       FALSE
15   \\u0E3F <U+0E3F>       FALSE
16   \\u17DB <U+17DB>       FALSE
17   \\u20A0 <U+20A0>       FALSE
18   \\u20A1        ¢        TRUE
19   \\u20A2 <U+20A2>       FALSE
20   \\u20A3 <U+20A3>        TRUE

Jawaban sebelumnya - hanya dapat berfungsi di Windows:

Akan ada variasi tergantung pada font / sistem Anda, misalnya, ketika menjalankan kode Anda output saya tidak cocok dengan apa yang Anda berikan:

df <- structure(list(Character = c("\\u0024", "\\u00A2", "\\u00A3", 
                             "\\u00A4", "\\u00A5", "\\u058F", "\\u060B", "\\u07FE", "\\u07FF", 
                             "\\u09F2", "\\u09F3", "\\u09FB", "\\u0AF1", "\\u0BF9", "\\u0E3F", 
                             "\\u17DB", "\\u20A0", "\\u20A1", "\\u20A2", "\\u20A3"), 
                     Symbol = c("$", "¢", "£", "¤", "¥", "\u058f", "\u060b", "\u07fe", "\u07ff", 
                                "৲", "৳", "\u09fb", "\u0af1", "\u0bf9", "฿", "៛", "₠", 
                                "₡", "₢", "₣")), row.names = c(NA, 20L), class = "data.frame")

df
   Character   Symbol
1    \\u0024        $
2    \\u00A2        ¢
3    \\u00A3        £
4    \\u00A4        ¤
5    \\u00A5        ¥
6    \\u058F <U+058F>
7    \\u060B <U+060B>
8    \\u07FE <U+07FE>
9    \\u07FF <U+07FF>
10   \\u09F2 <U+09F2>
11   \\u09F3 <U+09F3>
12   \\u09FB <U+09FB>
13   \\u0AF1 <U+0AF1>
14   \\u0BF9 <U+0BF9>
15   \\u0E3F <U+0E3F>
16   \\u17DB <U+17DB>
17   \\u20A0 <U+20A0>
18   \\u20A1        ¢
19   \\u20A2 <U+20A2>
20   \\u20A3 <U+20A3>

Tapi satu cara menangkap jika mesin terbang ada adalah:

 nchar(capture.output(cat(df$Symbol, sep = "\n"))) == 1

[1]  TRUE  TRUE  TRUE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[18]  TRUE FALSE FALSE

Jadi mesin terbang dapat disaring oleh:

library(dplyr)

df %>%
  filter(nchar(capture.output(cat(Symbol, sep = "\n"))) == 1)

  Character Symbol
1   \\u0024      $
2   \\u00A2      ¢
3   \\u00A3      £
4   \\u00A4      ¤
5   \\u00A5      ¥
6   \\u20A1      ¢
H 1
sumber
2

Gunakan as.character.POSIXtuntuk 'membuat' simbol dan bantalan dengan spasi. Karakter Unicode dalam bentuk "\ uxxxx" akan dicetak sebagai satu karakter dan yang lainnya akan lebih besar; maka Anda dapat memfilter menurut panjangnya:

# To keep 'single char' symbols e.g. "$":
df %>% filter(nchar(as.character.POSIXt(Symbol)) >= 2)

# Or for 'unicode format' symbols e.g. "\u07fe":
df %>% filter(nchar(as.character.POSIXt(Symbol)) == 1)

Jika Anda memiliki string panjang sebagai 'simbol' (mis. "Aaaaaaaaaa ₣") padding akan meningkat dan perlu dipertanggungjawabkan misalnya

# To keep 'single char' symbols e.g. "$":
df %>% filter(nchar(as.character.POSIXt(Symbol)) >= 11)

# Or for 'unicode format' symbols e.g. "\u07fe":
df %>% filter(nchar(as.character.POSIXt(Symbol)) <= 10)
jared_mamrot
sumber