Hapus ✅, 🔥, ✈, ♛ dan emoji / gambar / tanda lain dari string Java

Saya memiliki beberapa string dengan semua jenis emoji / gambar / tanda yang berbeda di dalamnya.

Tidak semua string dalam bahasa Inggris - beberapa dari mereka dalam bahasa non-Latin lainnya, misalnya:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... dan masih banyak lagi.

Saya ingin menyingkirkan semua tanda / gambar ini dan hanya menyimpan huruf (dan tanda baca) dalam berbagai bahasa.

Saya mencoba membersihkan tanda-tanda menggunakan perpustakaan EmojiParser :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

Masalahnya adalah EmojiParser tidak dapat menghapus sebagian besar tanda. Tanda ♦ adalah satu-satunya yang saya temukan sampai sekarang setelah dihapus. Tanda-tanda lain seperti ✪ ❉ ★ ✰ ❈ ❧ ✂ ❋ ⓡ ✿ ♛ 🔥 tidak dihapus.

Apakah ada cara untuk menghapus semua tanda-tanda ini dari string input dan hanya menyimpan huruf dan tanda baca dalam bahasa yang berbeda ?

Alih-alih memasukkan beberapa elemen ke daftar hitam, bagaimana dengan membuat daftar putih karakter yang ingin Anda simpan? Dengan cara ini Anda tidak perlu khawatir tentang setiap emoji baru yang ditambahkan.

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

Begitu:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]adalah rentang yang mewakili semua angka ( \\p{N}), huruf ( \\p{L}), tanda ( \\p{M}), tanda baca ( \\p{P}), spasi putih / pemisah ( \\p{Z}), pemformatan lainnya ( \\p{Cf}) dan karakter lain U+FFFFdi atas dalam karakter Unicode ( \\p{Cs}), dan baris baru ( \\s).\\p{L}khusus mencakup karakter dari huruf lain seperti Sirilik, Latin, Kanji, dll.
• Itu ^ dalam karakter regex meniadakan pertandingan.

Contoh:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

Jika Anda memerlukan informasi lebih lanjut, lihat dokumentasi Java untuk regex.

Saya tidak super ke Java, jadi saya tidak akan mencoba untuk menulis kode contoh inline, tetapi cara saya akan melakukan ini adalah untuk memeriksa apa yang disebut Unicode "kategori umum" dari setiap karakter. Ada beberapa huruf dan kategori tanda baca.

Anda dapat menggunakan Character.getType untuk menemukan kategori umum dari karakter yang diberikan. Anda mungkin harus mempertahankan karakter yang termasuk dalam kategori umum ini:

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(Semua karakter yang Anda daftarkan secara spesifik ingin dihapus memiliki kategori umum OTHER_SYMBOL, yang tidak saya sertakan dalam daftar putih kategori di atas.)

Berdasarkan Daftar Emoji Lengkap, v11.0 Anda memiliki 1644 poin kode Unicode yang berbeda untuk dihapus. Misalnya ✅ada di daftar ini sebagai U+2705.

Memiliki daftar lengkap emoji, Anda perlu memfilternya menggunakan poin kode . Iterasi lebih dari satu charatau bytetidak akan berfungsi sebagai titik kode tunggal dapat menjangkau beberapa byte. Karena Java menggunakan UTF-16 emoji biasanya akan memakan waktu dua chardetik.

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

Memetakan dari titik kode Unicode U+2705ke Jawa intsecara langsung:

int viSign = 0x2705;

atau karena Java mendukung Unicode Strings:

int viSign = "✅".codePointAt(0);

ICU4J adalah temanmu.

UCharacter.hasBinaryProperty(UProperty.EMOJI);

Ingatlah untuk selalu memperbarui versi icu4j Anda dan perhatikan ini hanya akan menyaring emoji Unicode resmi, bukan karakter simbol. Gabungkan dengan menyaring tipe karakter lain yang diinginkan.

Informasi lebih lanjut: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

Saya memberikan beberapa contoh di bawah ini, dan berpikir bahwa bahasa Latin sudah cukup, tetapi ...

Apakah ada cara untuk menghapus semua tanda-tanda ini dari string input dan hanya menyimpan huruf & tanda baca dalam bahasa yang berbeda?

Setelah mengedit, mengembangkan solusi baru, menggunakan Character.getTypemetode, dan yang tampaknya menjadi cara terbaik untuk ini.

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

Keluaran:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

Kode berfungsi dengan mengalirkan String ke titik-kode. Kemudian menggunakan lambdas untuk memfilter karakter ke dalam intarray, lalu kita mengubah array menjadi String.

The huruf dan spasi menggunakan menggunakan metode Karakter untuk filter, tidak baik dengan tanda baca. Upaya gagal .

The blok unicode putih filter menggunakan blok unicode yang menspesifikasikan programmer sebagaimana diizinkan. Upaya gagal .

The blok unicode hitam filter menggunakan blok unicode yang menspesifikasikan programmer tidak diperbolehkan. Upaya gagal .

The kategori filter menggunakan metode statis Character.getType. Programmer dapat mendefinisikan dalam categoryarray tipe apa yang diperbolehkan. KARYA 😨😱😰😲😀.

Coba proyek ini simple-emoji-4j

Kompatibel dengan Emoji 12.0 (2018.10.15)

Sederhana dengan:

EmojiUtils.removeEmoji(str)

Gunakan plugin jQuery yang disebut RM-Emoji. Begini cara kerjanya:

$('#text').remove('emoji').fast()

Ini adalah mode cepat yang mungkin melewatkan beberapa emoji karena menggunakan algoritma heuristik untuk menemukan emoji dalam teks. Gunakan .full()metode ini untuk memindai seluruh string dan menghapus semua emoji yang dijamin.