Tagapag-alis ng Invisible na Character

Ang Unicode ay naglalaman ng mga character na hindi kumukuha ng anumang visual na espasyo. Ang ilan ay umiiral para sa magagandang dahilan: ang zero-width non-joiner ay kinakailangan upang isulat ang Persian nang tama, at ang mga emoji tulad ng pamilya emoji ay binuo mula sa ilang mga larawan na pinagsama-sama gamit ang zero-width joiner. Ang iba ay purong formatting, tulad ng byte order mark na iniiwan ng mga word processor sa simula ng isang file. Dahil wala sa kanila ang lumilitaw sa screen, naglalakbay sila sa pamamagitan ng copy at paste nang hindi napapansin at nagtatapos sa iyong CMS, iyong spreadsheet o iyong codebase.

Bakit sila nagdudulot ng mga problema

Ang mga invisible na character ay tahimik na sumisira ng mga bagay. Ang isang zero-width space sa loob ng isang keyword ay humihinto sa paghahanap mula sa pagtutugma. Ang isang non-breaking space sa isang CSV column ay sumisira sa isang numeric import. Ang isang soft hyphen sa isang URL slug ay nagbubunga ng 404. Sa code, ang isang invisible na character sa loob ng isang identifier ay nagbubunga ng isang error message na walang kahulugan, dahil ang dalawang identifier ay mukhang magkapareho sa screen. At ang mga bidirectional override characters ay maaaring magpabago ng isang linya ng source code na ipapakita sa isang ganap na ibang pagkakasunod-sunod mula sa kung paano ito talagang isinasagawa, na siyang batayan ng kilalang Trojan Source attack.

Nakatagong mensahe at prompt injection

Isang mas maliit na grupo ng mga character na ito ay maaaring magdala ng data. Ang Unicode tag block ay nagma-map ng isa sa isa sa printable ASCII, kaya ang isang sunud-sunod ng tag characters ay literal na isang nababasang pangungusap na walang editor ang magpapakita sa iyo. Ang mga variation selectors ay maaari ring abusuhin sa parehong paraan upang i-encode ang arbitrary bytes. Pareho silang ginagamit upang itago ang mga tagubilin sa loob ng teksto na kalaunan ay ipapaste sa isang AI assistant, at upang fingerprint ang mga dokumento upang ang isang pagtagas ay ma-trace pabalik sa isang tiyak na tatanggap. Ang tool na ito ay nag-decode ng pareho, kaya maaari mong basahin ang nakatagong nilalaman sa halip na basta-basta itong burahin.

Paano hinahawakan ng tool na ito ang mga ito

Bawat natagpuan ay nakategorya sa halip na basta-basta na tinatanggal. Ang mga character na walang lehitimong gamit sa iyong teksto ay minarkahan bilang nakumpirmang natagpuan at inaalis. Ang mga character na maaaring naroroon, tulad ng isang zero-width non-joiner sa pagitan ng mga letra ng Persian o isang joiner sa loob ng isang emoji, ay ipinapakita ngunit tinatrato nang maingat - ang mga emoji joiners ay pinapanatili sa default, dahil ang pagtanggal sa mga ito ay nagiging isang emoji sa tatlo. Ang pagkakaibang iyon ay ang pagkakaiba sa pagitan ng paglilinis ng isang teksto at pagdudumi nito.