Conversation

Notices

1. Embed this notice
   zunda (zundan@mastodon.zunda.ninja)'s status on Tuesday, 21-Nov-2023 14:41:33 JST zunda

   • かき@GNUsocialJP

   本当は怖いUTF-16

   $ irb
   > "𠮷".encode("UTF-8").length
   => 1
   > "𠮷".encode("UTF-16").length
   => 2

   • Embed this notice
     zunda (zundan@mastodon.zunda.ninja)'s status on Tuesday, 21-Nov-2023 14:50:05 JST zunda

     in reply to

     • かき@GNUsocialJP

     端末はUTF-8なんだけどnodeがUTF-16に変換してるのかしら

     $ node
     > "𠮷".length
     2

   • Embed this notice
     h12o (h12o@mastodon.tokyo)'s status on Tuesday, 21-Nov-2023 14:54:24 JST h12o

     in reply to

     @zundan それも能動的に（寒）

   • Embed this notice
     zunda (zundan@mastodon.zunda.ninja)'s status on Tuesday, 21-Nov-2023 14:54:49 JST zunda

     in reply to

     • かき@GNUsocialJP
     • h12o

     @h12o いyarn

   • Embed this notice
     zunda (zundan@mastodon.zunda.ninja)'s status on Tuesday, 21-Nov-2023 14:57:25 JST zunda

     in reply to

     • かき@GNUsocialJP

     むっちゃ能動的にUTF-8を受け取ってるのかもしれない

     $ echo 'console.log("𠮷".length)' | iconv -f utf-8 -t utf-8 | node
     2
     $ echo 'console.log("𠮷".length)' | iconv -f utf-8 -t utf-16 | node
     [stdin]:1
     ��c

     SyntaxError: Invalid or unexpected token
     at new Script (node:vm:93:7)
     at createScript (node:vm:248:10)
     at Object.runInThisContext (node:vm:296:10)
     at node:internal/process/execution:83:21
     at [stdin]-wrapper:6:24
     at runScript (node:internal/process/execution:82:62)
     at evalScript (node:internal/process/execution:104:10)
     at node:internal/main/eval_stdin:31:5
     at Socket.<anonymous> (node:internal/process/execution:205:5)
     at Socket.emit (node:events:526:35)

     Node.js v20.8.0

   • Embed this notice
     tateisu​ :force:​:r_9a: (tateisu@mastodon.juggler.jp)'s status on Tuesday, 21-Nov-2023 18:12:23 JST tateisu​ :force:​:r_9a:

     in reply to

     • かき@GNUsocialJP

     @zundan node.jsがソースコードをUTF-8からUTF-16に変換するのはnode.jsの内部仕様で固定っぽいですね。 https://stackoverflow.com/questions/10125141/what-encoding-is-expected-for-node-js-source-code

     JavaScriptが文字列を内部で16ビット文字の集合として取り扱う話は https://stackoverflow.com/questions/8715980/javascript-strings-utf-16-vs-ucs-2 で、コメントによるとUTF-16ではない文字列も許容される。 isWellFormed() で判定できる。とのこと

   • Embed this notice
     zunda (zundan@mastodon.zunda.ninja)'s status on Tuesday, 21-Nov-2023 18:12:23 JST zunda

     in reply to

     • tateisu​ :force:​:r_9a:
     • かき@GNUsocialJP

     @tateisu なるほどなるほどありがとうございます！OpenPGP.jsなどをいじっていると、他にバイナリの配列もみかけたりで、なかなか奥が深そうです