字符编码 · php笔记

## 字符编码 ### 前言一直以来想写一篇文章通俗的讲一下字符编码这件事，一是因为工作中经常用到，虽然理解，但是使用时总觉得底气不足容易出错，所以希望对自己的理解有个总结，从最开始的源头去理清它，让我以后即使不碰代码很久，但只要一想到这篇文章就能够马上记起，马上理解。二是因为网上的文章大多是讲概念，只讲“是什么”，没有讲“为什么”，没有很好的讲清楚什么是编码，为什么要编码，另外我也希望非程序员也能够理解字符编码这件事，编码并不只是在和计算机打交道时才需要用到，日常生活中也会用到，只是大家平常没觉察到，编码只是信息转换的思想而已，如果大家学会了这种思想，会重新发现生活中还有很多与编码相关的有趣的事情。所以这是一篇通俗易懂，适合任何人群阅读的文章，不论你是程序员，还是非计算机相关职业的，只要你想了解字符编码就都可以阅读，比如你想知道文档里出现的乱码是什么东西，又为什么乱码，火星文是什么，emoji 表情是什么，为什么有的软件中昵称设置不支持带表情，...，等等这类问题其实都和编码有关，好了不多说，让我们开始吧。 ---- ### 先看字面意思字符编码由字符和编码两个词组成，字符就是你现在看到的每个文字，也就是一切文字和一切符号，字符是用来表示信息的，为了描述更准确直接，你可以将文字看作是符号，下面我们只说符号而不提字了，这个符号可以是任何象征形态，不只是汉字，比如你和小伙伴创造了一个只有你们才知道意思的符号，其他人看到只是一个奇怪的涂鸦形状，但只有你们知道这个符号的意思，这种符号也是一个符号，所以**符号是信息的载体**，任何形状只要你赋予了它含义，它就是一个携带的符号了。万物皆有所相，都能通过信息描述出来，所以世界上才会有那么多的符号，我们创造符号都是有目的，都是为了描述信息的。怎么理解字符是信息的载体呢，你能看到这篇文章，阅读时就如同有人在跟你对话一样，我将我想说的传达到你了，这种传达就是通过我敲下的字符表达出来的。我将想表达的思想用符号写成文章，你读到这些符号，“听”到了我的表达，我们没有面对面，但是我想表达的信息却通过符号传达给你了，所以符号就是信息的载体。所以，字符就是符号，符号是信息的载体。再来看编码，讲编码之前我们还是先看个生活中的场景。现在先理解字符就行了，不急着讲编码，否则一开始就涉及到枯燥的理论规则大家可能就没了兴趣，先理解了编码的来龙去脉，到后面大家知其所以然，水到渠成自然就理解了。 ---- ### 如何分辨煎包是什么馅的 ---- ### 程序里的编码写过代码的对编码 `encode` 和解码 `decode` 两个函数都不陌生了， ---- ### 摩斯密码符号是信息载体，那声音可以吗，当然也可以。 ---- ### 电梯里的盲文 ---- ### 思考任何信息都可以被编码，只要有需要都可以设计一套编码规则。 ---- ### 参考 ~~~ 00000000 - 11111111 1个字节，256（8 * 8e） 00 - FF 1个字节，256（16 * 2e） 00000000 - FFFFFFFF 4个字节，4294967296（16 * 8e） Unicode符号范围 | UTF-8编码方式 (十六进制) | （二进制） ----------------------+--------------------------------------------- 0000 0000 - 0000 007F | 0xxxxxxx 0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx 0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx 0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx ---- 解码器程序： 1. 读取前两个字节，确定编码的大小端 2. 确定编码方式，去除 BOM 等符号 3. 调用对应的编码解析器 4. 使用编码器解析字节 5. 考虑字节不完整，不正确的情况 6. 输出解码结果 ~~~ [Unicode To UTF8 Online· 开发者工具箱](https://devtool.tech/utf8) [字符编码笔记：ASCII，Unicode 和 UTF-8 - 阮一峰的网络日志](http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html) [非常详细的字符编码讲解，ASCII、GB2312、GBK、Unicode、UTF-8等知识点都有](https://www.bilibili.com/video/BV1gZ4y1x7p7) [非常生动的Python2和Python3的编解码讲解](https://www.bilibili.com/video/BV1XK4y1t7D4) [一个神奇的Unicode字符：RLO（不要拿来干坏事）_哔哩哔哩 (゜-゜)つロ干杯~-bilibili](https://www.bilibili.com/video/BV1Xk4y117He/?spm_id_from=333.788.recommend_more_video.4) ~~~ 字节解码成 Unicode形式 Unicode形式编码成字节在python中它们两者打印时都可以显示成字符字节是编码的结果，是已确定了编码类型的（如 utf-8）二值序列，是信息的载体，否则字节就没有任何意义信息加载进内存和保存到磁盘上时需要编码转换成字节序列，处理或打印时需要解码出信息，编码解码是一种信息转换规则。之前把字符带进了编码解码中，看来是错误的理解，字符只是显示时的一种形式符号而已，只是查编码表显示出来符号而已，这个过程是操作系统处理的，程序不会干预，在程序内存中并不存在这个符号的概念。 ~~~ [【社长说13】当年你用小本本记过蝌蚪文一样的“密码”吗？](https://www.bilibili.com/video/BV1PW411a7p2) 微信设置彩色昵称，火星文字，长草文字，编码 [字符串的扩展 - ECMAScript 6入门](https://es6.ruanyifeng.com/#docs/string) > 有了这种表示法之后，JavaScript 共有 6 种方法可以表示一个字符。 ---- % = %25（鸡=蛋）（%表示鸡，25 表示生一次） %25 = %2525（蛋 = 鸡生的） %2525 = %252525 （鸡生的 = 蛋生的鸡再生的蛋） ~~~ 鸡 = 蛋生的蛋 = 鸡生的鸡 = 蛋生的蛋 = 鸡生的 ... 鸡 = 鸡生的 = 蛋生的蛋 = 鸡生的 = 蛋生的鸡 = 蛋 ~~~ ---- last update: 2020-12-06 22:45:33