应物音形汉字键入方案
目录
- 一、名义
- 1.1 应物
- 1.2 衡码
- 1.3 足下
- 1.4 作者与状态
- 二、缘起
- 2.1 其一:键入的准确性,是对思绪的保护
- 2.2 其二:文字的输入方式,是否参与思维的进路
- 2.3 其三:规则应当可被完整理解,而规则所需的知识应当是使用者已有的
- 三、设计思路与原则
- 3.1 音形并取,次序固定
- 3.2 逐级加码,打到够用为止
- 3.3 放宽到「猜得到就能打」
- 3.4 规则确定,不猜使用者的意图
- 3.5 判定以国家标准为据,不以程序推断为据
- 3.6 一切指标可复现
- 3.7 使用者的数据留在本机
- 四、编码规则
- 4.1 音:全拼
- 4.2 形(一):结构码
- 4.3 形(二):部件码
- 4.4 五条放宽规则
- 4.5 逐级加码
- 4.6 词的编码
- 4.7 结构码是强制的
- 4.8 实测示例
- 五、数据与度量
- 5.1 字表与码表规模
- 5.2 部件命名表
- 5.3 有无结构码的对照
- 5.4 已知的不足
- 5.5 与其他方案的对比
- 5.6 取舍说明
- 5.7 向后兼容
- 5.8 重出本文所有数字
- 六、数据来源与许可
- 七、反馈
原名:应物音形衡码输入法
方案版本 0.27「金铃」 | 本文所有数字均取自仓库现值,重出命令见 §5.8
0.27 是首个公开版本;文中出现的 0.2 至 0.4.x 是公开之前的内部版本号。
一套汉字键入方案:全拼承担读音,结构与部件承担字形,二者按固定次序拼接成一枚编码。
全拼 → 加结构码 → 加一个部件码 → 加第二个部件码 → 加第三个部件码
qing → qingz → qingzc → qingzcy → qingzcyg (轻)
每一级都是可用的编码,打到候选出现即可停手。
一、名义#
1.1 应物#
承明心意以相应万物,而为变化。
「应物」二字出于此意。对一套键入方案而言,它指的是:键入的过程应当顺着写的人心里的那个字走,不让人去迁就工具的规则。汉字是音、形、义的结合体;与它相应的键入方式,所要求的也应当是对这个字本身的认识,即它怎么读、怎么构成,无须另一套专为机器设定的符号。
1.2 衡码#
方案原名「应物音形衡码输入法」。「衡」取权衡之义:音与形在一枚编码里各据其位,不以一方压倒另一方。全拼承担读音,结构与部件承担字形,二者按固定次序前后拼接,分明而不相掩。
衡码有独立的实现(「应物输入法」,27gscn/yingwu-ime),是本方案的前身。它用「结构码+部首码」消歧,与本方案的分歧只在后半段:部首码要求使用者先知道哪个部件才是部首,并且知道那个部首的通称,例如 礻 要知道叫「示」,且不能与 衤(衣)相混,认错部首就打不出字。本方案改为「任意一到三个部件、顺序不限、允许多名」(§4.4),结构码照收。两套实现可以并存安装。
1.3 足下#
实现本方案的 Windows 软件名为「应物足下输入法」,取「千里之行,始于足下」之意。本文只讲方案,软件的架构与使用见仓库的 README。
1.4 作者与状态#
本方案与其实现均出自一人之手,目前仍是草案:编码规则已定案并有实测,部件命名表已覆盖全部部件但待人工复核,软件可安装、可打字,但自动化测试未覆盖全部层次。本文凡属未经验证的判断,均在正文中标明。
二、缘起#
2.1 其一:键入的准确性,是对思绪的保护#
写作时,比时间更稀缺的是思绪的连续。一个念头从成形到落在纸上,中间任何一次停顿都可能让它散掉。键入是这条链上最末、也最频繁的一环,一篇三千字的文章要按下近万次键。这一环上的每一次迟疑、每一次回头修改,都会打断上游那个念头。
因此,衡量一套键入方案,首要的指标应当是一次把字打对的比例,其次才是峰值速度。
拼音输入法在这一点上有结构性的困难。汉语单字同音极为严重。按本方案的字表实测:只给全拼、不给任何字形信息时,首选命中率为 56.79%,同一串拼音平均对应 38.12 个候选字。也就是说,近一半的字要靠目视候选列表来定。
现代拼音输入法用语言模型把这个数字压下去,按词、按句、按使用历史去猜,但这引入了另一个问题:候选的顺序由使用者看不见的模型决定。同一串拼音今天出这个、明天出那个;打错了,使用者既不知道为什么错,也无法保证下一次不错。判断权交给了不可见的统计。
在当下以拼音为基础的教育语境里,这个困难还被放大了一层。汉语拼音是识字的脚手架,人人会写,于是拼音输入法几乎不需要学。代价是:使用者关于汉字字形的那一半知识,即这个字是左右还是上下、由哪些部件组成,在键入时完全闲置。一个人可能认得三千字的写法,但在键盘上,这三千字的形他一个也用不上,键入与认字之间的联系就此断开。
五笔输入法走的是另一端,它的困难在入口。五笔只认字形、不认读音,因此不受同音之困,熟练者的速度上限很高。但它要求使用者先学会一套专为输入而设的知识:字根如何分区、如何落在键位上、末笔交叉识别码如何补足。这套知识在输入法之外没有用处,学了只能用来打字,而它的记忆量足以让多数人在入门阶段就停下。此外,只认形也意味着,一旦遇到不会拆的字,使用者没有第二条路可走,读音这条他本来就有的路被关掉了。
本方案试图不走这两端中的任何一端:音与形都用,但用的是使用者在学写汉字时就已经具备的知识,不另造一套。
2.2 其二:文字的输入方式,是否参与思维的进路#
这是一个尚无定论的问题。本方案不假装有答案,只把它摆出来,并说明自己按哪一边下注。
拼音键入的过程大致是:
意 → 音 → 拼音串 → 候选列表 → 视觉检索 → 确认
中间多出一步「视觉检索」:候选列表要读一遍、比一遍。这一步调用的是视觉与比对,与正在进行的写作并不同路;它每发生一次,就是一次短暂的切轨。
音形并取的键入过程是:
意 → 字(音与形) → 码
它要求的是对那个字本身的认识。当码足够长、候选足够少时,视觉检索这一步被压缩,甚至不再发生。
这个差别是可以度量的。同一份字表,按使用频次加权:
| 打到哪一级 | 平均候选数 |
|---|---|
| 只给全拼 | 38.12 |
| 加结构码 | 12.58 |
| 加一个部件 | 4.79 |
| 加两个部件 | 2.00 |
| 加三个部件 | 1.46 |
从 38 到 1.46,是二十余倍的检索量差别。
但必须如实说明:检索并不会降到零。实测中约四分之一的字,无论怎么打都不唯一,仍要选一次字(§5.4)。「完全不看候选」做不到,本方案不作此承诺。
那么,汉字如何键入才是更好的?本方案的回答是:让键入所依赖的知识,与汉字本身的构成相一致。汉字是音形义的结合体。只取音,是把它当作拼音的转写;只取形,是把它当作图形。音与形并取、次序分明,才与这个字本来的样子相对应,这也正是「应物」二字的意思。
2.3 其三:规则应当可被完整理解,而规则所需的知识应当是使用者已有的#
输入法是日常工具里被调用得最频繁的一个,一天数千次。正因为频繁,它的行为是否可预测就不只关乎方便,还决定了使用者与工具之间的关系。
这里有两件事,应当分开要求。
第一件:规则本身可被完整理解。本方案的编码是确定的:同一串码永远给出同一组候选,顺序只由字频决定,不受使用历史、上下文或任何不可见模型的影响。由此得到一个具体的性质:打错了,使用者能自己看出错在哪一位。全拼之后的第一位是结构,再往后是部件;候选不对,是结构判错了,还是部件的名字记成了别的,一眼能定位,下一次自己能改对。在候选顺序由模型决定的方案里,「候选不对」是一件没有原因可查的事,使用者只能重试。
这条性质也划出了本方案的一条边界:不做通用的模糊纠偏。容错应当做在规则层(例如把方言里常见的音混同登记为等价输入),不做在算法层。算法一旦开始猜使用者想打什么,「能自己看出错在哪一位」就不再成立。
第二件:规则所需的知识,应当是使用者已经拥有的。本方案只用三样东西:
| 要素 | 来源 |
|---|---|
| 读音 | 汉语拼音,识字教育的起点,人人已会 |
| 整字结构 | 左右、上下、包围、品字、独体,规范汉字教学的基本内容 |
| 部件名称 | 三点水、言字旁、宝盖头、提手旁,语文课上就是以「这个部件叫什么」的形式教的 |
这三样都不是为输入法新造的。本方案不要求使用者记住任何一张专用的字根表或键位图,只要求把已经学过的东西用起来。
与 §2.1 的两端对照看最清楚:拼音输入法只用了其中第一样,另两样闲置;五笔三样都不用,而要求另学一套;本方案三样都用,且都是现成的。
代价也要说清。「现成」不等于「不用想」。结构大体上看一眼就知道,确实不用学;部件名称则参差不齐,「三点水」人人会说,一个生僻部件叫什么,使用者未必有现成的叫法。本方案为此设了放宽规则(§4.4):任意一到三个部件皆可,顺序不限,一个部件允许多个名称。这些放宽是对现实的承认,规则本身仍是确定的。
三、设计思路与原则#
3.1 音形并取,次序固定#
一枚编码分三段,次序不可换:全拼在前,结构居中,部件在后。固定次序换来的是可读性:看到 qingzsq,使用者能把它切回「qing / z / s+q」,知道每一位在说什么。混合次序会让码变成不可解读的字符串,失去可自查这一关键性质。
3.2 逐级加码,打到够用为止#
三段不必打满。qing、qingz、qingzs、qingzsq 都是有效编码,候选出现就可以停。常用字往往在第一、二级就已首选命中,生僻字才需要打到满码。编码长度随需要而变,没有定长。
这一点与五笔的定长码有根本区别:五笔四码不够则补识别码,本方案的「满码」只是「候选足够少」,没有强制长度。
3.3 放宽到「猜得到就能打」#
一个没人猜得到的码等于不存在。因此:三部件以上的字不规定该用哪几个;部件的先后不论;一个部件允许有多个名称(通称与本音皆可)。宁可一个字多出几条编码,也不要使用者卡在「这个部件到底该叫什么」上。
这一条的代价是编码行数增加(§5.1),收益是不会把人挡在门外。
3.4 规则确定,不猜使用者的意图#
同一串码永远给出同一组候选。排序只看字频,不看上下文、不看使用历史。使用者的选择会被记住(§3.7),但记住的方式也是确定的、可查的。
3.5 判定以国家标准为据,不以程序推断为据#
独体字的判定以 GF 0013—2009《现代常用独体字规范》的独体字表为准。此前版本从拆字数据机械推断,而拆字数据对独体字给出的是笔画树,于是「山」被推成包围、「口」被推成上下、「月」被推成包围,与任何人的直觉都不符。改为查表后,山、口、月、木、田、一、见一律判为独体。程序推断只用于标准表以外的字。
3.6 一切指标可复现#
本文、README 与仓库文档中的每一个数字,都能用仓库里的脚本重新算出来(§5.8)。数据改了,数字就该跟着改,不手抄。
3.7 使用者的数据留在本机#
键入过程中产生的个性化数据(选过哪个候选)只写在本机的用户目录下,纯文本,使用者随时可以打开查看,删掉即等于忘掉全部。诊断日志只记事件,不记内容:使用者打了什么字、选了什么候选,一个字都不记。
四、编码规则#
4.1 音:全拼#
不带声调的标准汉语拼音,ü 写作 v。多音字按读音分别成码。
按字频加权平均 2.97 键,是编码成本的主体。单靠全拼,首选命中 56.79%,平均 38.12 个同码候选。
4.2 形(一):结构码#
一个字母,描述整字的拆分方式:
| 码 | 结构 | 例 | 字数占比 | 按字频加权 |
|---|---|---|---|---|
z | 左右 | 清、请、轻 | 66.39% | 43.69% |
s | 上下 | 字、先、花、安 | 21.83% | 20.86% |
b | 包围、半包围 | 国、武、回、风 | 7.85% | 11.86% |
p | 品字形、交叠,以及兜底 | 森、品、众 | 0.65% | 0.34% |
d | 独体 | 木、田、山、口、月、一、见 | 3.28% | 23.24% |
两列是两种口径:「字数占比」的分母是 8,757 个(字,读音)对,未加权;「按字频加权」是同一批对按字频加权。二者相差最大的是 d:独体只占三个百分点的字数,却占近四分之一的使用频次,因为最常用的一批字(一、人、口、山、日、月)大半是独体。评估「好不好学」看左列,评估「打起来什么感觉」看右列。
加上结构码后:3.96 键,首选命中 74.75%,平均候选 12.58。
4.3 形(二):部件码#
取部件名称的拼音首字母,依据的是名称而非读音。这是整套方案的支点。
名称的来源分三层,按优先级从高到低:
- 人工名称表:需要人工判断的部件,逐条登记,优先采用。
- GF 0014—2009《现代常用字部件及部件名称规范》的国标名称:人工表没有的,并入国标名称(宝盖、草字头、病字框、倒八、私字边……)。并入方式是追加,不覆盖人工名称。
- 部件自身读音:以上两层都没有的,用部件本身的读音兜底。
清 = 氵 + 青 左右 氵 叫「水」shuǐ → s 青 qīng → q → qingzsq
请 = 讠 + 青 左右 讠 叫「言」yán → y → qingzyq
情 = 忄 + 青 左右 忄 叫「心」xīn → x → qingzxq
晴 = 日 + 青 左右 日 rì → r → qingzrq
字 = 宀 + 子 上下 宀 叫「宝盖」bǎo → b 子 zǐ → z → zisbz
依名称取码,带来一条有用的性质:变体写法与本字同码。氵=水=s,讠=言=y,扌=手=s。写法变了,名字没变,码就没变。
没有名称的部件再往里拆一层。顶层部件本身一定保留,只是当它没有名称时,允许用它的下一层子部件来打。名称表就是递归的停止条件:表越全,拆得越浅,码表越小,也越可猜。
4.4 五条放宽规则#
其一,任意部件皆可,最多三个。一个码最多带的部件字母从早期版本的两个放宽到三个:
轻 = 车 + 又 + 工 左右
车 chē → c 又 yòu → y 工 gōng → g
qingz 之后 cy cg yc yg gc gy 六种皆可
其二,顺序不限。qingzsq 与 qingzqs 都是「清」。这是作者定的硬口径。
其三,一个部件可以有多个名称。
彳 有人叫「人旁」(r),有人叫「双立人」(s) 两个码都认
冂 有人叫「同字框」(t),有人读 jiōng (j) 两个码都认
其四,部件别名:「这个部件里看得见什么」。
「鹏」里看得见「月」,使用者打 pengzy 就应该出「鹏」,但鹏的一级部件是「朋」与「鸟」,月在第二层。解决办法是逐条人工勾选,不把拆分全部递归:子部件在母部件里看得见、有通行叫法、且新字母与母部件原有字母不同,方才收录。
效果:「鹏」可以用看得见的「月」(y) 来打,pengzy 的候选里有鹏,满码 pengzyn(月+鸟)唯一;「崩」同理,bengsy 首选命中。
其五,独体字可以整字作部件(0.4.2 新增)。
GF 0013—2009 对独体字的定义就是「只有一个部件的字」,这个部件就是字本身。数据里给独体字列出的那些「部件」,其实是笔画树上的碎片(「月」拆成冂与二),而打字的人看着「月」,想到的部件就是「月」。所以独体字多认一个码:结构码 d 之后,用这个字自己读音的首字母作部件码。
月 yue + d + y(整字) → yuedy 原有的 yuedt(冂 叫「同字框」)、yuedj(冂 读 jiōng)、yuede(二)照收
明月 ming yue + z d + r(日) y(月) → mingyuezdry
拆不出任何可用部件的字(非、竹、毋 等)同样适用;列式解码器一直就是这样给它们补位的,单字码表这次跟上,两边口径一致。合计 265 个字,按(字,读音)对计是 293 对。
这条规则只增码,不改码,原有的码一条不少。代价是一级部件码多出一批与别的字相撞的码,首选率略退(见 §5.6)。它与「取名称,不取读音」的支点并不完全一致,因为整字的「名称」就是它的读音,所以这是一条作者可以否决的放宽:生成器里关掉它,码表即回到 0.4.1 的样子。
4.5 逐级加码#
| 级 | 平均键长 | 首选命中 | 前三命中 | 平均候选 |
|---|---|---|---|---|
| 全拼 | 2.97 | 56.79% | 80.65% | 38.12 |
| +结构 | 3.96 | 74.75% | 93.18% | 12.58 |
| +一个部件 | 5.01 | 87.91% | 98.30% | 4.67 |
| +两个部件 | 6.09 | 96.06% | 99.81% | 2.01 |
| +三个部件 | 7.28 | 97.97% | 99.94% | 1.48 |
合计:平均附加键 0.845,总击键 3.82 键/字,打满后仍需动手选字的比例 2.03%。
4.6 词的编码#
词的编码与单字同构,只是按列排:全拼串+逐位结构串+逐位部件串。
星辰 xing chen + s b + r(日) c(厂) → xingchen / xingchensb / xingchensbrc
温柔 wen rou + z s + s(水) m(矛) → wenrou / wenrouzs / wenrouzssm
平戎策 ping rong ce + d b s + g(干) g(戈) z(竹) → pingrongcedbsggz
天地 tian di + d z → tiandi / tiandidz
明月 ming yue + z d + r(日) y(月,整字) → mingyue / mingyuezd / mingyuezdry
三档都是有效编码,打到候选出现就停,与单字的逐级加码是同一套规则。部件位不限于第一个部件:每个字任取一个部件都行(词组码表只收第一个部件,其余的由列式解码器现场配出)。
词表没有收的词(人名、生僻搭配)由列式解码器兜底:它不查词表,按「列」直接配,因此词表外的人名、专有名词同样可打。解码器的规则见 docs/列式解码.md。
词表收的是雾凇拼音(rime-ice)按词频取的前 12 万词。
4.7 结构码是强制的#
结构码不能做成可选项。若 qingz 既可能表示「左右结构」,又可能表示部件「竹/足/走」,编码就有歧义。生成器留有 --no-structure 开关,可生成无结构码的版本用于评估,但两种编码不可混用。
4.8 实测示例#
以下直接查 data/zuxia.dict.yaml,按词频排序,括号里是该码的候选总数。
温 wenzswr → 温揾(2)
抬 taizst → 抬汰邰鲐(4)
直 zhissmy → 直,唯一(十 s、目 m、一 y)
霜 shuangsy → 霜,唯一
辰 chenbc → 辰,唯一
月 yuedj → 月,唯一
月 yuedy → 月乐曰(3),月首选(整字作部件)
明月 mingyuezdry → 明月首选(列式解码器带头)
银枪 yinqiangzzjm → 隐枪首选;yinqiangzzjmgc → 银枪
不过如此 buguoruci → 不过如此首选
平戎策 pingrongcedbsggz → 唯一
五、数据与度量#
5.1 字表与码表规模#
| 项目 | 数值 |
|---|---|
| 字表规模(字,读音)对 | 8,757 |
| 实际出码汉字 | 8,183 |
| 编码行数 | 274,579 |
| 不同的码 | 180,395 |
| 平均每字码数 | 33.55 |
| 词条数 | 119,964 |
| 词的编码行数 | 619,357 |
单字码表 274,579 行 / 4.4 MB;词码 619,357 行 / 18.6 MB。每字多码是设计的结果,正是五条放宽规则的代价与收益,并非冗余。
5.2 部件命名表#
8,757 个(字,读音)对拆出 1,586 种一级部件。
| 状态 | 数量 | 说明 |
|---|---|---|
| 人工名称 | 330 条 | 高频部首、读音与通称分歧者、无读音的变体 |
| 国标并入 | 480 条 | GF 0014—2009 名称,追加在人工名称之后 |
| 部件别名 | 210 条 | 「这个部件里看得见什么」 |
| 按自身读音取码 | 兜底 | 以上三层都没有时使用 |
并入国标之前:1,586 种顶层部件里 1,261 种没有名称;2,365 字(28.90% 字数 / 34.46% 字频)整个字一个可猜部件都没有。并入国标之后:这个数字降到 72 字(0.88% / 4.72%)(以上为 0.3.0 实测)。拆到底仍然无名的只剩 5 种:疋、亅、匸、夊、羋。
剩下那些字里字频高的,多是一、人、手、水、心、女这类独体字,它们的「部件」全是笔画碎片。0.4.2 起它们可以整字作部件(§4.4 其五),从此都有了一个人人猜得到的部件码。
这张表是整个方案的地基,目前已覆盖全部部件,但待人工复核。
5.3 有无结构码的对照#
| 版本 | 满码键长 | 打满时首选命中 | 仍需选字 | 打满时唯一的码 | 平均附加键 | 总击键/字 |
|---|---|---|---|---|---|---|
| 全拼+任意三部件(无结构) | 6.28 | 96.75% | 3.25% | 79.98% | 0.732 | 3.70 |
| 全拼+结构+任意三部件 | 7.28 | 97.97% | 2.03% | 85.00% | 0.845 | 3.82 |
无结构码时,任何长度都不唯一的字有 3,280 个(字频 44.95%);有结构码时是 2,167 个(24.81%)。结构码多一键,让约两成使用频次上的字从「怎么打都得选」变成「终究能打到唯一」。
保留结构码的理由:它大体上不用学(看一眼就知道左右还是上下);它把同音字提前分开(「见」读 xiàn 时与「先」同音,d/s 一键分家);它与衡码的码位同构,便于迁移。
5.4 已知的不足#
「码打满就唯一」是不对的。实测:
| 口径 | 数值 |
|---|---|
| 打满时唯一的码占比 | 85.00% |
| 打满仍不唯一的字 | 2,203 个(字数 26.92%,字频 26.10%) |
| 任何长度都不唯一的字 | 2,167 个(字数 26.48%,字频 24.81%) |
约四分之一的字、近四分之一的使用频次,无论怎么打都得选一次字。满码首选命中 97.97% 与这件事并不矛盾:不唯一也可以排第一,同码字里字频高的那个通常就在第一位。但「唯一」这个词不能再用来为设计取舍背书。
其余已知欠账:
- 部件命名表待人工复核。国标并入的 480 条与按自身读音兜底的部件,未经逐条审阅。
- 不设单独的反查入口(作者决定不做)。想不起某个字的结构位或部件名时,先打全拼、在候选里把高亮移到它上面,学习模式的拆字窗就会写出它的结构码与每个部件的字母。
- 部件别名不全。「出」在一般人眼里是两个「山」,而现行编码只认
c(屮)与q(凵)。 - 5 个无名部件:疋、亅、匸、夊、羋,拆到底仍无通行叫法。
- 繁体字尚不能键入。字表以《通用规范汉字表》的 8105 字为准,繁体输入列在下一步。拆字窗与网站查字页已按《通用规范汉字表》附件 1 的对照表列出繁体写法,供对照。
5.5 与其他方案的对比#
| 方案 | 依赖知识 | 入门难度 | 满码首选 | 可自查错误 |
|---|---|---|---|---|
| 纯拼音 | 拼音 | 极低 | 56.79% | 否(模型决定) |
| 音形(本方案) | 拼音+结构+部件名称 | 低 | 97.97% | 是 |
| 五笔 | 专用字根表+键位图 | 高 | 极高 | 是 |
三套方案各有取舍,不存在绝对的优劣。本方案的立足点是:在入门代价可控的前提下,尽量提高一次命中率,并保持规则的可自查性。
5.6 取舍说明#
0.3.0(部件码放宽到三个、无名部件再拆一层、并入国标名称)是明确的取舍,有得有失:
- 一级和二级部件码的首选率退了(89.78%→88.13%,98.16%→96.08%)
- 平均同码候选变多(4.16→4.79,1.43→2.00)
- 总击键从 3.76 涨到 3.81(+1.3%)
换来的是打满唯一性从 82.45% 升到 85.03%,以及更多拆法有码可打。(以上为 0.3.0 当时的实测。)
0.4.2(独体字整字作部件,§4.4 其五)也是取舍。同一份数据,与 0.4.1 的生成器对照:
- 一级部件码首选率 88.08%→87.91%(−0.17 个百分点);二级、三级不变(96.06%、97.97%)
- 平均附加键 0.843→0.845,总击键 3.81→3.82 键/字;打满唯一 85.01%→85.00%
- 一级部件码的平均同码候选反而从 4.80 降到 4.67:新增的码大多落在常用独体字上,同码字少
换来的是 265 个独体字与无部件字(含一、人、口、手、心、月这些最常用的字)多了一个人人猜得到的部件码,「明月」这类词可以按看见的样子打。代价很小,但不是零。
5.7 向后兼容#
旧版本(0.2.0)的 66,505 条码一条都没丢。data-tools/audit_zuxia.py 不存快照,而是现场用旧算法重算一遍再比对。0.4.2 对 0.4.1 也是只加不减:274,327 条(字,码)一条不少,新增 252 条。
5.8 重出本文所有数字#
# 逐级加码、命中率、唯一性
python3 data-tools/measure_zuxia.py data/zuxia.dict.yaml
# 字表规模、结构码分布(生成器末尾打印的 JSON 就是报告)
python3 data-tools/generate_zuxia.py
# 无结构码的对照版本
python3 data-tools/generate_zuxia.py --no-structure --out-dir /tmp/ns
python3 data-tools/measure_zuxia.py /tmp/ns/zuxia.dict.yaml
# 与 0.4.1 的规则对照(§5.6):同一份源数据,用原样留档的 0.4.1 生成器重出一份
python3 data-tools/generate_zuxia_041.py --out-dir /tmp/g041
python3 data-tools/measure_zuxia.py /tmp/g041/zuxia.dict.yaml
# 码表不变量自查
python3 data-tools/audit_zuxia.py
数据改了数字就会变。请重跑,不要手抄。
六、数据来源与许可#
| 数据 | 来源 | 许可 |
|---|---|---|
| 独体字判定 | GF 0013—2009《现代常用独体字规范》(扫描件逐字抄录,256 字) | 国家规范 |
| 国标部件名称 | GF 0014—2009《现代常用字部件及部件名称规范》(公开转录本,480 条) | 国家规范 |
| 字形拆分 | CJKVI-IDS、Make Me a Hanzi | LGPL-3.0 等,见仓库 licenses/ |
| 字频与词库 | 雾凇拼音(rime-ice) | GPL-3.0 |
| 字表范围 | 《通用规范汉字表》8105 字 | 国家规范 |
| 繁体对照 | 《通用规范汉字表》附件 1《规范字与繁体字、异体字对照表》的繁体字栏(2546 个规范字);机读本取自 TerryTian-tech 整理的 OpenCC 国标繁体字表 | 国家规范;机读本 Apache-2.0 |
方案文本(本文)采用 CC BY 4.0:可以转载、改编,注明出处即可。自研代码采用 MIT 许可。派生数据沿用其上游许可,详见仓库 THIRD_PARTY_NOTICES.md。
七、反馈#
方案层面的问题,如规则好不好学、好不好猜、与已有方案相比值不值,请提到仓库的 Issues。
软件层面的问题见 README;代码审阅请先读 docs/REVIEW.md,那里写明了哪些验过、哪些没验过、哪些是已知欠账。
本页由仓库里的 docs/应物音形汉字键入方案.md 生成。