Frank’s essay provoked more emails, and this excerpt caught my attention:
第一百二十九条 被决定给予行政拘留处罚的人交纳保证金，暂缓行政拘留或者出所后，逃避行政拘留处罚的执行的，保证金予以没收并上缴国库，已经作出的行政拘留决定仍应执行。，更多细节参见heLLoword翻译官方下载
Rank-1 linear, factorized embed, sparse gate, param-free norm, low-rank head, cross-layer sharing，推荐阅读夫子获取更多信息
Subresource Integrity — MDN Web Docs
直观理解一下，激活函数就像神经网络里的开关或滤镜，它决定了每个神经元应该多大程度地激活，从而使网络具备强大的表达能力。