Frank’s essay provoked more emails, and this excerpt caught my attention:
第一百二十九条 被决定给予行政拘留处罚的人交纳保证金,暂缓行政拘留或者出所后,逃避行政拘留处罚的执行的,保证金予以没收并上缴国库,已经作出的行政拘留决定仍应执行。,更多细节参见heLLoword翻译官方下载
Rank-1 linear, factorized embed, sparse gate, param-free norm, low-rank head, cross-layer sharing,推荐阅读夫子获取更多信息
Subresource Integrity — MDN Web Docs
直观理解一下,激活函数就像神经网络里的开关或滤镜,它决定了每个神经元应该多大程度地激活,从而使网络具备强大的表达能力。