LLM（2）| LLM和大语言模型

2.大语言模型LLM

在ChatGPT出现之前GPT model就已经很厉害了，

只是人对GPT的了解还需要通过一个交互界面来认识它。

（包装真的很重要。尤其是在最近求职中感受愈发强烈。）

科技真的好厉害啊！

一个不懂技术细节的文科生（like me）来谈论机器学习，多少有点道听途说了几个牛逼的词出来唬人的味道。

但如果不知道原理，只是随随便便问几个问题发现机器人答的不好，就自以为是觉得自己不会被淘汰，才是最可怕的。

GPT的数据来源于21年之前的数据库。

所以你问他现在或者未来的问题，是无解的。

你问他个人隐私信息，是查不到的。

（至少能说明科技公司还有法律道德底线）

可最新出的插件已经可以接入了最新的信息，

可以自我迭代了，即时性的痛点也解决了。

GPT神奇之处在于它的学习过程是一个黑箱。

科学家真的知道自己在造一个什么样的硅基生命出来吗？

从GPT4考美国bar的结果可以看出来，它的知识量和思维量已经在全人类的前10%了。

想起那些我们初中历史书上背的滚瓜烂熟的道理。

人和动物的区别在于制造和使用工具。

人能使用科技工具的前提是人可以驾驭工具。

从使用ChatGPT的经验不难发现，你问他一个简单的问题，你轻而易举可以发现他错漏百出。

但你要问他量子物理或者相对论，它诌出来的内容你根本无法作判断。

想来是可怖的。

信息资讯建构了我们所能认知到的世界。

掌握科技的人稍微掌握用户心理就轻轻松松有了套利空间。

“我们好像是出于自律与自主，自由地作出选择，其实只是被轰轰烈烈的正确的正能量所规范了，让我们觉得这些是对的，人应该往这个方向走。

明明遭受了结构性剥削与驯化，我们却将其内化成“自己的选择”，这是自主选择的幻觉。”

（想想当季流行的口红色号！衣服包包！想想最主流的成功学叙事！）

如果我们依托AI获取的资讯无法证实或证伪，那人类到底怎么驾驭它呢？

（率先感受到威胁的科技大佬们说：大家都别搞AI了。。）

教育方式当然得改。

至于该怎么学习？

可以从GPT训练原理窥探到世界上一些最聪明大脑的学习方式。

例如要将自己置于大量的优质信息中，才会有可能产生emergent时刻。

又例如GPT训练中的RLHF（Reinforcement Learning from Human Feedback）环节也启示我们：“找一个把某些「只能意会不能言传」的事情做得非常好的人，在训练输出时请他提供反馈。”（嗯，良师益友很重要）。

3.结构性震荡

随便看看网络上对百度文心一言的群嘲，不难预料，归责于制度当然是最简单好用的思路，也是最懒惰的思路。

研究微软的成功秘籍是好事，思考为什么chatGPT出生在美国也是好事，探究好学生的学习方法是会有所获的，但复制未必能成为好学生。

中国用40年的时间走完了发达国家几百年走完的路。

看看现在的经济科技格局，也就只有中国和美国跑出了几只独角兽。

（独角兽的定义是估值在10亿美元以上的初创企业）

美国的创新优势非常显著毋庸置疑。

但AI在应用层的落地中国并不输的。

字节是上一个用户增长最快的独角兽

如果中国对美国对世界没有威胁的话，反华情绪就不会这么显著了。

看看TikTok在听证会如何被美国政客围剿就知道了。

ps 周受资真是个大帅哥

与大多数人认为的合理的个人行为方式相比，国家的行为方式更自私，考虑更不周到。

——Ray Dalio《原则》

口诛笔伐的议员们有多少对科技真的了解呢，对于实施监管手足无措，但他们又着实掌握着非常大的这个社会该如何建构的权利。

大家对中国的忧虑也是真实的。

外国对中国的威胁是“墙”存在的基础。

墙隔绝的是高质量的信息。

OpenAI的创始人奥特曼在21年就写过他对未来政治经济局势的判断《万物摩尔定律》，并提出了他的解决方案。

原来他在制造AI“神兽”之前也是抬头看了看天的

主要内容就是：通过对科技公司和土地征高昂税；再加上重新建构社会再分配格局来实现。（他竟然建议多税自己，是不是很有说服力！）

在经济下行的时期作为应届毕业生找工作，就像被迫购买跌停的股票。

（无所谓我会抄底(꒦_꒦) ）

每个应届毕业生都对蛋糕做不大和社会分配不均作为社会的矛盾感受无比深刻。

如何把蛋糕做大做好？只有拥抱科技提高生产效率这一条路吗？

除了科技之外，哪里还有新的经济增长点呢？

当下时代命题，可能要去200年前马克思的《资本论》里找找答案了。

结构性调整是困难且痛苦的。

港股IPO有个著名的printer session环节，出现在招股书定稿阶段，有着巨大的法律责任和无数细节数据等等，产生了巨大的工作量，都需要短时间内在中环昂贵办公室的printer session完成。Printer用光鲜工资买断了律师和banker的时间，集中了一批最勤奋高薪的聪明大脑，在冲刺上市的关键时刻，批量生产着文件。

突如其来的疫情使得printer无需线下运作了，支付高额printer session费用的公司隐隐约约能感受到，啊这笔钱是不是本来就没有必要付。

但现实并没有如此运作，春风起，口罩令取消，闻风丧胆的Printer Session慢慢恢复到了正轨。

小小的printer尚且如此，何况我们咬合精密运转复杂的人类社会呢。在迅猛发展的科技面前，繁杂的政治经济结构，法律的滞后，显得尤为突出。

制度变革就是房间里的大象，我们明明知道它会变。

但人，在现有体制受益的我们每一个人，甚至不需要有权力地位，即使是只是有稳定生活的人，都不自知地会阻碍他的变革。

阻碍变革还好。更要警惕的是成为《狂飙》里的高启强，明明是在体制下被压榨的人，反抗体制的方式是成为压榨者。

· AIGC融资百亿的科技狂欢背后的是今年硅谷被裁的20万人。

· 时代周刊的一篇报道介绍了 OpenAI将训练AI数据标注的工作外包给肯尼亚。

“为了确保通用人工智能造福全人类，需要人工筛选性虐待、仇恨言论和暴力的文本。这些工作会给劳动者带来精神创伤。”

另外一个被历史所验证过有效的资本积累途径——是剥削，是掠夺。

资本主义的前进踏着鲜血和疯狂。

4.直面精神危机

科学家研发的目的是为了解放人，解放生产力，让人成为人。

因此，科技革命一定会带来新的物质和精神危机。

我们这代人得更直面自己的精神危机。

分享我常常给自己精神按摩的一个微信公众号栏目：《离开清华的99种方式》。

在那里你能看到各种各样的探索的精彩人生，但不得不承认“离开”本身就已经是privilege了。

大卫·哈维给出的最后一条解决方案是：

“非异化人类和非异化创造性角色将出现，将具有一种新的、自信的自我与集体存在意识。

人们将激烈争论何为美好生活，但人人皆同样值得享有尊严和尊重是社会共识。

《资本社会的17个矛盾》

· 回到LLM大语言模型——它的出现似乎是历史的必然。

· “语言是文明的基石”早就蕴含在了维特根斯坦的哲学思想里——这大概是那么多聪明脑袋前仆后继探究大语言模型的哲学愿景。

· 桥水基金的创始人也早就畅想过：

· 2018年的奇葩说讨论的辩题：

* 正方陈铭说：这能拉平人类的知识差距，应当支持。

* 反方詹青云说：不劳而获的知识只是信息，学习的过程是无法替代的，学习培养的是调取知识和独立思考的能力。

这些都只是大语言模型的在过去时空的一些简单映射。

人类从茹毛饮血走向工业革命，再走向信息时代。

只能不断忍受作为卑微碳基生命的局限性。

大语言模型目前也仅仅只是语言而已，

虽然人类文明不止语言一个维度。

但语言承载了巨大而深刻的文明内涵。

AI已经在学了，学得还很不错。