1）人类逃不出环境的「诅咒」
「Dwarkesh 和 Gwern」VS 「张小珺和姚顺宇」这两期节目，不约而同地合力戳破——人工智能的出现并没有我们以为地那么「奇迹」：「资源」足够再叠加试错次数——反馈循环到达一定程度，「人工智能」总会被造出来的。
这个规律，连接到今天所谓的「天才如何培养」相关话题上——居然就这么完美地闭环了，一点不违和…也怪不得如今大多数有「成就」的人都带着上一代的福报。
2）我以为的个人偏好真的是我的偏好吗？
我时常会问自己这样的问题，实在是好奇。
姚顺宇在节目中提到，美国产品人用工具逻辑做 ToC 市场，而中国产品人把人性这套玩得极好，商业化表现更是其他产品人羡慕不来的。
但是，Gwern 在节目中说，人类的品味和偏好是作为人的绝对稀缺性所在——他不知道，在别的土地上——我们接收到的一切都有可能是被系统设计、引导的，而我们却以为，那就是来自我们自身的东西。
3）媒介即 Token
这是由「媒介即讯息」推演而来，原话是互联网时代的产物，而在 AI 时代，媒介更像是「源代码」本身，因为未来的 Agent 需要通过这些媒介来认识人类，文字作为媒介的一种——就是我们写给未来那些「超级智能」们的个人说明书，是贡献给 Agent 的 token，是未来 AGI 训练数据的部分权重。
想起之前谁谁谁和谁谁谁说，要多和 AI 聊天，要写日记（视频日记也算，比如罗振宇）——是不是就有迹可循了！
底层的机密可能是，我们要留下足够多的痕迹，暴露「我的喜好」，表达「我是怎样的一个人」…以此让「超级智能」识别我们在网络中的存在，否则到时候的人类就可能像如今完全没有通网的人——除了全国身份系统和周边环境，还有什么可以证明这个人存在过吗？
不过，需求因人而异也是可能的。🤔
4）对智慧与真理的偏爱
在我看来，Gwern 本人——也是个传奇人物，相比于互联网上我所看到的「隐居人士」——ta 们真的是一头扎进个人生活里，而 Gwern 却反其道行之，甚至会和陌生网友吵架，或者写文章纠正网友们的错误理解/观点…真是有趣。
如果我离开人群去过生活，我大抵也不会沉浸于那几亩三分地的线下，我还是会对人好奇对偌大世界好奇对天地间的运行规律好奇🧐哪怕只是自娱自乐的水平…🤪
以及，绝对不可能断网！一是，如 Gwern 所说，互联网反哺了信息差和创造动力！二是，大多数的人类智慧都需要靠网络接触。三嘛，互联网的乐子…可多了，偶尔也要消遣下的嘛：）
5）Gwern VS LLM
其实，4）是我的「理想投射偏见」，本来不想介绍太多 Gwern 本人的情况，但他作为一个能准确预测 GPT-3 进化程度的人，也不是没有理由的，而我想把这层关联也展开讲讲。
Gwern 生来患有严重的听力障碍，这使得他的信息接收来源只有文本——等等，是不是和文本模型有点像？那么问题来了，大模型为什么能读取图片、音视频里的信息？如何读取？多模态的本质真的是多模态吗？
准确的来说，读取图片、音视频的能力不过是文本阅读能力的进阶版。大模型获取文本信息的能力和编码有关，编码和计算机世界里的 0 和 1 有关，而图片、音视频信息相较于文字，只不过是更复杂的编码系统。那要能读取文字之外更高维度的信息，意味着需要有足够的算力，算力足够意味着一定的芯片数量，芯片这块…就不往下拓展了，毕竟我也没懂多少。
至于如何读取，更直接的问题是，它们回复我们的消息如何来的——和一个叫做「图灵机」的逻辑概念有关系。
简单来说，AI 并不知道我们发给它的消息（或者说，一串数据）本身是什么，也不知道它回复我们的是什么。它唯一做的就是，接收这串数据后——触电一般地，瞬间激活它在过去海量试错中早已固化在「脑子」里的、成千上万个合适的「图灵机」，然后这些图灵机在概率的驱使下自动衔接、重组，最终像车间流水线一样把一个又一个词造出来——返回给我们。
举个例子，我和它说「我很困惑，不理解你给的回答是什么意思」——它的理解逻辑便是：哦，这个人类说 ta 困惑，「困惑」意味着什么？好，我去找和它有关的图灵机，然后得到「困惑和什么有关系」的相关句子，接着它会注意到，这个人的「困惑」和什么有关系？在人类和我互动的上下文里，那我要衔接上下文中出现过的内容，然后再去找和这些内容相关的「图灵机」，接着串起这些图灵机…最后我们得到了眼前的回复——所谓的「图灵机」就是一串有逻辑关系的指令或者规则，而且它能记录自己的状态，还可以更改指令、规则…太抽象了，不理解也罢，我也还处于知其然不知其所以然的状态，指不定我的解释也是有误的 :（
6）DeepSeek
我在想，为什么 Gemini 的多模态这么出色。我能想到的是，它背后有 YouTube 这个庞大的音视频数据库作为训练材料，相当于再加上算力和模型本身的能力，多模态的地位自然而然就来了。
然后我就想啊，那 DeepSeek 是不是也可以和 B 站、爱奇艺或者优酷合作？那音视频数据不就来了嘛，尤其是现在的 B 站，那资源别提有多「多元」了。
但问题是，为什么现在 DeepSeek 连读图都还只能读取文字？肯定不是模型本身的能力问题，而是算力，或者说是芯片的原因——训练需要这些资源作动力。
DeepSeek 团队能在资源如此有限的情况下造出如此优秀的 DeepSeek，真的很厉害——此时此刻我才深刻地知道，到底是何等程度的厉害！
前不久特地了解了些许芯片制造相关的知识，那我由此知道，芯片行业极其重资本，稍有不慎，多少亿美元就打水漂了——姚顺宇在播客中的表述也透露出，AI 工程背后是无数次的实验、试错，这意味着一定人力、物力和资源的投入——那在芯片行业也是一样，没有足够的资本，就没有足够的试错次数，没有足够的试错次数，技术也就无法更上一层楼，技术不够好…势必直接芯片生产，和上述 1）是如此地相似啊——
「我不是因为我想要成为普通人所以是普通人，而是环境造就我」，这里的「普通人」换了别的名词也是一样，以及，它在这里是个中性词～
P.S. 以上内容仅为个人观察、想法，如有任何错误，请告诉我。其中提到的两期播客链接如下：
1）Dwarkesh 和 Gwern：https://youtu.be/a42key59cZQ?si=hLlrW_8Pd2hdMnyP
2）张小珺和姚顺宇：https://youtu.be/ttkd0t5qTD4?si=5SXFJadh-G9lyMMJ