昨天终于实现了在家里的机器上本地运行
340亿参数的开源AI模型(缩减精度)。其编程能力确实相当强劲,比之前130亿参数的强不少。我让它编了几个程序,大部分都能给出相当不错的解答。一个问题是,两个序列
A,B,对A中的每一个找出B中最近的一个。开源AI一上来就对序列排序,然后运用 binary 搜索。而同一个问题, ChatGPT
首次给出的解答是 brute force,我提示需要 NLogN
时间,ChatGPT才给出类似解答(但ChatGPT代码的完整性更好)。然后我让开源AI写一个球在盒子里反弹的程序,要考虑重力。开源AI也写出来了,运行结果蓝色的球在抛物运动、在墙壁上来回反弹。而且每次给出的解答、方法还不尽相同。有时会有小错误,但是简单修改就能运行。即使对熟练的程序员来说,也会节省相当多的时间。。。
ChatGPT
刚出现的时候,看到其编程能力,不免怀疑其背后还有什么特别的秘诀。但实际上 OpenAI
并没有做太多的保留,基本的路径它公布了。这个开源AI的运行其程序部分是固定的,而且非常简单,基本上就是加载模型参数,然后对模型进入输入,得到输出。你能调整的就是如温度之类的运行参数。神经网络承担了后台复杂的甚至未知的一系列操作。其实动物的大脑未尝不是如此。
Transformer
模型的使用中有时需要调整温度参数。温度是一个大部分人都不理解的复杂物理概念。将温度一词用于AI术语的人如果不是物理专业,也是个相当懂物理的人。我跟
ChatGPT 由此展开了一段对话。我问,统计物理中的温度与量子场论中的虚时间存在非常强烈的关系,这一点是否运用于机器学习。ChatGPT
做了几点分析,认为这一点未来在量子机器学习中可能会用到,也可以用于使用ML模拟量子系统。不能不说,如果这是 ChatGPT 的联想,它是非常有见地的。
下面是ChatGPT的见解:
在量子场论(QFT)中,逆温度(β)与虚时间之间的关系确实是一个深奥的主题。在QFT和多体量子系统中,经常使用Wick旋转技巧将真实时间的演化转化为虚时间,从而将一个量子演化问题转化为有限温度下的统计力学问题。这种关系在以下识别中得到体现:
τ=it
其中τ是虚时间,t是实际时间。这一连接是量子力学和量子场论的路径积分公式的核心。
截至我在2021年9月的最后一次更新,这个从QFT直接转移过来的想法还没有成为机器学习(ML)的主流或标准工具。但是,确实有一些交叉点和灵感来源:
量子机器学习:随着量子计算的进一步发展,量子机器学习领域正在逐渐崭露头角,其中量子系统被用来加速某些计算或以新颖的方式解决问题。来自量子力学,包括来自QFT的原理,可能会影响这个领域的方法论。
解析延续和复值网络:虽然不是直接应用Wick旋转,但对可以取复数值的激活的复值神经网络有一些兴趣。解析延续是一种数学技术,与Wick旋转背后的想法有些关系,它可以将函数延续到复值域。
模拟量子系统:机器学习模型,特别是神经网络,已被用来建模、预测或优化量子系统的行为,包括那些由QFT描述的行为。在这些背景下,理解温度、实时和虚时之间的关系是至关重要的。
统计力学和ML:统计力学与机器学习之间更广泛的联系,例如Boltzmann机器这样的基于能量的模型,可以被视为一个间接的影响。这些模型借鉴了能量景观、熵和统计力学及其量子对应物中也突出特征的整体平均的概念。
话虽如此,随着ML的持续发展,研究者们在寻找更精密或微妙的方法来解决问题时,QFT和ML方法论之间的深层次连接完全有可能出现。请始终关注跨学科领域的最新研究!