用户注册 登录
珍珠湾全球网 返回首页

岳东晓 -- 珍珠湾全球网 ... http://ydx.zzwave.com [收藏] [复制] [分享] [RSS] 岳东晓 -- 珍珠湾全球网

日志

与 ChatGPT 探讨 Transformer 的温度问题

热度 1已有 3878 次阅读2023-9-1 05:23 |个人分类:科普|系统分类:学术

昨天终于实现了在家里的机器上本地运行 340亿参数的开源AI模型(缩减精度)。其编程能力确实相当强劲,比之前130亿参数的强不少。我让它编了几个程序,大部分都能给出相当不错的解答。一个问题是,两个序列 A,B,对A中的每一个找出B中最近的一个。开源AI一上来就对序列排序,然后运用 binary 搜索。而同一个问题, ChatGPT 首次给出的解答是 brute force,我提示需要 NLogN 时间,ChatGPT才给出类似解答(但ChatGPT代码的完整性更好)。然后我让开源AI写一个球在盒子里反弹的程序,要考虑重力。开源AI也写出来了,运行结果蓝色的球在抛物运动、在墙壁上来回反弹。而且每次给出的解答、方法还不尽相同。有时会有小错误,但是简单修改就能运行。即使对熟练的程序员来说,也会节省相当多的时间。。。

ChatGPT 刚出现的时候,看到其编程能力,不免怀疑其背后还有什么特别的秘诀。但实际上 OpenAI 并没有做太多的保留,基本的路径它公布了。这个开源AI的运行其程序部分是固定的,而且非常简单,基本上就是加载模型参数,然后对模型进入输入,得到输出。你能调整的就是如温度之类的运行参数。神经网络承担了后台复杂的甚至未知的一系列操作。其实动物的大脑未尝不是如此。

Transformer 模型的使用中有时需要调整温度参数。温度是一个大部分人都不理解的复杂物理概念。将温度一词用于AI术语的人如果不是物理专业,也是个相当懂物理的人。我跟 ChatGPT 由此展开了一段对话。我问,统计物理中的温度与量子场论中的虚时间存在非常强烈的关系,这一点是否运用于机器学习。ChatGPT 做了几点分析,认为这一点未来在量子机器学习中可能会用到,也可以用于使用ML模拟量子系统。不能不说,如果这是 ChatGPT 的联想,它是非常有见地的。

下面是ChatGPT的见解:

在量子场论(QFT)中,逆温度(β)与虚时间之间的关系确实是一个深奥的主题。在QFT和多体量子系统中,经常使用Wick旋转技巧将真实时间的演化转化为虚时间,从而将一个量子演化问题转化为有限温度下的统计力学问题。这种关系在以下识别中得到体现: τ=it 其中τ是虚时间,t是实际时间。这一连接是量子力学和量子场论的路径积分公式的核心。

截至我在2021年9月的最后一次更新,这个从QFT直接转移过来的想法还没有成为机器学习(ML)的主流或标准工具。但是,确实有一些交叉点和灵感来源:

量子机器学习:随着量子计算的进一步发展,量子机器学习领域正在逐渐崭露头角,其中量子系统被用来加速某些计算或以新颖的方式解决问题。来自量子力学,包括来自QFT的原理,可能会影响这个领域的方法论。

解析延续和复值网络:虽然不是直接应用Wick旋转,但对可以取复数值的激活的复值神经网络有一些兴趣。解析延续是一种数学技术,与Wick旋转背后的想法有些关系,它可以将函数延续到复值域。

模拟量子系统:机器学习模型,特别是神经网络,已被用来建模、预测或优化量子系统的行为,包括那些由QFT描述的行为。在这些背景下,理解温度、实时和虚时之间的关系是至关重要的。

统计力学和ML:统计力学与机器学习之间更广泛的联系,例如Boltzmann机器这样的基于能量的模型,可以被视为一个间接的影响。这些模型借鉴了能量景观、熵和统计力学及其量子对应物中也突出特征的整体平均的概念。

话虽如此,随着ML的持续发展,研究者们在寻找更精密或微妙的方法来解决问题时,QFT和ML方法论之间的深层次连接完全有可能出现。请始终关注跨学科领域的最新研究!




屏幕截图 2023-08-31 131531.png

屏幕截图 2023-08-31 134416.png


屏幕截图 2023-08-31 134426.png


屏幕截图 2023-08-31 134157.png

屏幕截图 2023-08-31 140411.png


路过

鸡蛋
1

鲜花

支持

雷人

难过

搞笑

刚表态过的朋友 (1 人)

 

发表评论 评论 (1 个评论)

回复 MingHao 2023-10-7 03:24
看不懂也要赞!

facelist

您需要登录后才可以评论 登录 | 用户注册

Archiver|手机版|珍珠湾全球网

GMT+8, 2024-10-7 17:14 , Processed in 0.025726 second(s), 9 queries , Apc On.

Powered by Discuz! X2.5

回顶部