专栏名称: 集智俱乐部
本公众号用于发布与集智俱乐部有关的活动信息、文章以及关于俱乐部的基本介绍。
今天看啥  ›  专栏  ›  集智俱乐部

用机器识别涌现发生:Neural Information Squeezer|集智百科集智百科

集智俱乐部  · 公众号  · 科技媒体  · 2024-09-23 22:57

主要观点总结

NIS(神经信息压缩器)是一个基于神经网络框架,旨在解决因果涌现辨识问题的工具。它通过编码器、解码器和动力学学习器三部分,使用可逆神经网络共享参数,通过训练过程输出粗粒化策略、宏观动力学和最优建模尺度,判断是否存在因果涌现。NIS框架可被看作压缩信道,通过投影操作在中间进行信息压缩。理论推导和实验证明,宏观动力学的互信息可以逼近真实数据中微观态的互信息,并随宏观态维度的增加而减少。NIS展示了在时间序列数据中发现宏观动力学、粗粒化策略和因果涌现的理论性质和应用潜力。

关键观点总结

关键观点1: NIS框架简介

NIS是一个基于神经网络框架,旨在解决因果涌现辨识问题的工具,通过编码器、解码器和动力学学习器三部分,使用可逆神经网络共享参数,通过训练过程输出粗粒化策略、宏观动力学和最优建模尺度,判断是否存在因果涌现。

关键观点2: NIS框架的组成部分

NIS框架包括编码器、解码器和动力学学习器三部分,使用可逆神经网络共享参数,通过训练过程输出粗粒化策略、宏观动力学和最优建模尺度。

关键观点3: NIS的理论推导和实验证明

理论推导和实验证明,宏观动力学的互信息可以逼近真实数据中微观态的互信息,并随宏观态维度的增加而减少。

关键观点4: NIS的应用潜力

NIS展示了在时间序列数据中发现宏观动力学、粗粒化策略和因果涌现的理论性质和应用潜力。


文章预览

导语 NIS(神经信息压缩器,英文为:Neural Information Squeezer,简称NIS)是一个以解决因果涌现辨识问题为目的的神经网络框架[1]。它由编码器、解码器、动力学学习器三部分组成,其中编码器、解码器共享同一个可逆神经网络。NIS可以通过微观状态时间序列的输入、训练后输出粗粒化策略、宏观动力学、最优建模尺度,并判断是否存在因果涌现。NIS框架可以被视为一个压缩信道,通过投影操作在中间进行信息压缩。这种压缩信息通道通过约束粗粒化策略,将复杂的微观状态映射到简单的宏观状态,从而定义了有效的粗粒化策略和宏观态。通过理论推导可以证明一系列数学结论,例如:通过神经网络的训练过程,宏观动力学的互信息可以逐渐逼近真实数据中微观态在一个时间步内的互信息I(X t+1 ; X t ),并且这种逼近程度会随着宏观态维度的增加而减少 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览