请在2024年Clojure状态调查!中分享您的想法。

欢迎!请参阅关于页面以获取有关如何工作的更多信息。

0
编译器

编译引用未加载(或未初始化)的类的函数将触发其初始化静态。当初始化静态加载Clojure代码时,某些常量(我认为是源代码)将泄露到正在编译的函数的常量池中。

这导致在一些环境中(如Rational)CCW无法工作,因为结果函数的静态初始化超过了64K。

复现步骤

加载leak.main ns并在注释中运行代码:第一个函数有15个额外的字段,尽管它与第二个完全相同。

`
(ns leak.main)

(defn first-to-load []
leak.Klass/foo)

(defn second-to-load []
leak.Klass/foo)

(comment
=> (map (comp count #(.getFields %) class) [first-to-load second-to-load])
(16 1)
)
`

`
package leak;

import clojure.lang.IFn;
import clojure.lang.RT;
import clojure.lang.Symbol;

public class Klass {
static {

RT.var("clojure.core", "require").invoke(Symbol.intern("leak.leaky"));

}
public static IFn foo = RT.var("leak.leaky", "foo");
}
`

`
(ns leak.leaky)

(defn foo
"Some doc"
[]
"hello")

(def unrelated 42)
`

https://gist.github.com/cgrand/5dcb6fe5b269aecc6a5b#file-main-clj-L10

补丁: clj-1620-v5.patch

33 个答案

0

评论者:cgrand

Nicola Mometto的补丁

0

评论者:bronsa

附上带有更详细提交消息的相同补丁

0

评论由:laurentpetit 提供

我要感谢 Christophe 和 Alex 在理解问题、形成正确的假设以及找到解决方案方面的宝贵帮助。

我还想指出,即使非 IBM Rational 环境中没有受到此错误的严重影响,即 CCW 无法工作,它们仍然受到了影响。例如,在应用补丁后,包装Interop调用的单行函数类的大小为 700 字节,而当前 1.6 或 1.7 的版本中为 90k 字节。

0

评论由:laurentpetit 提供

在 CCW 中对初始有问题的函数,-v2 补丁生成的字节码与引用的类在其静态初始化器中没有加载任何命名空间时完全相同。
也就是说,补丁是有效的。我会尽快在 IBM Rational 环境中测试。

0

评论由:laurentpetit 提供

我证实此补丁解决了在 IBM Rational 环境中首次检测到的问题

0

评论由:michaelblume 提供

我不知道为什么,但是当我将此补丁以及 CLJ-1544 的补丁应用到主分支上,并尝试从此测试项目 https://github.com/pdenhaan/extend-test 构建一个 war 文件时,我得到了一个看起来很可怕的错误跟踪信息

`
$ lein do clean, war!
主线程中发生异常:java.lang.NoSuchFieldError: thunk0__, 编译:(route.clj:1:1)

at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3606)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at extend_test.core.handler$loading__5301__auto____66.invoke(handler.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at extend_test.core.servlet$loading__5301__auto____7.invoke(servlet.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$compile$fn__5420.invoke(core.clj:5834)
at clojure.core$compile.invoke(core.clj:5833)
at user$eval5.invoke(form-init180441230737245034.clj:1)
at clojure.lang.Compiler.eval(Compiler.java:6776)
at clojure.lang.Compiler.eval(Compiler.java:6765)
at clojure.lang.Compiler.eval(Compiler.java:6766)
at clojure.lang.Compiler.load(Compiler.java:7203)
at clojure.lang.Compiler.loadFile(Compiler.java:7159)
at clojure.main$load_script.invoke(main.clj:274)
at clojure.main$init_opt.invoke(main.clj:279)
at clojure.main$initialize.invoke(main.clj:307)
at clojure.main$null_opt.invoke(main.clj:342)
at clojure.main$main.doInvoke(main.clj:420)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at clojure.lang.Var.invoke(Var.java:383)
at clojure.lang.AFn.applyToHelper(AFn.java:156)
at clojure.lang.Var.applyTo(Var.java:700)
at clojure.main.main(main.java:37)

原因:java.lang.NoSuchFieldError: thunk0__

at instaparse.core__init.load(Unknown Source)
at instaparse.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at clout.core$loading__5301__auto____273.invoke(core.clj:1)
at clout.core__init.load(Unknown Source)
at clout.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:482)
at compojure.core$loading__5301__auto____68.invoke(core.clj:1)
at compojure.core__init.load(Unknown Source)
at compojure.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:457)
at compojure.route$loading__5301__auto____1508.invoke(route.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
... 75 more

子进程失败
`

0

评论由:michaelblume 提供

https://github.com/MichaelBlume/clojure/tree/no-field
https://github.com/MichaelBlume/extend-test/tree/no-field

一个中使用 mvn clean install,另一个中在 lein ring uberwar 中。

0

评论者:bronsa

Michael,感谢您的报告,我已经尝试调查这个问题,但是由于涉及到的各个组件众多,因此很难找出为什么这两个补丁的组合会导致这个问题。

需要的一个有用的最小化实例不需要 lein 和外部依赖项,如果有任何人有时间,我会很感激能有人协助调试这个问题。

0
作者:

评论由:michaelblume 提供

好吧,看起来最简单的情况是

(ns foo (:require (link: instaparse.core)))

(ns bar (:require (link: foo)))

然后尝试将 foo 和 bar 都进行 AOT 编译。

我还不知道 instaparse.core 有什么特殊之处。

0
作者:

评论由:michaelblume 提供

嗯,当然不是最简单的情况,但至少不是使用 lein 的。

0
作者:

评论由:michaelblume 提供

ok,问题是 instaparse 的 defclone 宏,我已经把它抽取到一个测试仓库中。

https://github.com/MichaelBlume/thunk-fail

使用 lein do clean, compile 会导致失败,但该仓库没有依赖,所以我相信在没有 lein 的情况下也有办法做到。

0
作者:

评论者:gshayban

对不起连续提出这么多个问题,但这些类加载器错误很隐晦(希望近期能解决)。您的报告非常有价值,但更具体的信息将有所帮助。有几个这样的错误——把它们聚焦在关键上是重要的。

您提到的最简单情况是 NoSuchFieldError 吗?
这种方式在没有 lein 的情况下是如何调用的?
你在调用 AOT 编译什么?(compile 'bar)?
类路径是什么?当您最初调用时,./target/classes 是空的吗?
在应用 CLJ-979-7 后问题解决了吗?

0
作者:

评论由:michaelblume 提供

我尝试过,但未能在没有 leiningen 的情况下复现。当我只是运行

java -Dclojure.compile.path=target -cp src:../clojure/target/clojure-1.7.0-aot-SNAPSHOT.jar clojure.lang.Compile thunk-fail.first thunk-fail.second

所有东西都能正常工作。

0
作者:

评论者:gshayban

NoSuchFieldError 与关键字查找位置相关

将 defclone 的主体替换为
`(do (:foo {})) 足以触发它,使用相同的 ns 结构。

0

评论者:bronsa

我已经更新了 CLJ-1544 的补丁,现在新补丁 + 本票的补丁组合不会引发任何异常。

话虽如此,这个补丁中仍然存在一个漏洞,因为虽然 CLJ-1544 的补丁有漏洞,但它会导致一个完全有效的(尽管难以复现)编译场景,所以我们应该使用 CLJ-1544 的有漏洞的补丁来帮助调试这个补丁。

我认为首先要做的是找出 lein 编译与 clojure.Compile 有何不同。

...