2024年Clojure状态调查!中分享您的想法。

欢迎!有关如何使用本站的信息,请参阅关于页面。

0
编译器

编译引用未加载(或未初始化)的类的函数时会触发其初始化静态方法。当初始化静态方法加载Clojure代码时,某些常量(我认为是源代码)会泄漏到正在编译的函数的常量池中。

由于生成的函数的静态初始化方法超过64K,这阻止了CCW在某些环境(例如Rational)中工作。

重现步骤

加载leak.main命名空间并运行以下注释中的代码:第一个函数虽然与第二个完全相同,但有15个额外的字段。

`
(ns leak.main)

(defn first-to-load []
leak.Klass/foo)

(defn second-to-load []
leak.Klass/foo)

(comment
=> (map (comp count #(.getFields %) class) [first-to-load second-to-load])
(16 1)
)
`

`
包 leak;

导入 clojure.lang.IFn;
导入 clojure.lang.RT;
导入 clojure.lang.Symbol;

公共类 Klass {
静态 {

RT.var("clojure.core", "require").invoke(Symbol.intern("leak.leaky"));

}
public static IFn foo = RT.var("leak.leaky", "foo");
}
`

`
(ns leak.leaky)

(defn foo
"Some doc"
[]
"hello")

(def unrelated 42)
`

https://gist.github.com/cgrand/5dcb6fe5b269aecc6a5b#file-main-clj-L10

补丁: clj-1620-v5.patch

33 个答案

0

网友cgrand的评论

来自Nicola Mometto的补丁

0

网友bronsa的评论

附加了同一个补丁,并附有更详细、更优的提交信息

0

评论者:laurentpetit

我想感谢Christophe和Alex在理解所发生的情况、提出正确的假设并找到解决方案方面的宝贵帮助。

我还想指出,即使非IBM Rational环境没有受到该漏洞的影响,直到CCW无法正常工作,它们仍然受到影响。例如,一旦应用补丁,包装了Interop调用的单行函数对应的类就仅重700字节,而当前1.6或1.7版本的同类却在1.6或1.7版本时要重90k字节。

0

评论者:laurentpetit

在CCW初始问题函数中,-v2补丁产生的字节码与引用的类在其静态初始化器中未加载任何命名空间的字节码完全相同。
这意味着补丁是有效的。我将在IBM Rational环境中尽快进行现场测试。

0

评论者:laurentpetit

我证实补丁解决了在IBM Rational环境中最初检测到的问题

0

评论者:michaelblume

我不知道为什么,但当我应用此补丁,并将其与CLJ-1544补丁应用到master分支上时,并尝试从测试项目https://github.com/pdenhaan/extend-test构建war包,我得到了一个令人恐惧的跟踪记录

`
运行命令:$ lein do clean, war!
线程“main”中发生异常java.lang.NoSuchFieldError: thunk0__,编译:(route.clj:1:1)

at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3606)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at extend_test.core.handler$loading__5301__auto____66.invoke(handler.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at extend_test.core.servlet$loading__5301__auto____7.invoke(servlet.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$compile$fn__5420.invoke(core.clj:5834)
at clojure.core$compile.invoke(core.clj:5833)
at user$eval5.invoke(form-init180441230737245034.clj:1)
at clojure.lang.Compiler.eval(Compiler.java:6776)
at clojure.lang.Compiler.eval(Compiler.java:6765)
at clojure.lang.Compiler.eval(Compiler.java:6766)
at clojure.lang.Compiler.load(Compiler.java:7203)
at clojure.lang.Compiler.loadFile(Compiler.java:7159)
at clojure.main$load_script.invoke(main.clj:274)
at clojure.main$init_opt.invoke(main.clj:279)
at clojure.main$initialize.invoke(main.clj:307)
at clojure.main$null_opt.invoke(main.clj:342)
at clojure.main$main.doInvoke(main.clj:420)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at clojure.lang.Var.invoke(Var.java:383)
at clojure.lang.AFn.applyToHelper(AFn.java:156)
at clojure.lang.Var.applyTo(Var.java:700)
at clojure.main.main(main.java:37)

原因是:java.lang.NoSuchFieldError: thunk0__

at instaparse.core__init.load(Unknown Source)
at instaparse.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at clout.core$loading__5301__auto____273.invoke(core.clj:1)
at clout.core__init.load(Unknown Source)
at clout.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:482)
at compojure.core$loading__5301__auto____68.invoke(core.clj:1)
at compojure.core__init.load(Unknown Source)
at compojure.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:457)
at compojure.route$loading__5301__auto____1508.invoke(route.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
... 75 more

子进程失败
`

0

评论者:michaelblume

https://github.com/MichaelBlume/clojure/tree/no-field
https://github.com/MichaelBlume/extend-test/tree/no-field

在其中一个项目中运行mvn clean install,在另一个项目中运行lein ring uberwar。

0

网友bronsa的评论

Michael,感谢你的报告,我已经尝试调查了一下这个问题,但因为涉及到的部件太多,很难找出为什么这两个补丁的结合会导致这个问题。

一个有用的最小案例需要没有lein和外部依赖项,如果有人有时间,我会很感激能够得到一些调试这个问题的帮助。

0

评论者:michaelblume

好吧,看起来最小案例如下

(ns foo (:require (link: instaparse.core)))

(ns bar (:require (link: foo)))

然后尝试提前编译foo和bar。

我还不清楚instaparse.core有什么特别之处。

0

评论者:michaelblume

当然,这不是一个最小案例,但至少没有使用lein。

0

评论者:michaelblume

好的,问题出在instaparse的defclone宏上,我已经把它提取到一个测试库中

https://github.com/MichaelBlume/thunk-fail

使用lein clean, compile将导致失败,但由于库没有依赖项,我相信可以不使用lein来做。

0

评论者:gshayban

很抱歉提出这么多问题,但这些类加载器错误很微妙(希望它们已经在接近解决)。你的报告非常有价值,但更具体一些将会有所帮助。这些错误是一连串的——保持它们集中是关键。

你提到的小案例是NoSuchFieldError吗?
没有使用lien,这种调用是如何触发的?
你调用AOT编译的是什么?(编译'bar)?
类路径是什么?调用时,./target/classes是否为空?
当应用CLJ-979-7之后,这个问题消失了?

0

评论者:michaelblume

我尝试过,但没有使用 leiningen 成功复制。当我只运行

java -Dclojure.compile.path=target -cp src:../clojure/target/clojure-1.7.0-aot-SNAPSHOT.jar clojure.lang.Compile thunk-fail.first thunk-fail.second

一切正常。

0

评论者:gshayban

NoSuchFieldError 与关键字查找位置有关。

将 defclone 的主体替换为
`(do (:foo {})) 就足以触发它,ns 结构相同。

0

网友bronsa的评论

我已经更新了 CLJ-1544 的补丁,现在新补丁与这篇票据的补丁组合不会引发任何异常。

但是,这个补丁中仍然存在一个 bug,因为尽管 CLJ-1544 的补丁中有一个 bug,但它引发了完全有效的(尽管难以复制的)编译场景,因此我们应该借助 CLJ-1544 的有 bug 的补丁来继续调试这个补丁。

我认为首先要做的是弄清楚 lein compile 与 clojure.Compile 有什么不同

...