2024年Clojure调查问卷中分享您的观点!

欢迎!请参阅关于页面以了解更多有关其工作方式的详细信息。

0 投票
编译器

编译一个引用未加载(或未初始化)类的函数会触发其init静态。当init静态加载Clojure代码时,一些常数(我认为是源代码)泄漏到了正在编译的函数的常数池中。

因为它阻止了CCW在某些环境中(Rational)工作,因为结果的函数的静态init超过64K。

复制步骤

加载leak.main命名空间并运行注释中的代码:第一个函数尽管与第二个函数相同,但额外有15个字段。

`
(ns leak.main)

(defn first-to-load []
leak.Klass/foo)

(defn second-to-load []
leak.Klass/foo)

(comment
=> (map (comp count #(.getFields %) class) [first-to-load second-to-load])
(16 1)
)
`

`
package leak;

import clojure.lang.IFn;
import clojure.lang.RT;
import clojure.lang.Symbol;

public class Klass {
static {

RT.var("clojure.core", "require").invoke(Symbol.intern("leak.leaky"));

}
public static IFn foo = RT.var("leak.leaky", "foo");
}
`

`
(ns leak.leaky)

(defn foo
"Some doc"
[]
"hello")

(def unrelated 42)
`

https://gist.github.com/cgrand/5dcb6fe5b269aecc6a5b#file-main-clj-L10

补丁: clj-1620-v5.patch

33 答案

0 投票

评论:cgrand

Nicola Mometto提供的补丁

0 投票

评论:bronsa

附上相同补丁,采用更富有信息的提交信息

0 投票

评论者:laurentpetit

我想感谢 Christophe 和 Alex,他们在理解发生的情况、形成正确的假设以及找到修复方法方面给予了宝贵的帮助。

我还想提及,即使非 IBM Rational 环境不会因为该错误而受到影响,CCW 无法正常工作,但它们仍然受到影响。例如,在应用补丁后,包装互操作调用的单行函数的类的大小从当前的 1.6 或 1.7 的 90k 字节减少到 700 字节。

0 投票

评论者:laurentpetit

在 CCW 中对应于初始有问题的函数,-v2 补丁产生的汇编代码与引用类在其静态初始化器中没有加载任何命名空间时的汇编代码完全相同。
也就是说,补丁是有效的。我将尽快在 IBM Rational 环境中现场测试它。

0 投票

评论者:laurentpetit

我确认补丁解决了在 IBM Rational 环境中最初发现的这个问题。

0 投票

评论者:michaelblume

我不知道原因,但当我将此补丁以及 CLJ-1544 的补丁应用到 master 上,并尝试从此测试项目 https://github.com/pdenhaan/extend-test 构建一个 war 时,我得到一个令人担忧的堆栈跟踪。

`
$ lein do clean, war!
主线程抛出异常 java.lang.NoSuchFieldError: thunk0__,编译:(route.clj:1:1)

at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3606)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at extend_test.core.handler$loading__5301__auto____66.invoke(handler.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at extend_test.core.servlet$loading__5301__auto____7.invoke(servlet.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
at clojure.lang.Compiler.compile1(Compiler.java:7299)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile1(Compiler.java:7289)
at clojure.lang.Compiler.compile(Compiler.java:7365)
at clojure.lang.RT.compile(RT.java:398)
at clojure.lang.RT.load(RT.java:438)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$compile$fn__5420.invoke(core.clj:5834)
at clojure.core$compile.invoke(core.clj:5833)
at user$eval5.invoke(form-init180441230737245034.clj:1)
at clojure.lang.Compiler.eval(Compiler.java:6776)
at clojure.lang.Compiler.eval(Compiler.java:6765)
at clojure.lang.Compiler.eval(Compiler.java:6766)
at clojure.lang.Compiler.load(Compiler.java:7203)
at clojure.lang.Compiler.loadFile(Compiler.java:7159)
at clojure.main$load_script.invoke(main.clj:274)
at clojure.main$init_opt.invoke(main.clj:279)
at clojure.main$initialize.invoke(main.clj:307)
at clojure.main$null_opt.invoke(main.clj:342)
at clojure.main$main.doInvoke(main.clj:420)
at clojure.lang.RestFn.invoke(RestFn.java:421)
at clojure.lang.Var.invoke(Var.java:383)
at clojure.lang.AFn.applyToHelper(AFn.java:156)
at clojure.lang.Var.applyTo(Var.java:700)
at clojure.main.main(main.java:37)

原因是 java.lang.NoSuchFieldError: thunk0__

at instaparse.core__init.load(Unknown Source)
at instaparse.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:436)
at clout.core$loading__5301__auto____273.invoke(core.clj:1)
at clout.core__init.load(Unknown Source)
at clout.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:482)
at compojure.core$loading__5301__auto____68.invoke(core.clj:1)
at compojure.core__init.load(Unknown Source)
at compojure.core__init.<clinit>(Unknown Source)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at clojure.lang.RT.loadClassForName(RT.java:2141)
at clojure.lang.RT.load(RT.java:430)
at clojure.lang.RT.load(RT.java:411)
at clojure.core$load$fn__5415.invoke(core.clj:5823)
at clojure.core$load.doInvoke(core.clj:5822)
at clojure.lang.RestFn.invoke(RestFn.java:408)
at clojure.core$load_one.invoke(core.clj:5613)
at clojure.core$load_lib$fn__5362.invoke(core.clj:5668)
at clojure.core$load_lib.doInvoke(core.clj:5667)
at clojure.lang.RestFn.applyTo(RestFn.java:142)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$load_libs.doInvoke(core.clj:5706)
at clojure.lang.RestFn.applyTo(RestFn.java:137)
at clojure.core$apply.invoke(core.clj:628)
at clojure.core$require.doInvoke(core.clj:5789)
at clojure.lang.RestFn.invoke(RestFn.java:457)
at compojure.route$loading__5301__auto____1508.invoke(route.clj:1)
at clojure.lang.AFn.applyToHelper(AFn.java:152)
at clojure.lang.AFn.applyTo(AFn.java:144)
at clojure.lang.Compiler$InvokeExpr.eval(Compiler.java:3601)
... 75 more

子进程失败
`

0 投票

评论者:michaelblume

https://github.com/MichaelBlume/clojure/tree/no-field
https://github.com/MichaelBlume/extend-test/tree/no-field

在其中一个项目中使用 mvn clean install,在另一个项目中使用 lein ring uberwar。

0 投票

评论:bronsa

迈克尔,感谢您提供的报告,我已经尝试调查这个问题,但是由于涉及的组件众多,要确定两个补丁组合导致此问题的原因非常困难。

一个有助于最小化案例的情况不需要lein和外部依赖项,如果有人有时间,我希望在调试这个问题上得到一些帮助。

0 投票

评论者:michaelblume

好的,看起来最小案例是

(ns foo (:require (link: instaparse.core)))

(ns bar (:require (link: foo)))

然后尝试预先编译foo和bar。

我还不清楚instaparse.core有什么特殊性。

0 投票

评论者:michaelblume

好吧,当然不是最小案例,但至少没有使用lein。

0 投票

评论者:michaelblume

好的,问题是instaparse的defclone宏,我已经将其提取到一个测试存储库中

https://github.com/MichaelBlume/thunk-fail

使用lein do clean, compile会失败,但是存储库没有依赖项,所以我相信没有使用lein也能做到。

0 投票

评论区:gshayban

很抱歉问了一连串的问题,但这些类加载器错误很微妙(希望它们很快就能解决)。您的报告价值巨大,但更重要的是更加具体。有一系列这些错误,并且将这些错误聚焦在一个点上至关重要。

您所提到的最小案例是否为NoSuchFieldError?
在没有使用lein的情况下是如何调用的这个方法?
您正在调用哪个AOT编译?(compile 'bar) ?
类路径是什么?当您最初调用时,./target/classes是否为空?
在应用CLJ-979-7后,问题会消失吗?

0 投票

评论者:michaelblume

我在没有使用leiningen的情况下尝试过,但未能成功复制。当我只运行

java -Dclojure.compile.path=target -cp src:../clojure/target/clojure-1.7.0-aot-SNAPSHOT.jar clojure.lang.Compile thunk-fail.first thunk-fail.second

时,一切正常。

0 投票

评论区:gshayban

NoSuchFieldError与关键字查找位置有关。

将defclone的主体替换为
”(do (:foo {}))”足以触发它,保持相同的ns结构。

0 投票

评论:bronsa

我已经为CLJ-1544更新了补丁,现在新的补丁加上此条目的补丁不应引起任何异常。

尽管如此,这个补丁仍然存在一个bug,因为虽然CLJ-1544的补丁有bug,但它导致了一个完全有效(尽管难以重现)的编译场景,所以我们应该在该有bug的CLJ-1544补丁的帮助下继续调试这个补丁。

我认为首先要做的是找出lein compile与clojure.Compile有何不同

...