在 2024 Clojure 状态调查！中分享你的想法。

欢迎！请查看关于页面，获取更多有关该页面如何操作的详细信息。

提问

closed clojure 抛出（各种异常）立即 - AdoptOpenJDK J9 JVM

+1 投票
在 Clojure 由
已关闭 由

我在 Clojure 和 J9 JVM 上遇到了麻烦。

我对 J9 感兴趣，希望 Clojure 不会限制人们的选择虚拟机。

问题发生在 Windows 和 Linux 上，以及 J9 JVM 的 "11" 和 "15" 版本，包括 1.10.1、1.10.2、1.7 和 1.5.1 等多个（所有？）Clojure 版本。

问题是一个或另一个类型的异常或错误，通常源自 clojure.core；经常是 reduce1 中的荒谬 NullPointerException，也会在 J9 JVM 上由 Leiningen 抛出。

问题是不规则的。但是，如果 J9 "总是编译"（-Xcomp）就可靠地出现错误，而看起来在 J9 "总是解释"（-Xint）时运行良好。原因不明的 clojure 命令似乎不尊重 -J 选项，因此我修改了 clojure 脚本，以将必要的 JVM 选项传递给这次实验。

我用以下方式安装 clojure

./linux-install-1.10.2.774.sh --prefix ${HOME}/clo

我从 adoptopenjdk.org 获取了针对 Linux 的 AdoptOpenJDK 版本 11，J9 JVM。

在 clojure 的第一次运行中

${HOME}/clo/bin/clojure

它抛出了 NullPointerException。关于这个问题的更多信息将在下面介绍。

尝试各种 JVM 选项后，我发现 -Xint JVM 选项允许 clojure 下载各种内容并显示 REPL 提示符。根据 java -X，此选项意味着 "仅逐行执行"。要使用 -Xint，我修改了 clojure，使其传递 JVM 选项。（并非所有对 Java 的调用都尊重 -J 选项。）

第一次运行成功后，后续的 clojure 运行通常能够成功地产生 REPL 提示符。

但是，-Xcomp JVM 选项使错误每次都发生。它意味着 "首次调用时强制编译方法"。

当我尝试使用 Leiningen 2.9.5 的 Windows 版本时，第一次遇到 J9 的问题。我的一些发现路径在 GitHub 问题中：https://github.com/technomancy/leiningen/issues/2725

NullPointerException 堆栈跟踪如下：

Exception in thread "main" java.lang.NullPointerException
	at clojure.core.protocols$naive_seq_reduce.invokeStatic(protocols.clj:62)
	at clojure.core.protocols$interface_or_naive_reduce.invokeStatic(protocols.clj:72)
     ...
	at clojure.pprint$pprint.invoke(pprint_base.clj:241)
	at clojure.lang.Var.invoke(Var.java:384)
	at clojure.main$report_error$fn__9186$fn__9187.invoke(main.clj:603)
	at clojure.main$report_error$fn__9186.invoke(main.clj:602)
	at clojure.main$report_error.invokeStatic(main.clj:601)
	at clojure.main$main.invokeStatic(main.clj:666)
	at clojure.main$main.doInvoke(main.clj:616)
	at clojure.lang.RestFn.applyTo(RestFn.java:137)
	at clojure.lang.Var.applyTo(Var.java:705)
	at clojure.main.main(main.java:40)

在随后的运行中，我遇到了不同的错误

Syntax error macroexpanding clojure.core/defn- at (clojure/tools/cli.cljc:124:1).
null
 Full report at:
/tmp/clojure-12652663517358293277.edn

而且那个文件说

{:clojure.main/message
 "Syntax error macroexpanding clojure.core/defn- at (clojure/tools/cli.cljc:124:1).\nnull\n",
 :clojure.main/triage
 {:clojure.error/phase :macro-syntax-check,
  :clojure.error/line 124,
  :clojure.error/column 1,
  :clojure.error/source "cli.cljc",
  :clojure.error/symbol clojure.core/defn-,
  :clojure.error/path "clojure/tools/cli.cljc",
  :clojure.error/class java.lang.NullPointerException},
 :clojure.main/trace
 {:via
  [{:type clojure.lang.Compiler$CompilerException,
    :message
    "Syntax error macroexpanding clojure.core/defn- at (clojure/tools/cli.cljc:124:1).",
    :data
    {:clojure.error/phase :macro-syntax-check,
     :clojure.error/line 124,
     :clojure.error/column 1,
     :clojure.error/source "clojure/tools/cli.cljc",
     :clojure.error/symbol clojure.core/defn-},
    :at [clojure.lang.Compiler checkSpecs "Compiler.java" 6976]}
   {:type java.lang.NullPointerException,
    :at [clojure.core$every_QMARK_ invokeStatic "core.clj" 2683]}],
  :trace
  [[clojure.core$every_QMARK_ invokeStatic "core.clj" 2683]
   [clojure.core$every_QMARK_ invoke "core.clj" 2676]
   [clojure.spec.alpha$pcat_STAR_ invokeStatic "alpha.clj" 1388]
   [clojure.spec.alpha$pcat_STAR_ invoke "alpha.clj" 1387]
   [clojure.spec.alpha$deriv invokeStatic "alpha.clj" 1542]
   [clojure.spec.alpha$deriv invoke "alpha.clj" 1528]
   [clojure.spec.alpha$re_conform invokeStatic "alpha.clj" 1669]
   [clojure.spec.alpha$re_conform invoke "alpha.clj" 1660]
   [clojure.spec.alpha$regex_spec_impl$reify__2510
    conform_STAR_
    "alpha.clj"
    1710]
   [clojure.spec.alpha$conform invokeStatic "alpha.clj" 171]
   [clojure.spec.alpha$conform invoke "alpha.clj" 167]
   [clojure.spec.alpha$macroexpand_check invokeStatic "alpha.clj" 708]
   [clojure.spec.alpha$macroexpand_check invoke "alpha.clj" 704]
   [clojure.lang.AFn applyToHelper "AFn.java" 156]
   [clojure.lang.AFn applyTo "AFn.java" 144]
   [clojure.lang.Var applyTo "Var.java" 705]
   [clojure.lang.Compiler checkSpecs "Compiler.java" 6974]
   [clojure.lang.Compiler macroexpand1 "Compiler.java" 6992]
   [clojure.lang.Compiler macroexpand "Compiler.java" 7079]
   [clojure.lang.Compiler eval "Compiler.java" 7165]
   [clojure.lang.Compiler load "Compiler.java" 7640]
   [clojure.lang.RT loadResourceScript "RT.java" 381]
   [clojure.lang.RT loadResourceScript "RT.java" 372]
   [clojure.lang.RT load "RT.java" 459]
   [clojure.lang.RT load "RT.java" 424]
   [clojure.core$load$fn__6857 invoke "core.clj" 6115]
   [clojure.core$load invokeStatic "core.clj" 6114]
   [clojure.core$load doInvoke "core.clj" 6098]
   [clojure.lang.RestFn invoke "RestFn.java" 408]
   [clojure.core$load_one invokeStatic "core.clj" 5897]
   [clojure.core$load_one invoke "core.clj" 5892]
   [clojure.core$load_lib$fn__6797 invoke "core.clj" 5937]
   [clojure.core$load_lib invokeStatic "core.clj" 5936]
   [clojure.core$load_lib doInvoke "core.clj" 5917]
   [clojure.lang.RestFn applyTo "RestFn.java" 142]
   [clojure.core$apply invokeStatic "core.clj" 669]
   [clojure.core$load_libs invokeStatic "core.clj" 5974]
   [clojure.core$load_libs doInvoke "core.clj" 5958]
   [clojure.lang.RestFn applyTo "RestFn.java" 137]
   [clojure.core$apply invokeStatic "core.clj" 669]
   [clojure.core$require invokeStatic "core.clj" 5996]
   [clojure.core$require doInvoke "core.clj" 5996]
   [clojure.lang.RestFn invoke "RestFn.java" 619]
   [clojure.tools.deps.alpha.script.make_classpath2$eval140$loading__6738__auto____141
    invoke
    "make_classpath2.clj"
    9]
   [clojure.tools.deps.alpha.script.make_classpath2$eval140
    invokeStatic
    "make_classpath2.clj"
    9]
   [clojure.tools.deps.alpha.script.make_classpath2$eval140
    invoke
    "make_classpath2.clj"
    9]
   [clojure.lang.Compiler eval "Compiler.java" 7181]
   [clojure.lang.Compiler eval "Compiler.java" 7170]
   [clojure.lang.Compiler load "Compiler.java" 7640]
   [clojure.lang.RT loadResourceScript "RT.java" 381]
   [clojure.lang.RT loadResourceScript "RT.java" 372]
   [clojure.lang.RT load "RT.java" 459]
   [clojure.lang.RT load "RT.java" 424]
   [clojure.core$load$fn__6857 invoke "core.clj" 6115]
   [clojure.core$load invokeStatic "core.clj" 6114]
   [clojure.core$load doInvoke "core.clj" 6098]
   [clojure.lang.RestFn invoke "RestFn.java" 408]
   [clojure.core$load_one invokeStatic "core.clj" 5897]
   [clojure.core$load_one invoke "core.clj" 5892]
   [clojure.core$load_lib$fn__6797 invoke "core.clj" 5937]
   [clojure.core$load_lib invokeStatic "core.clj" 5936]
   [clojure.core$load_lib doInvoke "core.clj" 5917]
   [clojure.lang.RestFn applyTo "RestFn.java" 142]
   [clojure.core$apply invokeStatic "core.clj" 669]
   [clojure.core$load_libs invokeStatic "core.clj" 5974]
   [clojure.core$load_libs doInvoke "core.clj" 5958]
   [clojure.lang.RestFn applyTo "RestFn.java" 137]
   [clojure.core$apply invokeStatic "core.clj" 669]
   [clojure.core$require invokeStatic "core.clj" 5996]
   [clojure.main$main_opt invokeStatic "main.clj" 514]
   [clojure.main$main_opt invoke "main.clj" 510]
   [clojure.main$main invokeStatic "main.clj" 664]
   [clojure.main$main doInvoke "main.clj" 616]
   [clojure.lang.RestFn applyTo "RestFn.java" 137]
   [clojure.lang.Var applyTo "Var.java" 705]
   [clojure.main main "main.java" 40]],
  :phase :macro-syntax-check}}

在另一次运行中，我又遇到了一个不同的错误消息

Exception in thread "main" java.lang.NullPointerException
	at clojure.core$reduce1.invokeStatic(core.clj:944)
	at clojure.core$reduce1.invokeStatic(core.clj:936)
	at clojure.core$merge.invokeStatic(core.clj:3052)
	at clojure.core$Throwable__GT_map$base__7474.invoke(core_print.clj:491)
	at clojure.core$map$fn__5885.invoke(core.clj:2757)
	at clojure.lang.LazySeq.sval(LazySeq.java:42)
	at clojure.lang.LazySeq.seq(LazySeq.java:51)
	at clojure.lang.RT.seq(RT.java:535)
	at clojure.lang.LazilyPersistentVector.create(LazilyPersistentVector.java:44)
	at clojure.core$vec.invokeStatic(core.clj:379)
	at clojure.core$Throwable__GT_map.invokeStatic(core_print.clj:492)
	at clojure.main$report_error.invokeStatic(main.clj:593)
	at clojure.main$main.invokeStatic(main.clj:666)
	at clojure.main$main.doInvoke(main.clj:616)
	at clojure.lang.RestFn.applyTo(RestFn.java:137)
	at clojure.lang.Var.applyTo(Var.java:705)
	at clojure.main.main(main.java:40)

这个问题在Clojure 1.5.1中也可以复现

$ java -Xcomp -cp clojure-1.5.1.jar clojure.main
Exception in thread "main" java.lang.ExceptionInInitializerError
	at java.base/java.lang.J9VMInternals.ensureError(J9VMInternals.java:185)
	at java.base/java.lang.J9VMInternals.recordInitializationFailure(J9VMInternals.java:174)
	at java.base/java.lang.Class.forNameImpl(Native Method)
	at java.base/java.lang.Class.forName(Class.java:413)
	at clojure.lang.RT.loadClassForName(RT.java:2098)
	at clojure.lang.RT.load(RT.java:430)
	at clojure.lang.RT.load(RT.java:411)
	at clojure.core$load$fn__5018.invoke(core.clj:5530)
	at clojure.core$load.doInvoke(core.clj:5529)
	at clojure.lang.RestFn.invoke(RestFn.java:408)
	at clojure.core$load_one.invoke(core.clj:5336)
	at clojure.core$load_lib$fn__4967.invoke(core.clj:5375)
	at clojure.core$load_lib.doInvoke(core.clj:5374)
	at clojure.lang.RestFn.applyTo(RestFn.java:142)
	at clojure.core$apply.invoke(core.clj:619)
	at clojure.core$load_libs.doInvoke(core.clj:5413)
	at clojure.lang.RestFn.applyTo(RestFn.java:137)
	at clojure.core$apply.invoke(core.clj:619)
	at clojure.core$require.doInvoke(core.clj:5496)
	at clojure.lang.RestFn.invoke(RestFn.java:408)
	at clojure.lang.Var.invoke(Var.java:415)
	at clojure.main.main(main.java:36)
Caused by: java.lang.NullPointerException
	at clojure.core$reduce1.invoke(core.clj:896)
	at clojure.core$expand_method_impl_cache.invoke(core_deftype.clj:474)
	at clojure.core$_cache_protocol_fn.invoke(core_deftype.clj:542)
	at clojure.core.protocols$fn__5979$G__5974__5992.invoke(protocols.clj:13)
	at clojure.core$reduce.invoke(core.clj:6177)
	at clojure.core$into.invoke(core.clj:6229)
	at clojure.main__init.load(Unknown Source)
	at clojure.main__init.<clinit>(Unknown Source)
已关闭，并备注： J9中的一个问题，现已修复

3 个答案

+2票
by
 
最佳答案

如果您感兴趣，这是关于此问题的J9错误报告：https://github.com/eclipse/openj9/issues/12191（感谢Ghadi!）

by
问题被追踪到j9的一个糟糕变更，并已回滚（参见https://github.com/eclipse/openj9/issues/12191#issuecomment-799695842）。

从解决方案中

"修复已交付 #12221，将此修复回滚到0.26版本，这将生成Java 8、11和16的版本。我们为所有这些JVM级别使用相同的JIT编译器，因此修复将在0.26版本中存在。

此版本计划于2021年4月23日发布
https://projects.eclipse.org/projects/technology.openj9/releases/0.26.0 "
0票
by

在过去的一周里，Slack 上对 J9 JVM 存在的问题进行了大量讨论，大家普遍认为 Clojure 与其不兼容（没有对其测试过）。我只找到了关于 J9 的搜索结果，几十个人在不同的渠道上报告了在 J9 JVM 上遇到的随机行为。

发表于
如果是火灾情况，有两个出口的地方是非常好的。拥有两个主流认证的 JVM 就像是这样。你不需要每年都尝试火灾逃生通道。但是，如果你尝试了，而且它是锁着的，咦，特别是如果其他人使用火灾逃生通道没有问题，它只对你来说是锁着的，这可能是因为你的特殊大脑植入物。

我将这个问题提到这里，是为了提供详细信息以开始创建 Jira 问题。这是我们建立有利于发现解决方案或清晰的上游错误报告的条件的方式。

在 J9 版本 11 和 15 中，将 `reduce1` 作为一个明显的原因提出，在 Clojure 版本 1.5.1 以往的版本中也很常见，这让我希望这次失败可以被缩小范围，或者找到一种解决方案，或者将其通知给 J9 错误修复人员。
发表于
我怀疑 `reduce1` 并不难，更有可能的是，它之所以出现，是因为它是 JVM 中运行的第一个几乎懒串代码。如果 npe 与 Clojure 编译器发出的但通常来自 Java→JVM 角度的本地清除字节码相关，并且涉及到大多数函数遍历懒串，这将不会让我感到惊讶。
发表于
这是一个有希望的理论。还有一个调用栈跟踪，其中问题点在 `some` 中。
由
我上面已经提到了这个链接，但不确定人们具体会收到什么通知 - https://github.com/eclipse/openj9/issues/12191
由
他们刚刚发现了一个在他们那引起此问题的具体问题： https://github.com/eclipse/openj9/issues/12191#issuecomment-797840254

Alex最初的猜测最终是正确的 :-) - 问题并不在于Clojure本身。

还有一些其他更微妙的问题，例如哈希函数之间的小差异 - 请参阅本文末尾： https://www.royvanrijn.com/blog/2018/05/openj9-jvm-shootout/

这些微妙的问题将很难从每个依赖关系中排查出来。我的意见是，关注一些重要的OpenJDK-16的组件（至少在我们的东西上显示出令人印象深刻的性能优势）将能带来更高的回报。
由
Clojure不保证具体的哈希值，所以我并不认为哈希差异本身是一个问题（只要保证泛型正确 – 相同的两个事物应该有相同的哈希码）。
由
我同意Clojure本身运行良好（技术飞跃系统中每个项目也都是如此），这也是我上面提到的一个观点。我个人关注的是JVM生态系统中的每个其他可能的依赖项。

我主要印象深刻的是你第一次就做到了 :-).
0票
by
by
他们在openj9-0.26.0中修复了它！感谢Clojure Squad缩小问题和与Eclipse编译器作者的跟进！
由Cognitect代表Clojure社区维护
...