2024 Clojure状态调查!中分享你的想法。

欢迎!请参阅关于页面以获取更多关于它是如何工作的信息。

0
ClojureScript
这里有一个小型的(非最小化)仓库: https://github.com/au-phiware/boot-parsets

该仓库包含一个es6模块和一个cljs文件,它们都依赖于一个node模块,引发以下错误。


正在编写main.cljs.edn...
编译ClojureScript...
• main.js
                                       java.lang.Thread.run                  Thread.java:  748
         java.util.concurrent.ThreadPoolExecutor$Worker.run      ThreadPoolExecutor.java:  617
          java.util.concurrent.ThreadPoolExecutor.runWorker      ThreadPoolExecutor.java: 1142
                        java.util.concurrent.FutureTask.run              FutureTask.java:  266
                                           ...                                   
                        clojure.core/binding-conveyor-fn/fn                     core.clj: 2022
                              adzerk.boot-cljs/compile-1/fn                boot_cljs.clj:  160
                                      adzerk.boot-cljs/compile                boot_cljs.clj:   72
                                          boot.pod/call-in*                      pod.clj:  413
                                           ...                                   
org.projectodd.shimdandy.impl.ClojureRuntimeShimImpl.invoke  ClojureRuntimeShimImpl.java:  102
org.projectodd.shimdandy.impl.ClojureRuntimeShimImpl.invoke  ClojureRuntimeShimImpl.java:  109
                                           ...                                   
                                         boot.pod/call-in*                      pod.clj:  410
                                        boot.pod/eval-fn-call                      pod.clj:  359
                                        clojure.core/apply                     core.clj:  657
                                           ...                                   
                         adzerk.boot-cljs.impl/compile-cljs                     impl.clj:  151
                                       cljs.build.api/build                     api.clj:  205
                                       cljs.closure/build                  closure.clj: 2595
                            cljs.closure/handle-js-modules                  closure.clj: 2496
                            cljs.closure/process-js-modules                  closure.clj: 2389
                            cljs.closure/convert-js-modules                  closure.clj: 1680
                com.google.javascript.jscomp.Compiler.parse            Compiler.java:  995
          com.google.javascript.jscomp.Compiler.parseInputs            Compiler.java: 1731
      com.google.javascript.jscomp.deps.ModuleLoader.<init>            ModuleLoader.java:   92
com.google.javascript.jscomp.deps.ModuleLoader.resolvePaths            ModuleLoader.java:  276
java.lang.IllegalArgumentException: 解析后存在重复模块路径:/home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
        clojure.lang.ExceptionInfo: 解析后存在重复模块路径:/home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
    来源: :boot-cljs
        clojure.lang.ExceptionInfo: 解析后存在重复模块路径:/home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
    行: 33


运行 `boot cljs` 以重现问题。

此补丁在预处理之前从输入源文件集中移除重复项。使用此补丁后,仓库可以正确编译。

13 答案

0
by

评论者:mfikes

嗨 Corin,

  1. 你已经签署了CA吗?(你的名字未出现在https://clojure.org/community/contributors
  2. 你能提供一个不使用下游工具的最小重现示例吗?(错误报告详情请见https://script.clojure.org/community/reporting-issues
0
by

评论者:phiware

  1. 我已经签发了CA(我在提交这个bug之后这么做)。
  2. 没问题,我今天晚些时候会处理这个。可以在GitHub上链接到项目吗,或者我应该上传一个tar包?
0

评论者:mfikes

嗨Corin,链接到GitHub是不行的,任何重现都不能使用任何下游工具(Leiningen、Boot等)——这意味着重现理想情况下只依赖于与快速入门示例相同的分发的{{cljs.jar}}可执行文件,例如https://script.clojure.org/guides/quick-start

0

评论者:mfikes

嗨Corin,你可能想使用https://script.clojure.org/community/patches中的说明提交补丁(你当前的补丁无法使用{{git am}}应用,这就是我猜想David最终用的方法)。

0
_评论者:mfikes_

{{lein test}}在应用{{patch}}时失败


在(commonjs-module-processing) (module_processing_tests.clj:54)中失败
处理过的模块添加到:libs
预期: (= {:foreign-libs [], :ups-foreign-libs [], :libs [(test/platform-path "out/src/test/cljs/reactJS.js") (test/platform-path "out/src/test/cljs/Circle.js")], :closure-warnings {:non-standard-jsdoc :off}} (env/with-compiler-env cenv (closure/process-js-modules {:foreign-libs [{:file "src/test/cljs/reactJS.js", :provides ["React"], :module-type :commonjs} {:file "src/test/cljs/Circle.js", :provides ["Circle"], :module-type :commonjs, :preprocess :jsx}], :closure-warnings {:non-standard-jsdoc :off}})))
实际:(not (= {:foreign-libs [], :ups-foreign-libs [], :libs ["out/src/test/cljs/reactJS.js" "out/src/test/cljs/Circle.js"], :closure-warnings {:non-standard-jsdoc :off}} {:foreign-libs [], :closure-warnings {:non-standard-jsdoc :off}, :libs ["out/src/test/cljs/Circle.js" "out/src/test/cljs/reactJS.js"], :ups-foreign-libs []}))
0

评论者:phiware

谢谢Mike,

我会尽最大努力遵循所有那些说明,但我不知道如何提供重现(没有链接,没有附件)...应该是内联代码块吗?

此外,我在提交下一个补丁之前一定会运行{{lein test}}。我注意到差异只是{{:libs}}向量中条目的顺序,你能建议顺序是否重要吗?

0
by

评论者:mfikes

嗨 Corin,

是的,内联代码块很棒。任何最小的代码,不依赖于超过发货 {{cljs.jar}} 来展示问题(无论是直接在其 REPL 中还是通过使用构建 API 编译)。这里有一个使用构建 API 的近期示例:https://dev.clojure.org/jira/browse/CLJS-2397?focusedCommentId=47278&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-47278

实际上还有其他的测试也超出了 {{lein test}}。请参见 https://script.clojure.org/community/running-tests

我没有深入研究这个问题的细节,所以不能说项目的顺序是否重要。

0
by
_Comment made by: phiware_

h2. 记录重复问题的步骤。

考虑以下三个源文件

{code:title=src/distinct_inputs/core.cljs}
(ns distinct-inputs.core
  (:require [d3]
            [circle :refer [circle]]))

(-> d3
    (.select "body")
    (.append "svg")
    (.attr "width" 200)
    (.attr "height" 200)
    (.call circle "steelblue"))


{code:title=es6/circle.js}
import * as d3 from 'd3';

export function circle(sel, color) {
  return sel
    .append("circle")
    .attr("cx", "100px")
    .attr("cy", "100px")
    .attr("r",  "100px")
    .attr("fill", color);
}


{code:title=build.clj}
(require 'cljs.build.api)

(cljs.build.api/build
  "src"
  {:main 'distinct-inputs.core
   :output-to "out/main.js"
   :install-deps true
   :foreign-libs [{:file "es6"
                   :module-type :es6}]
   :npm-deps     {:d3 "3.5.16"}})


执行 {{cljs}}

{code:none}
java -cp cljs.jar:src clojure.main build.clj


h2. 预期输出

{{cljs}} 应该对标准输出不产生任何东西,干净地退出并写入以下文件(大约)。

{code:title=out/main.js}
var CLOSURE_UNCOMPILED_DEFINES = {};
var CLOSURE_NO_DEPS = true;
if(typeof goog == "undefined") document.write('<script src="out/goog/base.js"></script>');
document.write('<script src="out/goog/deps.js"></script>');
document.write('<script src="out/cljs_deps.js"></script>');
document.write('<script>if (typeof goog == "undefined") console.warn("ClojureScript could not load :main, did you forget to specify :asset-path?");</script>');
document.write('<script>goog.require("process.env");</script>');
document.write('<script>goog.require("distinct_inputs.core");</script>');


{code:title=out/distinct_inputs/core.js}
goog.provide('distinct_inputs.core');
goog.require('cljs.core');
goog.require('module$distinct_inputs$node_modules$d3$d3');
goog.require('module$distinct_inputs$es6$circle');
module$distinct_inputs$node_modules$d3$d3.select("body").append("svg").attr("width",(200)).attr("height",(200)).call(module$distinct_inputs$es6$circle.circle,"steelblue");

//# sourceMappingURL=core.js.map


{code:title=out/es6/circle.js}
goog.provide("module$distinct_inputs$es6$circle");goog.require("module$distinct_inputs$node_modules$d3$d3");function circle$$module$distinct_inputs$es6$circle(sel,color){return sel.append("circle").attr("cx","100px").attr("cy","100px").attr("r","100px").attr("fill",color)}module$distinct_inputs$es6$circle.circle=circle$$module$distinct_inputs$es6$circle


2. 实际结果。

{{cljs}} 退出时返回退出代码 1 并产生以下标准输出。

{code:none|title=stdout}
主线程异常:java.lang.IllegalArgumentException:解析后的模块路径重复:/distinct_inputs/node_modules/d3/d3.js,编译自:(/distinct_inputs/build.clj:3:1)
    在 clojure.lang.Compiler.load(Compiler.java:7391)
    在 clojure.lang_COMPILER.loadFile(Compiler.java:7317)
    在 clojure.main$load_script.staticInvoke(main.clj:275)
    在 clojure.main$script_opt.staticInvoke(main.clj:335)
    在 clojure.main$script_opt(main.clj:330)
    在 clojure.main$main.staticInvoke(main.clj:421)
    在 clojure.main$main.doInvoke(main.clj:384)
    在 clojure.lang.RestFn.invoke(RestFn.java:408)
    在 clojure.lang.Var.invoke(Var.java:379)
    在 clojure.lang.AFn.applyToHelper(AFn.java:154)
    在 clojure.lang.Var.applyTo(Var.java:700)
    在 clojure.main.main(main.java:37)
原因:java.lang.IllegalArgumentException:解析后的模块路径重复:/distinct_inputs/node_modules/d3/d3.js
    在 com.google.javascript.jscomp.deps.ModuleLoader.resolvePaths(ModuleLoader.java:276)
    在 com.google.javascript.jscomp.deps.ModuleLoader.<init>(ModuleLoader.java:92)
    在 com.google.javascript.jscomp.Compiler.parseInputs(Compiler.java:1731)
    在 com.google.javascript.jscomp.Compiler.parse(Compiler.java:995)
    在 cljs.closure$convert_js_modules.staticInvoke(closure.clj:1680)
    在 cljs.closure$process_js_modules.staticInvoke(closure.clj:2371)
    在 cljs.closure$handle_js_modules.staticInvoke(closure.clj:2495)
    在 cljs.closure$build.staticInvoke(closure.clj:2592)
    在 cljs.build.api$build.staticInvoke(api.clj:204)
    在 cljs.build.api$build(api.clj:189)
    在 cljs.build.api$build.staticInvoke(api.clj:192)
    在 cljs.build.api$build(api.clj:189)
    在 user$eval24.staticInvoke(build.clj:3)
    在 user$eval24(build.clj:3)
    在 clojure.lang.Compiler.eval(Compiler.java:6927)
    在 clojure.lang.Compiler.load(Compiler.java:7379)
    ... 11 more


上述预期文件均未生成。

2. 异常原因。

{{ModuleLoader#resolvePaths}} 发出的异常是由于同一个输入文件(即 {{node_modules/d3/d3.js}})多次指定给 {{Compiler#initModules}}。{{Compiler#getAllInputsFromModules}} 有以下备注

{code:title=src/com/google/javascript/jscomp/Compiler.java}
        // NOTE(nicksantos): 如果一个输入位于多个模块中,
        // 它会在输入列表中显示两次,然后我们将获得错误。
        // {{cljs.closure/process-js-modules}} 提供了一个包含重复条目 {{:foreign-libs}} 向量,这些条目为 {{node_modules/d3/d3.js}}(以及它的 {{package.json}})。


这个向量是 {{cljs.closure/node-inputs}} 多次调用的结果;一次是为 {{out/cljs$node_modules.js}}(这可能是 {{distinct_inputs/core}} 依赖的结果)和另一次是为 {{es6/circle.js}}。

简而言之,D3 的依赖同时通过 ClojureScript 源文件和 JavaScript 模块源文件引入。

2. 建议解决方案。

在这种情况下,{{:foreign-libs}} 向量中包含重复条目,尽管在 {{cljs.closure/node-inputs}} 中使用了 {{distinct}}。一种可能的解决方案是移除在 {{cljs.closure/node-inputs}} 中使用 {{distinct}} 的操作,并要求调用 {{cljs.closure/node-inputs}} 的人使用 {{distinct}}。

{code:title=解决方案A}
从 063e35080c14d35189ab7827f25f071e958ab5b4 Mon Sep 17 00:00:00 2001
来自:Corin Lawson <[email protected]>
日期:周二,21 11月 2017 01:31:53 +1100
主题:[PATCH] CLJS-2402:确保 {{:foreign-libs}} 向量包含唯一条目。
   

---
 src/main/clojure/cljs/closure.clj | 19 ++++++++++---------
 1 文件更改,10 个插入 (+),9 个删除 (-)

diff --git a/src/main/clojure/cljs/closure.clj b/src/main/clojure/cljs/closure.clj
index a686f878..74a0cc86 100644
--- a/src/main/clojure/cljs/closure.clj
+++ b/src/main/clojure/cljs/closure.clj
@@ -2219,7 +2219,7 @@
      (when env/*compiler*
        (:options @env/*compiler*))))
   ([entries opts]
-   (into [] (distinct (mapcat #(node-module-deps % opts) entries)))))
+   (into [] (mapcat #(node-module-deps % opts) entries))))
 
 (defn index-node-modules
   ([modules]
@@ -2480,14 +2480,15 @@
         output-dir (util/output-directory opts)
         opts (update opts :foreign-libs
                                              ( 
-                 (into (if (= target :nodejs)
-                  
-                          []
-                          (index-node-modules node-required))
-                               (into expanded-libs
-                                                             expanded-libs))))))
+          distinct
+                                                    ( 
+                                               
+                               (if (= target :nodejs)
+                                               
+                                                    []
+                               (index-node-modules node-required))
+                               (into expanded-libs
+                                                             expanded-libs)))))))
         opts (if (some
                      (fn [ijs]
                                                       
                              
                              (let [dest (io/file output-dir (rel-output-path (assoc ijs :foreign true) opts))]
--
2.13.0



一个更通用的方法是将 {{cljs.closure/process-js-modules}} 确保输入文件集(即 {{js-modules}})是唯一的。此补丁将更简单(即不干扰我不太理解的部分)并且更接近调用 Google Closure Compiler。

{code:title=解决方案 B}
From 6bf11a24b93642e118e6d29c5af8a137fa01ea94 Mon Sep 17 00:00:00 2001
来自:Corin Lawson <[email protected]>
Date: Sun, 19 Nov 2017 20:25:31 +1100
Subject: [PATCH] CLJS-2402: 确保输入源文件是唯一的。

---
 src/main/clojure/cljs/closure.clj | 3 ++-
 1 文件更改,2 个插入 (+),1 个删除 (-)

diff --git a/src/main/clojure/cljs/closure.clj b/src/main/clojure/cljs/closure.clj
index a686f878..24421bde 100644
--- a/src/main/clojure/cljs/closure.clj
+++ b/src/main/clojure/cljs/closure.clj
@@ -2364,7 +2364,8 @@
   (let [;; 来自 :foreign-libs(编译器选项)和 :ups-foreign-libs(deps.cljs)的模块一起处理,
         ; 因此,来自这两个源文件的文件可以相互依赖。
         ;; 例如,在 :foreign-libs 中的 CommonJS 模块可以依赖于 :ups-foreign-libs 中的 CommonJS 模块。
-        js-modules (filter :module-type (concat (:foreign-libs opts) (:ups-foreign-libs opts)))]
+        js-modules (filter :module-type (concat (:foreign-libs opts) (:ups-foreign-libs opts)))
+        js-modules (distinct js-modules)]
     (if (seq js-modules)
       (util/measure (:compiler-stats opts)
         "处理 JS 模块"
--
2.13.0



FWIW: 我更喜欢方案 B。
0

评论者:phiware

已附上提出的方案 B

0

评论者:phiware

嗨 Mike,

我希望这次对您(以及 BDFL)的满足;我分别为两个提议的方案运行了 {{lein test}} 并没有收到任何失败。然而,我确实遇到了一些错误,但这些错误不在断言中。我假设原因是我设置中的一些特殊情况(或者缺乏 thereof)。如果您需要我提供其他信息,请告诉我。

加油,
Corin。

0

评论者:mfikes

谢谢 Corin。我的整个测试套件在您的最新补丁下通过。

0

评论者:mfikes

将 CLJS-2402.patch 添加到 Patch Tender (i)

0
参考: https://clojure.atlassian.net/browse/CLJS-2402(由 phiware 报告)
...