向 Closure Compiler 传递重复的源文件会导致 ModuleLoader#resolvePaths 抛出 "Duplicate module path after

Question

我这里有一个小型的（不是极简型）仓库： https://github.com/au-phiware/boot-parsets

该仓库包含一个 es6 模块和一个 cljs 文件，它们都依赖于一个 node 模块，产生了以下错误。


正在编写 main.cljs.edn...
编译 ClojureScript...
• main.js
                                       java.lang.Thread.run                  Thread.java:  748
         java.util.concurrent.ThreadPoolExecutor$Worker.run      ThreadPoolExecutor.java:  617
          java.util.concurrent.ThreadPoolExecutor.runWorker      ThreadPoolExecutor.java: 1142
                        java.util.concurrent.FutureTask.run              FutureTask.java:  266
                                                        ...                                   
                        clojure.core/binding-conveyor-fn/fn                     core.clj: 2022
                              adzerk.boot-cljs/compile-1/fn                boot_cljs.clj:  160
                                          adzerk.boot-cljs/compile                boot_cljs.clj:   72
                                         boot.pod/call-in*                      pod.clj:  413
                                                        ...                                   
org.projectodd.shimdandy.impl.ClojureRuntimeShimImpl.invoke  ClojureRuntimeShimImpl.java:  102
org.projectodd.shimdandy.impl.ClojureRuntimeShimImpl.invoke  ClojureRuntimeShimImpl.java:  109
                                                        ...                                   
                                          boot.pod/call-in*                      pod.clj:  410
                boot.pod/eval-fn-call                pod.clj:  359
                clojure.core/apply                core.clj:  657
                                                        ...                                   
                adzerk.boot-cljs.impl/compile-cljs                impl.clj:  151
                cljs.build.api/build                api.clj:  205
                cljs.closure/build                closure.clj: 2595
                cljs.closure/handle-js-modules                closure.clj: 2496
                cljs.closure/process-js-modules                closure.clj: 2389
                cljs.closure/convert-js-modules                closure.clj: 1680
                com.google.javascript.jscomp.Compiler.parse                Compiler.java:  995
                com.google.javascript.jscomp.Compiler.parseInputs                Compiler.java: 1731
            com.google.javascript.jscomp.deps.ModuleLoader.<init>            ModuleLoader.java:   92
com.google.javascript.jscomp.deps.ModuleLoader.resolvePaths            ModuleLoader.java:  276
java.lang.IllegalArgumentException: Duplicate module path after resolving: /home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
clojure.lang.ExceptionInfo: Duplicate module path after resolving: /home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
来自: :boot-cljs
clojure.lang.ExceptionInfo: Duplicate module path after resolving: /home/corin/Projects/Demos/boot-parsets/node_modules/d3/d3.js
行: 33


运行 `boot cljs` 重复此问题。

此补丁在预处理输入源文件之前从集合中删除重复项。使用此补丁后，仓库可以正确编译。

Answer 1

评论由：mfikes

嗨 Corin，

1. 您已签署 CA 吗？（您的名字没有出现在https://clojure.org/community/contributors上）
2. 您能否提供不使用下游工具的最小重复示例？（错误记录细节在https://script.clojure.org/community/reporting-issues上）

Answer 2

评论由：phiware 发布

1. 我已经签署了CA（我在提交此错误之后做的）。
2. 这不是问题，我会在今天晚些时候处理它。是否可以将GitHub上的项目链接过来，或者我应该上传tarball文件？

Answer 3

评论由：mfikes

嗨Corin，将GitHub链接起来是不行的，任何重现应该不使用任何下游工具（Leiningen，Boot等）——这意味着重现理想情况下应该只依赖于传输出的{{cljs.jar}}，如快速入门中的示例https://script.clojure.org/guides/quick-start

Answer 4

评论由：mfikes

嗨Corin，你可能想按照https://script.clojure.org/community/patches上的说明提交补丁（你当前的补丁使用{{git am}}无法应用，这是我怀疑David最后使用的）。

Answer 5

_评论由：mfikes_ 发布

应用{{patch}}时{{lein test}}失败


在(commonjs-module-processing) (module_processing_tests.clj:54)失败
处理后的模块被添加到:libs
预期：{(= {:foreign-libs [], :ups-foreign-libs [], :libs [(test/platform-path "out/src/test/cljs/reactJS.js") (test/platform-path "out/src/test/cljs/Circle.js")], :closure-warnings {:non-standard-jsdoc :off}} (env/with-compiler-env cenv (closure/process-js-modules {:foreign-libs [{:file "src/test/cljs/reactJS.js", :provides ["React"], :module-type :commonjs} {:file "src/test/cljs/Circle.js", :provides ["Circle"], :module-type :commonjs, :preprocess :jsx}], :closure-warnings {:non-standard-jsdoc :off}})))
  实际：(not (= {:foreign-libs [], :ups-foreign-libs [], :libs ["out/src/test/cljs/reactJS.js" "out/src/test/cljs/Circle.js"], :closure-warnings {:non-standard-jsdoc :off}} {:foreign-libs [], :closure-warnings {:non-standard-jsdoc :off}, :libs ["out/src/test/cljs/Circle.js" "out/src/test/cljs/reactJS.js"], :ups-foreign-libs []}))

Answer 6

评论由：phiware 发布

谢谢Mike，

我将尽力遵循所有这些说明，但我不知道我该如何提供可复现的问题（没有链接，没有附件）... 应该是内联代码块吗？

另外，在提交下一个补丁之前，我一定会运行 {{lein test}}。我发现差异仅在于 {{:libs}} 向量中项目顺序的不同，你能建议顺序是否重要吗？

Answer 7

评论由：mfikes

嗨 Corin，

是的，内联代码块很棒。任何不依赖于更多于 {{cljs.jar}} 的最小文件，用于展示问题（无论是在其REPL中直接运行，还是通过构建API编译）。这里有一个使用构建API的最近示例： https://dev.clojure.org/jira/browse/CLJS-2397?focusedCommentId=47278&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-47278

实际上还有其他的测试，不仅仅是 {{lein test}}。请参见 https://script.clojure.org/community/running-tests

我没有深入研究这个问题的细节，所以不能评论项目顺序是否重要。

Answer 8

_由 phiware 制作的评论_

h2. 重复问题的步骤。

考虑以下三个源文件

{code:title=src/distinct_inputs/core.cljs}
(ns distinct-inputs.core
  (:require [d3]
            [circle :refer [circle]]))

(-> d3
    (.select "body")
    (.append "svg")
    (.attr "width" 200)
    (.attr "height" 200)
    (.call circle "steelblue"))


{code:title=es6/circle.js}
import * as d3 from 'd3';

export function circle(sel, color) {
  return sel
    .append("circle")
    .attr("cx", "100px")
    .attr("cy", "100px")
    .attr("r",  "100px")
    .attr("fill", color);
}


{code:title=build.clj}
(require 'cljs.build.api)

(cljs.build.api/build
  "src"
  {:main 'distinct-inputs.core
   :output-to "out/main.js"
   :install-deps true
   :foreign-libs [{:file "es6"
                   :module-type :es6}]
   :npm-deps     {:d3 "3.5.16"}})


执行 {{cljs}}

{code:none}
java -cp cljs.jar:src clojure.main build.clj


h2. 预期结果

{{cljs}} 应该向标准输出什么也不产生，干净地退出，并写入以下文件（大约）。

{code:title=out/main.js}
var CLOSURE_UNCOMPILED_DEFINES = {};
var CLOSURE_NO_DEPS = true;
if(typeof goog == "undefined") document.write('<script src="out/goog/base.js"></script>');
document.write('<script src="out/goog/deps.js"></script>');
document.write('<script src="out/cljs_deps.js"></script>');
document.write('<script>if (typeof goog == "undefined") console.warn("ClojureScript could not load :main, did you forget to specify :asset-path?");</script>');
document.write('<script>goog.require("process.env");</script>');
document.write('<script>goog.require("distinct_inputs.core");</script>');


{code:title=out/distinct_inputs/core.js}
goog.provide('distinct_inputs.core');
goog.require('cljs.core');
goog.require('module$distinct_inputs$node_modules$d3$d3');
goog.require('module$distinct_inputs$es6$circle');
module$distinct_inputs$node_modules$d3$d3.select("body").append("svg").attr("width",(200)).attr("height",(200)).call(module$distinct_inputs$es6$circle.circle,"steelblue");

//# sourceMappingURL=core.js.map


{code:title=out/es6/circle.js}
goog.provide("module$distinct_inputs$es6$circle");goog.require("module$distinct_inputs$node_modules$d3$d3");function circle$$module$distinct_inputs$es6$circle(sel,color){return sel.append("circle").attr("cx","100px").attr("cy","100px").attr("r","100px").attr("fill",color)}module$distinct_inputs$es6$circle.circle=circle$$module$distinct_inputs$es6$circle


h2. 实际结果。

{{cljs}} 返回退出代码 1 并产生以下标准输出。

{code:none|title=stdout}
主线程中异常 java.lang.IllegalArgumentException: 在解析模块路径后重复了模块路径: /distinct_inputs/node_modules/d3/d3.js, 编译:(/distinct_inputs/build.clj:3:1)
    at clojure.lang.Compiler.load(Compiler.java:7391)
    at clojure.lang.Compiler.loadFile(Compiler.java:7317)
    at clojure.main$load_script.invokeStatic(main.clj:275)
    at clojure.main$script_opt.invokeStatic(main.clj:335)
    at clojure.main$script_opt.invoke(main.clj:330)
    at clojure.main$main.invokeStatic(main.clj:421)
    at clojure.main$main.doInvoke(main.clj:384)
    at clojure.lang.RestFn.invoke(RestFn.java:408)
    at clojure.lang.Var.invoke(Var.java:379)
    at clojure.lang.AFn.applyToHelper(AFn.java:154)
    at clojure.lang.Var.applyTo(Var.java:700)
    at clojure.main.main(main.java:37)
原因: java.lang.IllegalArgumentException: 在解析模块路径后重复了模块路径: /distinct_inputs/node_modules/d3/d3.js
    at com.google.javascript.jscomp.deps.ModuleLoader.resolvePaths(ModuleLoader.java:276)
    at com.google.javascript.jscomp.deps.ModuleLoader.<init>(ModuleLoader.java:92)
    at com.google.javascript.jscomp.Compiler.parseInputs(Compiler.java:1731)
    at com.google.javascript.jscomp.Compiler.parse(Compiler.java:995)
    at cljs.closure$convert_js_modules.invokeStatic(closure.clj:1680)
    at cljs.closure$process_js_modules.invokeStatic(closure.clj:2371)
    at cljs.closure$handle_js_modules.invokeStatic(closure.clj:2495)
    at cljs.closure$build.invokeStatic(closure.clj:2592)
    at cljs.build.api$build.invokeStatic(api.clj:204)
    at cljs.build.api$build.invoke(api.clj:189)
    at cljs.build.api$build.invokeStatic(api.clj:192)
    at cljs.build.api$build.invoke(api.clj:189)
    at user$eval24.invokeStatic(build.clj:3)
    at user$eval24.invoke(build.clj:3)
    at clojure.lang.Compiler.eval(Compiler.java:6927)
    at clojure.lang Compiler.load(Compiler.java:7379)
    ... 11 more


没有生成上述任何期望的文件。

h2. 异常原因。

{{ModuleLoader#resolvePaths}} 产生的异常是由于同一个输入文件（即{{node_modules/d3/d3.js}}）被多次指定给{{Compiler#initModules}}。在{{Compiler#getAllInputsFromModules}}中恰好有这个注释

{code:title=src/com/google/javascript/jscomp/Compiler.java}
        // NOTE(nicksantos): 如果一个输入在多个模块中，
        // 它将在输入列表中显示两次，然后我们将
        // 在后续步骤中遇到错误。


{{cljs.closure/process-js-modules}} 被提供一个包含重复条目 {{node_modules/d3/d3.js}}（以及它的 {{package.json}}）的 {{:foreign-libs}} 向量。这个向量是 {{cljs.closure/node-inputs}} 的多次调用结果；一次是用于 {{out/cljs$node_modules.js}}（这可能是对{{distinct_inputs/core}}的依赖的结果），另一次是用于 {{es6/circle.js}}。

简而言之，D3 的依赖通过 ClojureScript 源文件和 JavaScript 模块源文件同时引进。

h2. 建议解决方案。

在这种情况下，尽管使用了 {{distinct}}，但 {{:foreign-libs}} 向量中仍然包含重复的条目。一个可能的解决方案是删除 {{cljs.closure/node-inputs}} 中的 {{distinct}} 使用，并要求调用者使用 {{distinct}}。

{code:title=解决方案 A}
从 063e35080c14d35189ab7827f25f071e958ab5b4 Mon Sep 17 00:00:00 2001
From: Corin Lawson <corin@responsight.com>
Date: Tue, 21 Nov 2017 01:31:53 +1100
Subject: [PATCH] CLJS-2402: 确保包含不同元素的 :foreign-libs 向量
条目。

---
| src/main/clojure/cljs/closure.clj | 19 行 ++++++++++---------
 1 个文件更改，10 行插入，9 行删除

diff --git a/src/main/clojure/cljs/closure.clj b/src/main/clojure/cljs/closure.clj
index a686f878..74a0cc86 100644
--- a/src/main/clojure/cljs/closure.clj
+++ b/src/main/clojure/cljs/closure.clj
@@ -2219,7 +2219,7 @@
      (when env/*compiler*
        (:options @env/*compiler*))))
   ([entries opts]
-   (into [] (distinct (mapcat #(node-module-deps % opts) entries)))))
+   (into [] (mapcat #(node-module-deps % opts) entries))))
 
 (defn index-node-modules
   ([modules]
@@ -2480,14 +2480,15 @@
        输出目录 (util/output-directory opts)
        opts (update opts :foreign-libs
                (fn [libs]
-                 (into (if (= target :nodejs)
-                         []
-                         (index-node-modules node-required))
-                               (into expanded-libs
-                                              (node-inputs (filter (fn [{:keys [module-type]}]
-                                                      (and (some? module-type)
-                                                           (not= module-type :amd)))
-                                    expanded-libs))))))
+                 (distinct
+                   (into (if (= target :nodejs)
+                         []
+                         (index-node-modules node-required))
+                               (into expanded-libs
+                                              (node-inputs (filter (fn [{:keys [module-type]}]
+                                                      (and (some? module-type)
+                                                           (not= module-type :amd)))
+                                    expanded-libs)))))))
         opts (if (some
                      (fn [ijs]
                      (let [dest (io/file output-dir (rel-output-path (assoc ijs :foreign true) opts))]
--
2.13.0



更一般的解决方案是 {{cljs.closure/process-js-modules}} 会确保输入文件集（即 {{js-modules}}）是唯一的。这个补丁会更简单（即不扰乱我不理解的部分）并且更接近调用 Google Closure Compiler。

{code:title=方案 B}
From 6bf11a24b93642e118e6d29c5af8a137fa01ea94 Mon Sep 17 00:00:00 2001
From: Corin Lawson <corin@responsight.com>
Date: Sun, 19 Nov 2017 20:25:31 +1100
Subject: [PATCH] CLJS-2402: 确保输入源文件是唯一的。

---
 src/main/clojure/cljs/closure.clj | 3 ++-
 1 个文件更改，2 行插入，1 行删除

diff --git a/src/main/clojure/cljs/closure.clj b/src/main/clojure/cljs/closure.clj
index a686f878..24421bde 100644
--- a/src/main/clojure/cljs/closure.clj
+++ b/src/main/clojure/cljs/closure.clj
@@ -2364,7 +2364,8 @@
   (let [;; 从 (编译器选项) 的 :foreign-libs 和 :ups-foreign-libs (deps.cljs) 中的模块
         ;; 文件一起处理，这样来自两个来源的文件可以相互依赖。
         ;; 例如，:foreign-libs 中的 commonjs 模块可以依赖于 :ups-foreign-libs 中的 commonjs 模块。
-        js-modules (filter :module-type (concat (:foreign-libs opts) (:ups-foreign-libs opts)))]
+        js-modules (filter :module-type (concat (:foreign-libs opts) (:ups-foreign-libs opts)))
+        js-modules (distinct js-modules)]
     (if (seq js-modules)
       (util/measure (:compiler-stats opts)
         "处理 JS 模块"
--
2.13.0



FWIW: 我更喜欢方案 B。

Answer 9

评论由：phiware 发布

已附加拟议的方案 B

Answer 10

评论由：phiware 发布

嗨，Mike，

我希望这能满足你（以及BDFL）的要求；我为两个拟议的解决方案都运行了{{lein test}}，我没有收到任何失败。然而，我确实收到了一些错误，这些错误不在断言中出现。我假设原因是我的设置中有些特殊（或缺乏特殊之处）。请告诉我你是否需要我提供其他信息。

敬礼，
Corin。

Answer 11

评论由：mfikes

谢谢 Corin。 使用你最新的补丁，整个测试套件都通过了我的测试。

Answer 12

评论由：mfikes

CLJS-2402.patch 已添加到 Patch Tender (i)

Answer 13

参考： https://clojure.atlassian.net/browse/CLJS-2402（由 phiware 报告）