fix(ci): GitHub で回っていなかったユニットテストを回し、ローカルと経路を揃える - #1911
Open
mhaya wants to merge 36 commits into
Open
Conversation
develop_v2.0.5 には、テスト一式を持ちながら GitHub 上で一度も実行されていない テストが 390 本あった。いずれも**テストコード側は健全**で、CI の設定に載って いないだけだった。 ## 1. unit-tests.yml のマトリクスから漏れていた3モジュール (283本) modules/ には49ディレクトリあるが、マトリクスは44しか列挙していなかった。 差分5つのうち resources / cookiecutter-weko-module はモジュールではないが、 残る3つは tox.ini と tests/ を持つ実モジュールで、単に列挙漏れだった。 weko-notifications 39 passed, 1 skipped weko-signposting 5 passed weko-workspace 239 passed 3モジュールとも CI と同じ経路(scripts/ci/run-module-tests.sh 経由の tox)で 実行して確認済み。いずれも `c1: commands succeeded`。 requirements-weko-modules.txt には最初から入っているので、イメージ側の 変更は要らない。テストコードにも手を入れていない。 コメントの「45個のマトリクス」も実数(47)に直した。 ## 2. api-inventory のツールテスト (107本) api-inventory-tests.yml を tools/api-inventory/ci/ に置いたまま .github/workflows/ に配置していなかったため、一度も動いていなかった。配置する。 Docker も Secret も台帳も要らず、数秒で終わる。 あわせて push と pull_request のパス指定を YAML アンカーで共有した。 別々に書くと片方だけ古びて「PR では回るが push では回らない」という 説明のつかない差になるため。ci/README.md の設置手順にも2本目を追記した (.github/workflows/ が実体で ci/ 配下は原本、という関係を明記)。 ## 確認の際に踏んだ落とし穴(記録) ローカルで既存イメージを流用して回すと、イメージに焼き付いた古い egg-info の entry_point (weko_theme.bundles:js_preview_widget など。現行の setup.py には無い) を invenio_assets が読みにいって 191件が ImportError になる。CI は ci-images.yml がブランチからイメージを作り直すので発生しない。ローカルで 再現するときは全モジュールに `python setup.py egg_info` を掛けてから回すこと。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01UFWPMjL6mrvQ2NHBvNgviy
ローカルと CI で違う回し方をすると、どちらかでしか出ない失敗が生まれ、結果を
突き合わせられなくなる。実際、直前の作業で**テストは正常なのに落ちる**事象を
2件踏んだ。
- 手元にあった無関係な weko-web イメージを流用したところ、イメージに焼き付いた
古い egg-info の entry_point (weko_theme.bundles:js_preview_widget。現行の
setup.py には無い) を invenio_assets が読みにいって 191件が ImportError。
CI は ci-images.yml が modules/*/setup.py を含むハッシュでタグを決めるので
起きない。
- invenio の venv で直接 pytest を叩いたところ pytest-mock / mock が無く
「fixture 'mocker' not found」。CI は tox が requirements2.txt から入れる。
どちらも原因の切り分けに時間を取られただけで、実装にもテストにも問題は無かった。
README-TEST.md が案内していたのも CI とは別経路(Python 3.5 + venv + run-tests.sh)
で、Python も依存も tox の有無も違う。ここで通っても CI で通る保証がない。
## scripts/ci/run-local.sh
CI の Unit Tests ジョブと**同じ部品をそのまま呼ぶ**。分岐させないことが要点。
compose docker-compose2.yml:docker-compose.ci.yml (CI と同一)
起動サービス postgresql / elasticsearch / redis / rabbitmq のみ (同一)
起動待ち scripts/ci/wait-for-services.sh (同一)
テスト実行 scripts/ci/run-module-tests.sh (= tox) (同一)
モジュール一覧 .github/workflows/unit-tests.yml の matrix (同一)
イメージは CI と同じ入力ファイル集合(modules/*/setup.py を含む)のハッシュで
タグ付けし、無ければビルドする。GHCR から引けない代わりに、setup.py が変われば
必ず作り直されるので、古い egg-info を使い回す事故が起きない。
CI と完全に同一のイメージで確かめたいときは WEKO_IMAGE で明示する。
起動前後に2つの事前確認を入れた。どちらも今回実際に踏んだもの:
- 別の WEKO スタックが 29201/26301/24301 を掴んでいないか
- invenio_assets.bundles の entry_point が壊れていないか(= egg-info が古い)
## scripts/ci/matrix.sh
モジュール一覧が「ワークフローの中」と「手順書」に二重に書かれると必ず片方が
古びる。マトリクスを唯一の正として読み、食い違いを検出する。
tests/ と tox.ini があるのにマトリクスに無い → 失敗
ジョブが立たない = 赤くもならない静かな漏れ。v2.0.5 まで3モジュール283本が
この状態だった。unit-tests.yml に matrix-check ジョブとして組み込む。
マトリクスにあるが tests/ か tox.ini が無い → 警告
ジョブは立って赤くなるので見えている。消すか足すかは人の判断。
現状 weko-redis が該当(tox.ini の c1 が `--cov=weko_rediss tests` を指すが
tests/ が無く、CI でも常に失敗している)。
## 残る差: ホストのアーキテクチャ
CI は x86_64。ARM では ES 6.8 の seccomp が x86_64 専用のため bootstrap check に
失敗する。ホストが x86_64 でないときだけ scripts/ci/compose.arm64.yml を重ねて
discovery.type=single-node にし、その旨を表示する。テストの内容には影響しない。
Dockerfile.arm64 は nodesource の setup_4.x が消えており現在ビルドできないので
使わない(標準の Dockerfile は aarch64 でもビルドできる)。
aarch64 のこのホストで scripts/ci/run-local.sh weko-signposting を通しで実行し、
イメージのビルドから 5 passed / congratulations まで確認済み。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01UFWPMjL6mrvQ2NHBvNgviy
前のコミットは aarch64 のときだけ Elasticsearch の設定を変えていた。これだと
開発機が AMD か ARM かで手元の条件が変わり、「片方の CPU でしか再現しない失敗」を
自分で作ることになる。ローカルと CI を揃えるという目的に反する。
分岐をやめ、scripts/ci/compose.local.yml を**常に**重ねる形にした
(compose.arm64.yml から改名)。調整点は install.sh と同じく COMPOSE_FILE ひとつ。
ES 6.8 は非ループバックアドレスに bind した時点で bootstrap check を強制するが、
これはホストのカーネルと sysctl に依存するので、開発機では環境しだいで落ちる。
確認できたものだけでも:
- ARM: seccomp の実装が x86_64 専用で
「seccomp unavailable: CONFIG_SECCOMP not compiled into kernel」で失敗する
- vm.max_map_count が 262144 未満のホスト: max_map_count の検査で失敗する
後者は AMD でも起こる。アーキで分岐しても解決しない類の問題なので、
discovery.type=single-node で bootstrap check ごと省く。ES はテストが使う単一
ノードなので意味は変わらない(リポジトリの docker-compose.arm64.yml と同じ扱い)。
CI はこのオーバレイを読まないため、CI 側は素の設定のまま。
Dockerfile は両アーキとも CI と同じものを使う(標準の Dockerfile /
elasticsearch/Dockerfile は aarch64 でもビルドできる)。
aarch64 の実機で scripts/ci/run-local.sh weko-signposting を通しで実行し、
5 passed / congratulations / exit=0 を確認。x86_64 の実機は手元に無いため未検証。
## AGENTS.md
- テスト節が `python manage.py test` (Django のコマンド) を案内していた。
本プロジェクトは Flask/Invenio なので、run-local.sh / matrix.sh /
api-inventory のテストに書き換えた。
- 同じくセキュリティ節の「Django のバリデーション機構」を実態
(Flask-WTF / marshmallow / JSON Schema) に直した。
- ベースラインに既存の失敗が残っている旨を明記した。「赤い = 自分のせい」と
取り違えると、無い原因を探すことになるため。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01UFWPMjL6mrvQ2NHBvNgviy
|
Important Review skippedAuto reviews are disabled on base/target branches other than the default branch. Please check the settings in the CodeRabbit UI or the ⚙️ Run configurationConfiguration used: defaults Review profile: CHILL Plan: Team Run ID: You can disable this status message by setting the Use the checkbox below for a quick retry:
Comment |
Reviewer's GuideGitHub Actionsで未実行だった390件のユニットテストを実行可能にし、3モジュールをunit-test matrixへ追加するとともにAPI Inventory用ワークフローを導入する。さらに、matrix検証とCI準拠のrun-local.shで将来の対象漏れやローカル環境差による誤失敗を防ぎ、関連手順を文書化する。 Sequence diagram for GitHub Actions module testssequenceDiagram
participant Actions as GitHub Actions
participant Matrix as unit-tests.yml matrix
participant Services as Compose services
participant Runner as run-module-tests.sh
participant Tox as tox
participant ModuleTests as Module tests
Actions->>Matrix: select module
Actions->>Services: start test services
Actions->>Runner: run module tests
Runner->>Tox: execute tox
Tox->>ModuleTests: run module test suite
ModuleTests-->>Actions: test result
Flow diagram for preventing test matrix omissionsflowchart TD
Start[Add or inspect module]
Testable{tests/ and tox.ini exist?}
Registered{Listed in unit-tests.yml?}
Fail[Fail matrix-check]
Warn[Warn about stale matrix entry]
Pass[Matrix coverage accepted]
Start --> Testable
Testable -- No --> Pass
Testable -- Yes --> Registered
Registered -- No --> Fail
Registered -- Yes --> Pass
Registered -. registered but not testable .-> Warn
File-Level Changes
Tips and commandsInteracting with Sourcery
Customizing Your ExperienceAccess your dashboard to:
Getting Help
|
PR Summary by QodoRestore omitted CI tests and align local test execution
AI Description
Diagram
High-Level Assessment
Files changed (9)
|
![sourcery-ai[bot]](https://avatars.githubusercontent.com/in/48477?s=60&v=4){kind=small}
There was a problem hiding this comment.
Hey - I've found 1 issue
Prompt for AI Agents
Please address the comments from this code review:
## Individual Comments
### Comment 1
<location path=".github/workflows/api-inventory-tests.yml" line_range="19-24" />
<code_context>
+# 「PR では回るが push では回らない」といった説明のつかない差になる)。
+on:
+ pull_request:
+ paths: &paths
+ - 'tools/api-inventory/**'
+ - '.github/workflows/api-inventory-tests.yml'
+ push:
+ branches: ['**']
+ paths: *paths
+ workflow_dispatch:
+
</code_context>
<issue_to_address>
**issue (bug_risk):** GitHub Actions rejects these workflow files because its workflow parser does not support YAML anchors and aliases. The `API Inventory Tests` workflow therefore fails validation and never starts, so neither the 107 unit tests nor the smoke check runs.
**Suggested fix:** Spell out the `paths` list separately for `pull_request` and `push`, or generate/synchronize the workflow files outside GitHub Actions rather than using YAML anchors.
```suggestion
paths:
- 'tools/api-inventory/**'
- '.github/workflows/api-inventory-tests.yml'
push:
branches: ['**']
paths:
- 'tools/api-inventory/**'
- '.github/workflows/api-inventory-tests.yml'
```
</issue_to_address>Sourcery assessment
Approval pending. 1 finding to address first.
Blocking findings: .github/workflows/api-inventory-tests.yml:24
Help me be more useful! Please click 👍 or 👎 on each comment and I'll use the feedback to improve your reviews.
Comment on lines
+19
to
+24
| paths: &paths | ||
| - 'tools/api-inventory/**' | ||
| - '.github/workflows/api-inventory-tests.yml' | ||
| push: | ||
| branches: ['**'] | ||
| paths: *paths |
There was a problem hiding this comment.
issue (bug_risk): GitHub Actions rejects these workflow files because its workflow parser does not support YAML anchors and aliases. The API Inventory Tests workflow therefore fails validation and never starts, so neither the 107 unit tests nor the smoke check runs.
Suggested fix: Spell out the paths list separately for pull_request and push, or generate/synchronize the workflow files outside GitHub Actions rather than using YAML anchors.
Suggested change
| paths: &paths | |
| - 'tools/api-inventory/**' | |
| - '.github/workflows/api-inventory-tests.yml' | |
| push: | |
| branches: ['**'] | |
| paths: *paths | |
| paths: | |
| - 'tools/api-inventory/**' | |
| - '.github/workflows/api-inventory-tests.yml' | |
| push: | |
| branches: ['**'] | |
| paths: | |
| - 'tools/api-inventory/**' | |
| - '.github/workflows/api-inventory-tests.yml' |
Code Review by Qodo
1. Keep mode blocks reruns
|
![qodo-code-review[bot]](https://avatars.githubusercontent.com/in/484649?s=60&v=4){kind=small}
Comment on lines
+50
to
+52
| missing=$(comm -13 "$tmp_m" "$tmp_t") | ||
| stale=$(comm -23 "$tmp_m" "$tmp_t") | ||
| rc=0 |
There was a problem hiding this comment.
1. matrix.sh lacks automated tests 📘 Rule violation ▣ Testability
The PR adds matrix parsing, comparison, and exit-status logic without adding or modifying a corresponding test file. Regressions in this script could silently omit modules from CI or incorrectly fail the test matrix.
Agent Prompt
## Issue description
`scripts/ci/matrix.sh` introduces executable matrix parsing and validation logic without corresponding automated tests.
## Issue Context
Tests should cover complete, missing, stale, and strict matrix states, including their output and exit codes. Avoid relying only on the script's execution against the current repository state.
## Fix Focus Areas
- scripts/ci/matrix.sh[19-80]
ⓘ Copy this prompt and use it to remediate the issue with your preferred AI generation tools
Comment on lines
+60
to
+63
| while [ $# -gt 0 ]; do | ||
| case "$1" in | ||
| --all) MODULES=(__ALL__) ;; | ||
| --list) exec "$ROOT/scripts/ci/matrix.sh" list ;; |
There was a problem hiding this comment.
2. run-local.sh lacks automated tests 📘 Rule violation ▣ Testability
The PR adds substantial executable logic for argument handling, image selection, service management, validation, and test orchestration without corresponding test changes. Defects could make the documented local path diverge from CI or operate on unintended Docker resources.
Agent Prompt
## Issue description
`scripts/ci/run-local.sh` adds executable orchestration logic without a corresponding automated test file.
## Issue Context
Add shell-level tests with mocked or stubbed Docker commands for option parsing, module validation, cleanup behavior, build selection, service failures, and aggregated test failures.
## Fix Focus Areas
- scripts/ci/run-local.sh[60-220]
ⓘ Copy this prompt and use it to remediate the issue with your preferred AI generation tools
Comment on lines
+101
to
+102
| DOCKERFILE_WEB=Dockerfile | ||
| DOCKERFILE_ES=elasticsearch/Dockerfile |
There was a problem hiding this comment.
3. Arm elasticsearch build fails 🐞 Bug ≡ Correctness
run-local.sh unconditionally builds elasticsearch/Dockerfile, whose Elasticsearch 6.8.23 base image is amd64-only, despite documenting support for ARM hosts. On ARM64, the local CI-equivalent path therefore fails during the image build before any tests run.
Agent Prompt
## Issue description
The local test runner always selects the amd64-only Elasticsearch 6.8.23 Dockerfile, so it cannot run on ARM64 hosts as documented.
## Issue Context
The repository already contains an ARM64-specific Elasticsearch Dockerfile and compose configuration. Select the correct build based on host architecture, or provide a verified multi-architecture Elasticsearch image while preserving the local bootstrap-check override.
## Fix Focus Areas
- scripts/ci/run-local.sh[95-107]
- elasticsearch/Dockerfile.arm64[21-60]
- scripts/ci/compose.local.yml[24-28]
ⓘ Copy this prompt and use it to remediate the issue with your preferred AI generation tools
Comment on lines
+149
to
+153
| for p in 29201 26301 24301; do | ||
| if (exec 3<>"/dev/tcp/127.0.0.1/$p") 2>/dev/null; then | ||
| exec 3<&- 2>/dev/null | ||
| running=$(docker ps --filter "publish=$p" --format '{{.Names}}' | head -1) | ||
| echo "❌ ポート $p が既に使われている${running:+ (${running})}。" |
There was a problem hiding this comment.
4. Keep mode blocks reruns 🐞 Bug ≡ Correctness
--keep leaves the test services running for subsequent invocations, but every new invocation rejects their published ports as conflicts. The advertised continue-testing workflow therefore exits before reusing the retained stack.
Agent Prompt
## Issue description
Services retained with `--keep` are treated as conflicting services by the next invocation, making the option unusable for its documented purpose.
## Issue Context
Distinguish containers belonging to this compose project from unrelated stacks. Reuse or restart the current project's services while continuing to reject genuinely foreign port owners.
## Fix Focus Areas
- scripts/ci/run-local.sh[44-56]
- scripts/ci/run-local.sh[146-158]
- scripts/ci/run-local.sh[164-173]
ⓘ Copy this prompt and use it to remediate the issue with your preferred AI generation tools
Comment on lines
+161
to
+162
| echo "▶ サービス起動 (postgresql / elasticsearch / redis / rabbitmq)" | ||
| docker compose up -d --no-build postgresql elasticsearch redis rabbitmq || exit 1 |
There was a problem hiding this comment.
5. Startup failure skips cleanup 🐞 Bug ☼ Reliability
The service-start command exits immediately on failure before the cleanup trap is registered. If Compose partially starts the stack, containers and volumes remain behind and can block the next test run.
Agent Prompt
## Issue description
A partial `docker compose up` failure exits before cleanup is registered, leaving resources behind.
## Issue Context
Define and register cleanup before starting any services. Ensure cleanup remains safe when no services were created and continues respecting `--keep` after successful startup.
## Fix Focus Areas
- scripts/ci/run-local.sh[160-175]
ⓘ Copy this prompt and use it to remediate the issue with your preferred AI generation tools
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
unit-tests.yml が全モジュールを回すようになり、これまで一度も実行されて
いなかったテストが大量に落ちた。いずれもテスト側が古びたもので、製品コード
には手を入れていない。
invenio-db
- test_invenio_db.test_init と test_shared.test_apply_driver_hacks が
sqlite の URL で apply_driver_hacks を通す。これは do_sqlite_connect を
**Engine クラス**に登録するので、以降どの接続でも PRAGMA foreign_keys=ON
が飛び、PostgreSQL が構文エラーで弾く。conftest で毎テスト前に外し、
db フィクスチャの drop_all 前にも外す。
- test_cli.test_destroy が共有 DB を落としたまま返すので、以降の
テストが「database "wekotest" does not exist」で全滅していた。作り直す。
- test_examples_app は WEKO の venv では起動できない (理由は skip 理由に
記載)。skip する。
invenio-accounts
- SECURITY_RECOVERABLE は invenio_accounts.config で False。
forgot_password / reset_password を使う3件のために、有効にした
recoverable_app フィクスチャを足す。
invenio-oaiserver
- test_header: weko-index-tree のロール判定が読む
WEKO_PERMISSION_SUPER_ROLE_USER / _ROLE_COMMUNITY が無かった。
- test_check_correct_system_props_mapping: get_mapping が読む
render['table_row'] が無く None を回していた。合わせて、成立する
ケースの期待値を True に直す。
weko-accounts
- assign_user_role: 「機関内のOrthros」は現行の
WEKO_ACCOUNTS_SHIB_ROLE_RELATION に無く、issubset が成立しない。
- get_sp_info: wayf_url / wayf_additional_idps / default_idp が
戻り値に増えている。
weko-authors
- ゲストの /api/ 呼び出しは 302 リダイレクトではなく 401 JSON になった
(weko_accounts.unauthorized)。18件の期待値を合わせる。
- tox は passenv=LANG なので INVENIO_ELASTICSEARCH_HOST は渡らない。
既定値を elasticsearch にする (None だと localhost:9200 を叩く)。
weko-groups
- _has_admin_access は invenio-access と identity が要る。app_2 と db_2 に
切り替え、匿名 identity を置く。
- RadioGroupWidget にはフィールドそのものを渡す (リストではなく)。
weko-handle
- テストアプリに invenio_theme/404.html が無い。その1枚だけ足す。
weko-index-tree
- test_put: check_doi_in_index を True にしたまま成功を期待していた。
weko-logging
- date には一意制約があるので2行が同じ時刻を持てない。
- user_activity_logs は月ごとのパーティションで、作成時に付くのは当月分
だけ。過去日付を入れるテストは自分で付ける。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-accounts
- forgot_password 画面は SECURITY_REGISTERABLE=False だと Sign Up リンクを
出さない。recoverable_app で両方を有効にする。
invenio-indexer
- process_bulk_queue は「キューが空になるまで」回る。_actionsiter を
return_value で差し替えると ack されず、RabbitMQ が再配送するので
ループ回数がブローカー任せになっていた (期待 10 に対し 210 等)。
ack する差し替えを用意し、各ケースの前にキューを詰め直す。
- reindex_bulk / _index_action は process_bulk_queue が初期化する
completed_chunk_count / completed_record_count / count を読む。
直接呼ぶテストは自分で 0 を入れる。
- BulkIndexError 分岐は成功数を len(self.success_ids) で数える。
_actionsiter を差し替えている以上、モック側で埋める。
- _actionsiter は NoResultFound に固定文言を出す。期待値を合わせる。
- ConnectionError 系の2件は **製品側の不具合** で通らないため xfail に
した (理由はマーカーに記載): BulkConnectionError は elasticsearch の
TransportError を継承していて __str__ が args[1] を読むのに、
BulkBaseException.__init__ は引数を1つしか渡さない。
process_bulk_queue のハンドラは冒頭で str(ce) を評価するので、
実際に接続エラーが起きると IndexError で落ちる。
- DROP DATABASE は接続が残っていると失敗する。teardown で engine を
dispose してから落とす。
invenio-oauth2server
- InvenioAccountsUI は session_ttl_update を必ず入れる。これは
store.redis.expire() を呼ぶので、セッションストアが DictStore だと
セッションを持つ全リクエストが AttributeError になる。redis を使う。
- test_cli_tokens の script_info フィクスチャが無かった。
- test_client_management: リクエストごとにセッションが切れて ORM
インスタンスが detach する。id を持ち回して都度読み直す。
weko-schema-ui
- REST の POST/PUT に login_required + schema-access が付いた。
ゲストは 401、schema-access を持たないロールは 403。期待値を合わせ、
権限が要らない検証系のテストには repoadmin でログインさせる。
- テストアプリに API 側の unauthorized ハンドラが無く、未認証時に
flask_login が 302 を **返す**ため、ContentNegotiatedMethodView が
それを (pid, record) として展開して落ちていた。
- oai_dc.xsd が import する dc スキーマを同梱する。元の URL は https に
リダイレクトするようになり、xmlschema 0.9.30 は追わないので dc 要素が
読めない。ユニットテストが外部ネットワークに依存するのも避ける。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
- test_register_acl: 権限チェックは import 実行中チェックより前に走るので、 item-type-access を持たないユーザーは 403 で、JSON も返らない。 また import が動いていない2周目は、空ボディでビュー自身の検証に落ちる。 - test_check_duplicate_mapping: check_duplicate_mapping は渡された dict から table_row に無いキーを取り除く。比較対象が dict の一要素になっていて そもそも成立しない式だったので、実際の契約を確かめる形に書き直す。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-deposit
- test_examples_app は CI コンテナでは動かせない (npm のグローバル
インストール・assets build・ポート5000のサーバ起動)。しかも本体は
全部コメントアウトされ、残っているのはセットアップスクリプトが
非0で終わることを確かめる assert だけなので skip する。
invenio-records-rest
- default_permissions が LoginManager を差し替えるため、
invenio-accounts が入れた匿名ユーザー (roles を持つ) が失われ、
シリアライザが辿る hide_meta_data_for_role が落ちていた。
- シリアライザは current_user と現在ロケールを読む。リクエスト
コンテキストの外ではどちらも None なので、request_context を足す。
- test_get_record: verify_record_permission は権限ファクトリとは別に
公開状態も見る (check_publish_status)。fixture のレコードには
WEKO の公開フィールドが無いので付ける。
- test_validation_error: put は except BaseException で 500 を返す。
期待値を実際の挙動に合わせ、書き込まれていないことを確認する。
invenio-resourcesyncclient
- test_process_item は **製品側の不具合** で通らないため xfail:
utils.process_item が mapper.map() を引数無しで呼ぶが、
JPCOARMapper.map は version が必須。invenio-oaiharvester と
weko-search-ui の呼び出しは渡している。
weko-admin
- _is_crawler は 200 以外の応答の本文を読まない。モックに
status_code を設定する。
- role_has_access('restricted_access') は
WEKO_ADMIN_DISPLAY_RESTRICTED_SETTINGS が真でないと常に False。
- report_email_schedule_settings はリポジトリ ID をキーにした形。
- update_admin_lang_setting は戻り値を返さず例外も握り潰さない。
- file_using_per_user の行にはテストが作ったプロフィール名が出る。
weko-theme
- get_weko_contents はリクエストの args マッピングを取る。
文字列を渡しても 'c' in 'comm1' が真になるので通っていただけ。
weko-user-profiles
- invenio_accounts.config が登録機能を切っているので
security.register が無く、sign_up ヘルパが URL を作れない。
- WTForms の del はフィールドを form から外すが属性は None のまま
残るので、hasattr ではなく membership で確認する。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
invenio-communities
- 管理画面のビューを protected_adminview_factory で包む。実アプリでは
InvenioAdmin が全ビューを権限ファクトリで包むが、素の flask-admin の
まま登録していたので誰でも通ってしまい、302/403 を期待するテストが
成立しなかった。
- role_query_cond は group_id と id_role の OR になった。
- test_alembic は **マイグレーションの不備** で通らないため xfail:
weko-records の 1619a115156f が feedback_mail_list に列を足すが、
その表を作るマイグレーションがどこにも無い (db.create_all() 頼み)。
invenio-files-rest
- permissions フィクスチャが返す User は commit で expire し、最初の
リクエストでセッションが切れて detach する。id を返すようにする。
- LocationModelView.get_query は system role が無いと既定ロケーションを
隠す。テストクライアントは匿名なので、見えるロケーションで確かめる。
- get_count_query は SELECT count(*) のクエリ。数は scalar() で取る。
- task.called_with(...) は Mock の正しい API ではない。
- タグヘッダの区切りは '&'。Python 3.6.13 以降 parse_qsl は ';' を
区切りとして扱わない。
- 6件は **製品側の不具合** で通らないため xfail (理由はマーカーに記載):
ビューが `except Exception` で握り潰した後、代入されていないローカルを
参照して UnboundLocalError になる。不正な入力が 400 ではなく 500 に
なり、アップロードの途中失敗は成功として返る。
invenio-resourcesyncserver
- _date_validation はテスト内に書いた固定日付では成立しなくなる。
- _validation は repository_id があると self.index.public_state を読む。
- 2件は **製品側の不具合** で xfail:
utils.get_timezone の `len(tz_parts > 1)` と、
admin の update が代入前の result を参照する件。
weko-gridlayout
- 対象のエンドポイントは @login_required だけで、ログインしていれば
誰でも通る。403 を期待していた2件は、contributor と repoadmin を
拒否して generaluser を通す、筋の通らない並びでもあった。
weko-items-ui
- ゲストの /api/ 呼び出しは 302 ではなく 401 (5件)。
- build_achievement は環境変数を読むが tox は通さない。
- to_links_js / make_bibtex_data はリクエストコンテキストが要る。
- get_ignore_item_from_mapping の item_type は必須引数。
weko-records
- ItemTypes.reload は mapping_dict が必須。
- get_author_link は nameIdentifier をそのまま使う (weko_authors の
pk id 解決はもう無い)。
- opensearch のテストデータはわざと壊れた attribute_value_mlt を含む。
メール秘匿処理の対象にしない。
weko-redis
- tests/ が無く、マトリクスに載っているのに必ず失敗していた。
RedisConnection / RedisConnectionExtension のテストを追加する。
- tox.ini のパッケージ名の綴り (weko_rediss) を直す。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
weko-admin
- restricted_access は Repository Administrator のアクセスリストに
入っている。期待値を直す。
weko-authors
- import_author は request_info が必須。
- weko-logging がアプリのロガーをルートから外すので caplog では
拾えない。タスクが使うロガーを直接見る。
- /code は CI では書けない。pytest の tmp_path を使う。
- UserActivityLogger も同じセッションで commit する。
- WEKO_AUTHORS_LIST_SCHEME に e-Rad_Researcher が増えている。
- gatherById が読む WEKO_DEPOSIT_ITEM_UPDATE_TASK_TTL を設定に足す。
weko-gridlayout
- WidgetType.create のテストに db が無く表が存在しなかった。例外の
確認は主キー重複で行う。
- delete_by_id に False を渡すと PostgreSQL が integer と boolean を
比較できない。存在しない id を使う。
- WidgetDesignPage.delete / update_settings は int() の ValueError を
投げ直す。pytest.raises で受ける。
- repository_id は varchar。int を渡さない。
- update_settings_by_repository_id は **製品側の不具合** で常に False:
varchar の列を int(repository_id) と比較している。xfail。
- WidgetItems.delete / is_existed が呼ぶ WidgetItem.delete /
get_by_repo_and_type は存在しない。**製品側の不具合**として xfail。
- sort_url の desc/invert は index_view 内クロージャの引数で、ビューの
属性を書き換えても効かない。
- index_view は Admin に登録済みであること (エンドポイント) と
リクエストコンテキストが要る。
- preload_pages は widget_design_page を読む。db を足す。
- get_mapping は weko_gridlayout.utils が名前で取り込んでいるので、
パッチ先はそちら。
- 他、キャッシュキーにパスが付いた件、upload_file が login_required に
なった件、get_file の差し替えが関数だった件など。
weko-records
- opensearch のシリアライザは control_number からレコードを引く。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-communities
- 素の flask-admin ではなく InvenioAdmin を使う。protected_adminview は
app.extensions['invenio-admin'] から権限ファクトリを取り、
ADMIN_LOGIN_ENDPOINT を読むため。entry_point_group=None で他モジュールの
管理画面は読み込まない。
invenio-files-rest
- flask-sqlalchemy はアプリコンテキストが終わるたびにセッションを外す。
login_user() のようなヘルパはテストの途中で入れ子のコンテキストを
出入りするので、フィクスチャが渡した ORM オブジェクトが全部 detach し、
bucket.id を読んだだけで落ちていた。テストの間はセッションを保つ
(最後に db フィクスチャが外す)。
- merge_multipartobject.delay には version_id も渡るようになった。
invenio-oaiharvester
- map_itemtype は引数を取らず、常に "Multiple" のアイテムタイプを選ぶ。
itemtype_map はクラス属性でテストをまたいで残るので明示的に空にする。
- JPCOARMapper.map は version が必須。フィクスチャのアイテムタイプは
jpcoar_mapping しか持たないので "2.0"。
- add_funding_reference も version が先頭。
- harvester.RESOURCE_TYPE_MAP は無くなった。
weko-gridlayout
- index_view は現在のブループリント基準で URL を作るので、直接呼ばず
自分のルート経由で叩く。
- find_rss_value の description 分岐はアイテムタイプを
_item_metadata.item_type_id から引く。
- アクセスカウンタのキャッシュキーはパス ('main' かページ id)。
weko-redis
- CACHE_TYPE がどれでもない場合、kv の有無に関わらず未代入の store を
参照して落ちる。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
invenio-communities
- users フィクスチャの generaluser の "obj" が sysadmin になっていた
(ACL テストは obj でログインするので generaluser が sysadmin として
通っていた)。else 分岐の .first() 落ちも直す。
- test_edit: contributor は admin-access を持たないので 403。
invenio-files-rest
- views.dbsession_clean がリクエストごとに db.session.remove() を呼ぶので、
フィクスチャが渡したオブジェクトは1回リクエストした時点で detach する。
セッションの expire_on_commit を切り、読み込み済みの属性はその後も
読めるようにする。
invenio-indexer
- publish はブローカーが consumer に渡す前に返る (このスイートが宣言する
quorum キューでは顕著)。bulk_index の直後にキューを読むと空のことが
あるので、件数が見えるまで待つヘルパを入れて挟む。
invenio-oaiharvester
- oai_dc の creator/contributor/relation は **製品側の不具合** で
取り込めないため xfail: 属性を持たない dc 要素は xmltodict が文字列に
するが、subitem_recs は `oai_key in metadata` でしか降りないので、
creatorNames.creatorName のような入れ子のパスでは1段目で落ちる。
invenio-stats
- get_common_report に stats-api-access が付いた。
- 'took' は Elasticsearch の実測時間なので比較から外す。
- Calculation はもう例外を投げない。作られる行を確かめる。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-files-rest
- views.dbsession_clean (ブループリントの teardown_request) を
テストアプリから外す。実アプリではリクエストごとにセッションを
片付けるのが正しいが、テストではフィクスチャが渡したオブジェクトが
1リクエストで detach してしまう。expire_on_commit を切る方法は
リフレッシュ前提のテストを壊すのでやめた。
invenio-oaiharvester
- harvest コマンドは例外を握って標準出力に出すだけなので終了コードは 0。
- parsing_metadata は subitem_recs の戻り値を使わず、渡した dict を
書き換えてもらう。モックも書き込む形にする。
- DC / JPCOAR / DDI のマッピング一式を確かめる4件は xfail:
map_itemtype() が常に "Multiple" のアイテムタイプを選ぶようになった
(weko#56939) 一方、フィクスチャの "Multiple" は jpcoar_mapping しか
持たず、これらのレコードの語彙に対応するマッピングが無い。
invenio-stats
- このプロジェクトが固定している kombu は compat.Consumer に
x-queue-type=quorum を直書きしているが、invenio_queues は引数無しで
宣言する。RabbitMQ が2回目の宣言を PRECONDITION_FAILED で弾いていた。
テスト側で宣言を消費側に合わせる。
- STATS_WEKO_DEFAULT_TIMEZONE は呼び出される (config は get_timezone)。
- invenio_stats.utils が読む WEKO_PERMISSION_* を設定に足す。
- CLI のテストは DB を使うので db フィクスチャを取る。
weko-items-ui
- build_achievement が組む URL のホスト名を期待値に合わせる。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-stats
- aggregations process は失敗するが、SystemExit ではなく例外で返るため
click の終了コードは -1。「失敗すること」を確かめる形にする。
- invenio_stats.utils が読む Community のモデルを create_all 前に import する。
weko-authors
- import_author のエラーログも caplog では拾えない。ロガーを直接見る。
- check_tmp_file_time_for_author: os.listdir の順序に依存しないよう、
getmtime はファイル名で判定する。
weko-items-ui
- make_stats_file / make_stats_file_with_permission の出力に
researchmap_linkage の列が増えた。期待値を実際の出力に合わせる。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
invenio-stats
- aggregations process の2つ目の呼び出しも終了コードは -1 (例外)。
- QueryFileReportsHelper は Community を引くので db フィクスチャが要る。
ci
- matrix ジョブの timeout-minutes を 60 → 120 にする。
weko-deposit / weko-records-ui / weko-search-ui / weko-workflow は
いずれもちょうど 60 分で cancelled になっていた (weko-deposit は
228 本中 63% まで)。テストの内容ではなく、1件ごとの
db.create_all()/drop_all() と ES 投入の重さが効いている。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
weko-deposit / weko-records-ui / weko-search-ui / weko-workflow の4つが
timeout-minutes: 120 でも cancelled になっていた。実測すると
weko-workflow は 794 本で 4時間54分かかる。GitHub のジョブ上限は
6時間なので、上限を上げ続ける形では収まらない。
効いているのは各モジュールの conftest.py の db フィクスチャで、
1テストごとに WEKO 全モジュール分のテーブルを drop_all()/create_all()
している (1件あたり約22秒)。フィクスチャのスコープを見直せば分割は
不要になるが、テスト間の独立性が変わるので別途 (issues.md C-1)。
pytest-split で本数を等分し、1ジョブ1本だけ回す。マトリクスは
module のリストから include に変え、shard を持つエントリを並べた。
test_views.py だけで 447 本あるためファイル単位では割れない。
matrix.sh は module 名で重複を畳むので、列挙漏れ検出はそのまま効く。
あわせて、これまでに見つかった製品側の不具合を issues.md にまとめた。
テストコードでは直せないため xfail にしてあるものが中心。
weko-workflow のテスト修正も3件:
- users フィクスチャが contributor を user@test.org で探していて
(他20モジュールは contributor@test.org)、contributor@test.org が
作られず以降のユーザIDが1つずつずれていた
- comm01 の管理ロールが sysadmin_role になっており、コミュニティ管理者に
紐づくコミュニティが0件で Community.get_by_user() が常に空だった
- render_guest_workflow は steps が空だと 404 を返すようになっている
- weko_records_ui.views は check_created_id_by_recid を持たない
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
初回の分割 run で、4モジュールすべて最後のシャードだけが 90 分で cancelled になった。pytest-split は**本数**で等分するだけなので、 重いテストが1本に寄る。CI 実測: weko-search-ui [1/4] 10:51 / [2/4] 29:24 / [3/4] 1:12:59 / [4/4] 打ち切り weko-deposit [1/4] 28:51 / [2/4] 8:44 / [3/4] 4:32 / [4/4] 打ち切り weko-records-ui [1/4] 43:54 / [3/4] 47:06 / [4/4] 打ち切り weko-workflow [1/8] 11:38 〜 [7/8] 27:12 / [8/8] 打ち切り 偏りの大きい weko-deposit と weko-records-ui を 8 分割、 weko-search-ui を 6 分割にし、上限を 90 → 120 分に戻す。ジョブは 73 本。 根治は .test_durations を作って時間で割ること (issues.md C-1)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
test_handle_fill_system_item3 の 203 パラメータのうち 34 本が失敗していた。 全パラメータの実挙動を採取して差分を分類したところ、すべて NDL JaLC 絡みで 原因は2つだけだった。 1. アイテムタイプの subitem_identifier_reg_type の enum は ["JaLC","Crossref","DataCite","PMID"] で "NDL JaLC" を持たない。 取込 TSV の DOI_RA 列は WEKO_IMPORT_DOI_TYPE に "NDL JaLC" があるので そのまま残るが、metadata 側は handle_fill_system_item が "JaLC" に 正規化する (weko_search_ui/utils.py:4260-4261)。正規化した以上 「指定された DOI RA が誤っていたので直した」という警告も出る。 テストの期待値がこの正規化前のままだった。 2. app.config に WEKO_HANDLE_ALLOW_REGISTER_CRNI を設定していた。 正しくは CNRI で、リポジトリ内の製品コードはすべて CNRI。 is_register_cnri パラメータがまったく効いておらず、 weko-handle の既定値 (False) のままだった。 ずれていた 33 行だけを書き換え、正常系の 169 行には触れていない。 なぜ NDL JaLC だけ扱いが違うのかをパラメータ表の先頭にコメントで残した。 34 passed in 410.71s (0:06:50) Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
CI が挙げていた 26 本のうち 20 本と、ハングの陰に隠れていた 6 本。
テスト側の問題:
- 4本: WEKO_RECORDS_UI_EMAIL_ITEM_KEYS がテストアプリに無い。
weko_records_ui.utils が読むが WekoRecordsUI を初期化していないため
既定値が入らない。conftest に足した。
- 7本 (TestWekoIndexer): Elasticsearch の応答の _version / _seq_no /
_primary_term を決め打ちしていた。これらはインデックス全体の書き込み
回数に依存するので、es_records の投入件数が変わるたびに壊れる。
assert_es_update() を足して、更新されたことだけを見るようにした。
get_count_by_index_id もフィクスチャが実際に入れた件数と突き合わせる。
record.id は読み取り専用になっていたので uuid4() を直接渡す。
- 3本: 中身の無い WekoRecord で items_show_list / display_file_info が
AttributeError を投げることを期待していたが、いまは空リストを返す。
- 4本 (TestChangeToMeta): *ShowFlg に bool を入れていた。
weko_authors/schema.py は fields.String(OneOf(["true","false"])) で、
製品側も strtobool() に渡すため 'bool' object has no attribute 'lower'
になる。あわせて、名前/メール/所属は force_change=True のときだけ
組み立てられるので、その引数を渡すようにした。
- 2本 (TestUpdateItemsByAuthorInfo): delete_cache_data / update_cache_data
は finally 節にあるので必ず呼ばれる。retry するのは接続系の例外だけで、
それ以外の SQLAlchemyError では呼ばれない。
- 2本 (TestUpdateAuthorData): 戻り値が3要素になっている。
- 1本: tika の subprocess を weko_deposit.tasks 側で patch していたが、
使うのは weko_deposit.utils なので実際に java を起動していた。
- 1本: tika の jar が無いときの例外は tasks 側の except Exception が
握り潰すので、呼び出し元までは伝わらない。
製品側の不具合 2 件は xfail にして issues.md に追記:
- A-12 _change_to_meta が authorNameInfo を2回ループして名前が重複し、
1周目の bool(文字列) 判定のせいで nameShowFlg=false も落ちない。
- A-13 update_file_content のリトライを使い切ると、その失敗を報告する行で
success が未代入のまま参照される (A-1 と同型)。
tests/test_tasks.py は 34 passed / 5 xfailed で全部通る。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
TestWekoDeposit は 37 passed / 1 skipped / 2 xfailed。
テスト側の問題:
- test_delete_by_index_tree_id: es_records は各レコードの .0 ドラフトも
インデックスに入れる。only_latest_version=True で拾われるのは
ドラフトのほうなので、除外リストにも .0 を入れないと
soft_delete まで進んでしまう。
- test_newversion: es_records が既に作っている recid 11 / 11.0 と
同じ値の PID を作ろうとして uidx_type_pid に当たっていた。
フィクスチャが使わない 99 / 98 に変更。
あわせて created_by の期待値 (item_data の値がそのまま入るので 1) と、
newversion が SQLAlchemyError を握り潰さない点を実挙動に合わせた。
- test_merge_data_to_record_without_version: convert_item_metadata が
System Administrator ロールのユーザを引くので users が要る。
さらにフィクスチャの deposit の model が別セッションのインスタンスに
なっていたため、いまのセッションで引き直すようにした。
製品側の不具合 2 件は xfail にして issues.md に追記:
- A-14 実体の無いファイルで fs が投げるのは ResourceNotFoundError で
except FileNotFoundError では捕まらず、abort(500) に落ちる。
1件でも欠けているとコンテンツ抽出全体が 500 になる。
- A-15 .0 のドラフトは親とバケットを共有するのに、delete() は自分の
RecordsBuckets 行だけ消してバケット本体を削除するため FK 違反になる。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
ハングが解けて初めて実行されるようになった 2 本を含む。
- test_extract_text_with_tika: TIKA_JAR_FILE_PATH は
docker-compose2.yml が web サービスに与えているが、tox は passenv に
挙げたものしか通さないので、テストからは見えていなかった。
c1 の passenv に足す。ローカルで tox を介さずに回すと通ってしまうため
気付きにくい (SQLALCHEMY_DATABASE_URI と同じ形)。
- test_ItemResource_put: ログインしていないと 401 になる。
あわせて pid を '1' 決め打ちにしていたので deposit フィクスチャの
値を使うようにした (無い pid はコンバータが 404 を返す)。
- test_depid_item_put: edit_mode='upgrade' の経路は convert_item_metadata
を通り、Indexes.get_path_list() がレコードの path に対応する
インデックスを引けないと PIDResolveRESTError になる。db_index を足した。
test_rest.py / test_utils.py / test_weko_deposit.py は 36 passed。
これで CI が挙げていた weko-deposit の失敗はすべて片付いた。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
- test_make_combined_pdf: JPAEXG_TTF_FILEPATH を "tests/fonts/ipaexg.ttf"
に上書きしていたが、pdf.py は blueprint.root_path (= weko_records_ui/)
にこの値を単純連結する。先頭に / が無いため
weko_records_uitests/fonts/... という存在しないパスになっていた。
製品の既定値と同じ "/fonts/ipaexg00201/ipaexg.ttf" にする
(フォント本体はパッケージ内にある)。
- test_RoCrateConverter_convert: RoCrateConverter は値をすべてリストに
正規化するようになっている。スカラーを期待していた 11 か所を直した。
リストを期待していた箇所は元から正しいので触っていない。
- test_publish_acl_guest: 未ログインの POST はログイン画面へ飛ぶ。
以前の /records/1 へのリダイレクトではなくなった。
- test_set_pdfcoverpage_header_acl / _acl_error: パラメータが
(0, False) で「users[0] (contributor) には権限が無い」を意味するのに、
本体が result を見ずに成功を期待していた。403 を確かめるようにした。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
- test_index_acl: url_for に item_management を渡すとクエリ文字列に載る。
werkzeug はパスとキーワードの両方にクエリ文字列があると ValueError に
するので、query_string 側だけに寄せた
(古い werkzeug は query_string で上書きしていたので実質同じ)。
- test_get_custom_sort: 第2ソートキーの _created は第1キーと同じ向きに
なる (api.py:136, 150)。逆向きを期待していた。
- test_set_by_jsonpath: fixed_properties のキーはドット区切りの親パス。
ネストした dict を渡していたので効いていなかった。
同じファイルの他の呼び出しは既に正しい形になっている。
末尾の data 比較もそれに合わせた。
- test_get_permission_filter_with_community: get_browsing_tree_paths を
差し替えないと閲覧可能なインデックスが ['1'] だけになり、index_id が
is_perm_indexes に入らず条件がまるごと飛ぶ。他の
get_permission_filter 系のテストと同じように差し替えた。
- test_item_path_search_factory / test_function_issue35902:
ACL の条件が増えてクエリの形が変わっている。実クエリを採取して
期待値を置き換えた (共通部分だけ。個別に append している部分は元のまま)。
- test_IndexSearchResource_get_Exception: 生成される URL のホスト名は
小文字になる (SERVER_NAME は TEST_SERVER)。あわせて期待値の JSON を
実レスポンスから作り直した (メールアドレスの非表示、集計キーの変更)。
- test_delete_records: レコードが ES に載っていないので update_es_data と
soft_delete が document_missing で 404 になる。両方を差し替えた。
- test_register_item_metadata: publish_without_commit を通すと、
item_type_id を差し替えたレコードに dictdiffer のパッチが当たらず
KeyError になる。隣の test_register_item_metadata2 と同じように
差し替えた。register_item_metadata は戻り値を返さない (常に None) ので
assert も外した。
- test_unpackage_import_file: 期待値の JSON を実出力から作り直した
(is_change_identifier / edit_mode / warnings が増え、
identifier_key が無くなっている)。
残りは test_check_jsonld_import_items の1本。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
RO-Crate のテストデータが bag のペイロード (data/) の中にありながら、 @id に data/ 接頭辞を付けていた。check_jsonld_import_items は data_path をペイロードに切り替えてから file_path を突き合わせるので (utils.py:946)、<展開先>/data/data/sample.txt を探しにいって 「指定したファイルが存在しません」になっていた。 あわせて data/test/data.csv の name が "test/data.csv" になっていた。 handle_check_filename_consistence は file_path のベース名と filename を 比べる (utils.py:5783) ので、サブディレクトリ付きの name とは一致しない。 @id をペイロード基準 (data.csv / test/data.csv / sample.txt) に直し、 name はファイル名だけにした。bagit の manifest は再計算したものを入れてある。 これで CI が挙げていた weko-search-ui の 11 本はすべて通る (11 passed in 96.67s)。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
タイムアウトを効かせたことで見えるようになったもの:
- weko-records-ui の test_file_list_ui / test_export_acl[0-200] に
@pytest.mark.timeout(60) が付いていた。pytest-timeout が入るまで
効いていなかったマーカーで、フィクスチャの実測 (1件40秒超) に対して
短すぎる。外してモジュール全体の 600 秒に任せる。
- weko-search-ui の test_export_all は CI で 600 秒を超える
(手元は本体26秒/フィクスチャ込み160秒)。1800 秒のマーカーを付けた。
これが 600 秒で中断されると、同じシャードの後続 3 本
(test_function_issue34535 / test_search_acl_guest / test_search_acl)
がセッションを壊されて DetachedInstanceError などで巻き添えになる。
test_make_combined_pdf は3つ重なっていた:
- weko_records_ui/fonts/*/ipaex*.pkl は fpdf のフォントキャッシュで、
中の ttffile が相対パスで焼き込まれている。fpdf はそれを読んで
出力時に開くため FileNotFoundError になる。conftest で
FPDF_CACHE_MODE = 1 にしてキャッシュを使わせない (issues.md B-5)。
- make_combined_pdf の呼び出し 5 か所がリクエストコンテキストの外に
あり、current_i18n.language が None を参照して落ちていた。
他の呼び出しと同じように包んだ。
- 2件目のレコードに publisher が入るようになっていた (期待値3か所)。
test_function_issue35902 は get_browsing_tree_paths を固定した。
差し替えないと環境によって path が ['1'] だったり [] だったりする。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
CI で must 節の並びが手元と入れ替わっていた (全文検索の節がタイトルの節より 前に来る)。どの条件を先に積むかは環境によって変わりうるので、 リストの順序まで固定すると環境依存のテストになる。 assert_same_clauses() を足して、要素を JSON 表現でソートしてから比べる。 中身の検査はそのまま。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
前 run で test_export_all が完走したことで、この3本が巻き添えではなく
実失敗だと分かった。
- test_function_issue34535:
* users を取っていないので convert_item_metadata が引く
System Administrator が居らず NoneType.id になっていた。
* 親 PID とバージョン関係を張っていないため
PIDVersioning(child=pid).last_child でも NoneType.id になっていた。
* 第3引数は owner (ユーザID) なのに True を渡していて
int('True') で落ちていた。
* 最後の突き合わせがレコード全体で、_buckets の UUID のように実行ごとに
変わる値まで固定していた。issue34535 の眼目である <br/> の改行変換と
主要項目だけを見るようにした。
- test_search_acl_guest / test_search_acl:
users フィクスチャの User はリクエストごとの teardown
(dbsession_clean) でセッションが閉じられ detached になる。
_get_user の side_effect にしてリクエスト内で毎回引き直す。
そのうえで、存在しない item_link を渡す最後のケースは製品側の不具合に
当たるので xfail にした (issues.md A-16: approval_record が [] のまま
.get() され、404 ではなく AttributeError になる)。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
- invenio-oaiserver の test_is_pubdate_in_future:
publish_date は BABEL_DEFAULT_TIMEZONE (Asia/Tokyo) の日付として
解釈され、UTC に直してから utcnow() と比べられる。テストは
datetime.utcnow() で日付を作っていたため、UTC が 15:00 を過ぎている間
(日本時間の 0〜9 時) は「明日」が過去判定になり必ず落ちていた。
CI の結果が時間帯で変わっていたのはこれ。
判定と同じ Asia/Tokyo のローカル日付で組み立てる。
- weko-search-ui の test_function_issue35902:
詳細検索の条件を test_request_context(data=...) で渡していた。
GET のボディはフォームとして解釈されないことがあり、werkzeug の
バージョンによっては request.values に入らず、タイトルなどの条件が
クエリから丸ごと落ちる。CI では title の節が出ず、手元では出ていた。
query_string= に変更した。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
tests/test_query.py がモジュールレベルの WEKO_SEARCH_KEYWORDS_DICT を
コピーせず app.config に入れたうえで
app.config['WEKO_SEARCH_KEYWORDS_DICT']['string'] = {"type": ...}
と書き換えていた。後始末は config のキーを差し替えるだけなので、
共有オブジェクトの 'string' 節 (title などを含む) は壊れたまま残る。
以降そのモジュールの dict を config に入れるテストからは title が消え、
タイトルの検索条件が生成されなくなる。
CI ではこの破壊側のテストが同じシャードで先に走るため
test_function_issue35902 が落ち、-k で部分実行する手元では落ちない、
という食い違いになっていた。config に入れるときに deepcopy する。
シャード2を通しで回して test_function_issue35902 が通ることを確認した。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
make_record は1件ごとに DB と Elasticsearch に書くので、CI の I/O では 1件あたり十数秒かかる。110 件だとフィクスチャの準備だけで 30 分を超え、 weko-search-ui [6/6] が Timeout >1800.0s で落ちていた (タイムアウトのスタックはテスト本体ではなく conftest.py:4397 の make_record の中を指していた)。 test_export_all が実際に書き出すのは item_id_range="1" の1件だけで、 残りは背景データなので 10 件で足りる。手元の準備時間は 130 秒 → 13.8 秒。 test_export_all / test_export_all_task の両方が通ることを確認した。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
issues.md を issues.textile に置き換えた。記法は同じリポジトリの
es-deposits-index-investigation.textile に合わせてある
(h1./h2./h3.、インラインコードは @...@、コードブロックは
<pre><code class="python">、表は |_. ヘッダ |)。
内容の変更:
- B-4 と B-5 の並びが逆になっていたのを直した
- A/B/C は本文そのまま。D 節は箇条書きから見出し (D-1〜D-12) にして
参照しやすくした
- 作業中に判明した分を追記:
C-4 ハングの検出 (pytest-timeout が入っておらず一度も効いていなかった件、
[pytest] と [tool:pytest] の実測比較)
D-10 create_export_all_data のレコード数
D-12 ハングしていた2件の原因と結果
- 冒頭に CI 状況 (75 ジョブすべて成功) を追記
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
xfail 16 件を「本当に製品側でしか直せないか」で見直し、2 件が
テストコードの問題だと分かったので解消した。
A-15 (weko-deposit の test_delete) — フィクスチャ由来だった:
conftest が RecordsBuckets.create で親レコードと .0 ドラフトを同じ
バケットに繋いでいた。製品側にそうする経路は無い。
- invenio_records_files の files プロパティは RecordsBuckets 行の
無いレコードに _create_bucket() で新しいバケットを作って紐づける
- publish 時は invenio_deposit/api.py:268-272 が snapshot(lock=True) で
別のバケットを作ってレコードに繋ぐ
この共有のせいで WekoDeposit.delete() のバケット削除が外部キー違反に
なっていた。ドラフトに別のバケットを持たせて xfail を外した。
weko-deposit の tests/test_api.py は 137 passed / 1 skipped / 1 xfailed。
A-9 のうち DDI (test_ddi_harvest_processing) — 期待値が古かった:
map_itemtype() が DDI 専用アイテムタイプを選んでいた頃の期待値だった。
weko#56939 で常に "Multiple" を選ぶようになり、項目 ID も配置も変わる。
Multiple での出力に書き換えて xfail を外した。titlSmt が調査ID項目では
なくタイトル項目に入るのは実挙動のほうが妥当で、item_1645678901234 が
出ないのは DDI 専用アイテムタイプにしか無い項目だから。
あわせて、不正な入力に対して例外を投げず res に何も足さずに返るように
なっていたので pytest.raises を外し、末尾の「res が汚れないこと」の
確認だけを残した。
残る 4 件 (TestDCMapper.test_map / TestJPCOARMapper.test_map /
test_process_item / test_run_harvesting) は期待値の書き換えでは通せない
ため xfail のままとし、理由を実態に合わせて書き直した。
特に TestJPCOARMapper.test_map は元から Multiple を明示指定しており、
それでも Multiple のマッピングに定義がある versionType / rights の本文 /
funderIdentifier が出力に現れない。
invenio-oaiharvester は 91 passed / 7 xfailed。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Qwazm2uExy3y4HSqTuTJEe
API インベントリ差分（件数のみ）
ベースラインとの差分API インベントリ差分レポート
判定: ✅ PASS (FAIL 0 / WARN 1)サマリ
[WARN] W6 依存パッケージの版が変化した — 40件
台帳との突き合わせスナップショット ↔ インベントリ 突き合わせ
判定: ✅ 一致 (0件)
|
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
GitHub 上で一度も実行されていないユニットテストが 390本 あった。いずれもテストコード側は健全で、CI の設定に載っていないだけだった。テストコードは変更していない。
1.
unit-tests.ymlのマトリクスから漏れていた3モジュール（283本）modules/には49ディレクトリあるが、マトリクスは44しか列挙していなかった。差分5つのうちresources/cookiecutter-weko-moduleはモジュールではないが、残る3つはtox.iniとtests/を持つ実モジュールで、単に列挙漏れだった。weko-notificationsweko-signpostingweko-workspace3モジュールとも CI と同じ経路（
scripts/ci/run-module-tests.sh経由の tox）でローカル実行して確認済み。いずれもc1: commands succeeded。requirements-weko-modules.txtには最初から入っているので、イメージ側の変更は不要。コメントの「45個のマトリクス」も実数（47）に修正した。
2. api-inventory のツールテスト（107本）
api-inventory-tests.ymlをtools/api-inventory/ci/に置いたまま.github/workflows/に配置していなかったため、一度も動いていなかった。配置する。Docker も Secret も台帳も要らず数秒で終わる。あわせて
pushとpull_requestのパス指定を YAML アンカーで共有した。別々に書くと片方だけ古びて「PR では回るが push では回らない」という説明のつかない差になるため。ci/README.mdの設置手順にも2本目を追記した（.github/workflows/が実体、ci/配下が原本という関係を明記）。確認の際に踏んだ落とし穴
ローカルで既存イメージを流用して回すと、イメージに焼き付いた古い egg-info の entry_point（
weko_theme.bundles:js_preview_widgetなど。現行のsetup.pyには無い）をinvenio_assetsが読みにいって 191件が ImportError になる。CI はci-images.ymlがブランチからイメージを作り直すので発生しない。ローカルで再現するときは全モジュールにpython setup.py egg_infoを掛けてから回すこと。レビュー時の確認点
unit-tests.ymlのジョブが 44 → 47 に増え、追加3モジュールが緑になることAPI Inventory Testsワークフローが起動し、107本が緑になること🤖 Generated with Claude Code
https://claude.ai/code/session_01UFWPMjL6mrvQ2NHBvNgviy
Summary by Sourcery
Close CI test-coverage gaps and standardize local and GitHub test execution while hardening affected test suites.
New Features:
Bug Fixes:
Enhancements:
CI:
Documentation:
Tests:
ローカルと CI の経路を揃える（
06a072d15,7ecb5521d）上記の作業中、テストは正常なのに落ちる事象を2件踏んだ。ローカルと CI で回し方が違うことが原因で、実装にもテストにも問題は無かった。
weko-webイメージを流用 → イメージに焼き付いた古い egg-info の entry_point（weko_theme.bundles:js_preview_widget）をinvenio_assetsが読みにいって 191件が ImportErrorpytest→pytest-mock/mockが無くfixture 'mocker' not foundREADME-TEST.mdが案内していたのも CI とは別経路（Python 3.5 + venv +run-tests.sh）だった。scripts/ci/run-local.shCI の Unit Tests ジョブと同じ部品をそのまま呼ぶ（compose オーバレイ /
wait-for-services.sh/run-module-tests.sh= tox / マトリクス）。イメージは CI と同じ入力（modules/*/setup.py含む）のハッシュでタグ付けし、無ければビルドするので、古い egg-info を使い回す事故が起きない。起動前後に、実際に踏んだ2つの罠の事前確認を入れた（どちらも発動を実機確認済み）。
invenio_assets.bundlesの entry_point が壊れていないか（= egg-info が古い）scripts/ci/matrix.sh— 再発防止マトリクスを唯一の正として読み、食い違いを検出する。
matrix-checkジョブとして CI に組み込み済み。weko-redisが該当（tox.iniの c1 が--cov=weko_rediss testsを指すがtests/が無く、CI で常に失敗している）CPU アーキ
AMD / ARM で分岐しない。 ES 6.8 の bootstrap check が落ちる条件は ARM 固有ではなく（
vm.max_map_count< 262144 は AMD でも起こる）、分岐しても解決しないため、scripts/ci/compose.local.ymlを常に重ねてdiscovery.type=single-nodeにする。CI はこのオーバレイを読まない。AGENTS.md
テスト節が
python manage.py test（Django のコマンド。本プロジェクトは Flask/Invenio）を案内していたので書き換え、隣接する「Django のバリデーション機構」も実態に修正した。検証の範囲
run-local.sh weko-signpostingを通しで実行し 5 passed /exit=0レビュー時の確認点
unit-tests.ymlのジョブが 44 → 47 に増え、追加3モジュールが緑になることmatrix-checkとAPI Inventory Testsが緑になること