【48】DIPをAtoMへアップロード（続々々）

新型コロナウィルスで世の中が騒がしい中、今日も集まりました〜〜
しかし、せっかく集まったのに、道場くんのVirtual Boxがシステムエラーで立ち上がりません。まさかの機械がウィルスに感染か！
非常時代です。

Virtual Boxの更新
ということで、まずこの問題を解決しなければなりません。
エラーメッセージをググって、とりあえずVirtual Boxを6.1にバージョンアップしてみます。

なんとうまくいきました。
Maticaが立ち上がりましたので、今日の作業を始めます。
Virtual Boxも古すぎるとダメなんですね。

DIPを生成してAtoMへアップロード
１回目のテスト
今日はJPEG一つをMaticaに入れて、AtoMに移す作業を試します。以前はPDFやDOCXが混ざっていましたが、今日はとりあえず単純なデータでテストして、成功することを目指します。

いつもの作業を進めます。MaticaからDIPを作成して、AtoMに入れました。画像はちゃんと登録されましたが、画像のタイトルはやはりできていません。Untitledのままです。つまり、失敗です。

そこで、MaticaのArchival storageメニューから登録された画像を確認すると、サムネイルが作成しれていませんでした。Archival storageにはMaticaが作成したAIPが保存されます。どのようなものがあるか理解する必要がありそうです。ぜひ一読しましょう。

Archival Storage
https://www.archivematica.org/en/docs/archivematica-1.10/user-manual/administer/dashboard-admin/#dashboard-processing

２回目のテスト
ここでMaticaの作業方法を少し見直しました。Administrationー＞Processing Configuration　のところで、defaultとautomatedの２つがあることを発見しました。

これについては、Processing configurationを参照してください。default設定のPROCESSING CONFIGURATION FIELDSを我々が必要な内容で設定しておけば、Maticaが自動で作業を進めてくれます。

Processing configuration
https://www.archivematica.org/en/docs/archivematica-1.10/user-manual/administer/dashboard-admin/#dashboard-processing

今度は、JPEG2個、DOCX1個を入れてみました。今回は自動で次々と作業が進むので、楽でした。ここで一つ覚えて起きましょう。Maticaの作業過程には、Examine contentsというプロセスがあるのですが、個人情報のようなものを確認する作業のようです。以下を一度読んでおきましょう。

Examine contents
https://www.archivematica.org/en/docs/archivematica-1.10/user-manual/transfer/forensic/#examine-contents

今回のテストでは、やはりDOCXが3つ、AtoMに入りました。よくわかりませんが、以前と同様、一つのデータが入力したデータの数分AtoMに重複して登録されるエラーです。失敗ですね。

ここで一つだけ問題を解決できました。
AtoMでサムネイルが出てなかったのは、AtoMのAdminの設定からサムネイルを表示しない設定にしていたためだそうです。
Admin->Settings->Default page elements->Digital object carousel をオンにしましょう。

ということで、今日はVirtual Boxのバージョンアップ、AtoMのサムネイルの設定ミスを解決し、いくつかMaticaの機能について勉強しました。本当に大事な問題は解決できませんでしたが…^^;

今日はこれで撤収します〜

余談ですが、こんなエラーばっかり出るArchivematicaを実際使っているところを見に行きたいという話で盛り上がりました。ユーザーフォーラムに質問しても誰も答えてくれないので、Artefactual社を訪問して、我々苦労しているんだよ～といいたい（笑）。やはりあしながおじさんが必要でしょうか。どこかから研究費でももらえるといいのですが…

ではでは次回は、2/21です。
皆来てね～

〜以後経過〜

AtoMの質問掲示板に質問を投稿しました。
https://groups.google.com/forum/#!topic/ica-atom-users/mBBfFIAqDWk
Archivematica 1.10でもうまく動かないらしい。
DIPファイルを渡して、アドバイスを待ちます。

【47】AtoMとマティカの連携（続々）

maticaからAtoMに運ばれたDIPが、Archival Descriptionに反映しない問題について、検討を続けます。

原因はおそらくAtoM-Workerがうまく機能してないのではないかとにらみつつ、まずはエラーを起こすため、再度Dipアップロードにトライします。
エラーを起こすのは、Artefactualの専門家に画面つけて質問するためです。

まずは念の為、Gearman、php7.2-fpm、atom-workerを順番に再起動

root@atom-host:/var/log/nginx# sudo service gearman-job-server restart
root@atom-host:/var/log/nginx# sudo service php7.2-fpm restart
root@atom-host:/var/log/nginx# sudo service atom-worker restart

前に使った記述は、エラーが起こりややこしい状態になっていたので、新しくフォンド「test」を作成。
maticaでいつもの作業。いつも通り４つのデジタルオブジェクトをマイクロサービスで処理していきます。
AIP完成。AIP 内のメタデータであるMETS.xmlを確認し、ファイル名が正しく記述されていることを確認します。理由は、メタデータ内のファイル名がおかしくなっているために、AtoM側の処理にエラーを起こしているのではないか？と考えたためです。ですが、問題なし。

maticaでDIPアップロードを実行。
maticaのDIPアップロードのジョブの色は緑で正常動作であると示していますが、ジョブの右にあるギアを押して詳細を開くと、赤でエラーと出ているジョブキューがありました。不思議です。
AtoMの「test」フォンドに組んだファイルレベルを見ると、同じオブジェクトが４つ。メタデータも一緒。前回と同じエラーです。
AtoM側でmaticaから受け取るtmpファイルを確認すると、オブジェクトもメタデータも丸ごと来ていました。ところが、AtoMに来ているthumbnailフォルダーを見ると、全部同一のファイルになっている疑いが！
maticaでthumbnailができているかを見ると、きちんと生成されていなかった！
さらなる混乱の事態となり、もはやなすすべなし。

https://projects.artefactual.com/issues/13109
をもう一度見直してみると、#23に気になる投稿文が見つかります。
AtoM-workerが再起動すると、同じジョブを繰り返し、複製データをデータベースに送るとありました。同じデータが４つArchival Descriptionに出現している事態と何となく辻褄が合うようなエラーであるようにも思えます。
また、maticaのthumbnail問題はAtoM-workerとは別の現象にも見えます。
もうよくわからないから、開発者に質問を投げます。

機材を片付けた後、みんなでカンパして処理速度の速いマシンを購入してみるか...という話にもなりました。そうすれば、maticaも早く動き、作業時間が短縮できるかも。あしながおじさん、僕らは孤児でもない大人ですが、ご寄付をお待ち申し上げます。

さて次回以降の日程は、次の通りです。
1/31
2/21
です。
31ですから、お間違えなきよう。

【46】AtoMとマティカの連携（続き）

2020年最初の道場です。
更新が遅くなってしまってすみません・・・

ArchivematicaとAtoMの連携の続きをやります。

前回の失敗は道場ブログ記事【40】で指摘があるように
　＞AtoM2.5では、MySQLをバージョンアップしたことが原因で、AtoM workerが不安定になってしまっているそうです。
現在のところの対応策が、こちらにありました。の「こちら」部分をやっていないからではないかという指摘からスタートしました。

Tera Termから道場君に入っているAtoMに入ります。※この時ファイル→ログ→今日の日付のファイル名を作る（タイムスタンプとプレーンテキストにチェックを入れる）

AtoM workerの環境変更→リロード
This is going to be useful in case you need to troubleshoot the worker.
とあるところは、念のためやります。

確認のためヴァーチャルボックス内のArchivematicaを起動しブラウザからログイン。
ついでにブラウザからAtoMにログインします。

現状では以前作ったフォンド「絶望」内にあるシリーズ「失望」の中にエラーアイテムがある状態です。
とりあえず新しいシリーズを作成します。無事「通る」ように縁起を担いでCalrosと命名しました。

ArchivematicaからCalrosにオブジェクトをアップロードしてみます。
　ブラウザのIngestのタブからUpload to AtomEditor・・・・・・失敗です。
　シリーズ「Calros」には「Untitled」という謎アイテムがあるのみです。
つながってはいるけど、オブジェクトが来ていない？どこで差し止められているのでしょう？

Tera TermでAtoMのログを確認します。
AtoMに4つのオブジェクトを送ったはずなのに、1つめのTransfarでエラーの模様
See setting directory and file permissions documentation
という指示が出ています。

今度は権限に問題があるのではないかという仮定に基づき、AtoMのUploadsの中にあるrというディレクトリについてチェンジオーナーでRootからwww-dataに変えます。

ArchivematicaからCarlosにアップロードを再挑戦・・・・・・今度は同じ画像が4点も来てしまいました。影武者状態です！！

原因を探るべくNginxのエラーログを確認をします。
phpメッセージは　non publication status set for information object id:477
/user/share/nginx/atomにチェンジディレクトリ
sudo -u www-data php symfony jobs:woker
リスタートします。

3回目の挑戦です。
こちらのNote（We recommend...の方） に従って、AIPを作ってからDIPをUploadしてみることにしました。

AIPをstoreをしてみて、Storageタブからオブジェクトの確認です。
ここまでは異常なしです。
DIPのアップロードを再度試みます・・・・・・やっぱり失敗
Untitledという名前の同じオブジェクトが４つ来てしまいます。

ls -la /tmp
でAtoMのDIPを受け入れるtmpファイルを確認します
sudo find /tmp -name *animal*￥
見つかりました

やっぱりAtoM側に問題がある模様
次回はMaticaのUpgradeをして、もう一度挑戦です。

次回は1月24日です。

そして最後に。
最後に橋本さんがArchives and ManuscriptのSpecial issueのAbstractの審査に通ったそうです！すごい！！続報を待ちましょう！！！