【107】I Trust AI 開始

 入澤道場、I Trust AIに加盟しました。

英語表記がIrasawi Dojoだったので、修正を依頼したところ、

https://interparestrustai.org/trust/aboutus/partners

Irisawi Dojoになってました。おしい、もう一息です。

Working Groups（https://interparestrustai.org/trust/about_research/workinggroups）については、

Management and Administrationへの参加を申し込む予定です。

まずは、日本の中央省庁や地方自治体において、DX事業が多く実施されていますが、その中で、AIを使用したものを調べていくつもりです。特に、AIが文書（Document）やデータ（Data）を生成するような事業に注目し、情報収集を進めていきます。文書とデータは、InterPARESの定義に準拠した意味です。https://interparestrustai.org/terminologyを参照。

さらっと情報収集だけでも以下のページが見つかりました。説明はしんどいので、ちょっとずつ加えていければと思います。

https://www.soumu.go.jp/iken/02gyosei04_04000131.html

https://www3.nhk.or.jp/kansai-news/20221024/2000067589.html

https://www.jt-tsushin.jp/article/casestudy_jititai-ai

https://www.tama-100.or.jp/cmsfiles/contents/0000000/816/01_3AI_RPA3.pdf

https://japan.zdnet.com/article/35197140/

https://www.pref.kanagawa.jp/documents/58463/04_saitama.pdf

https://www.pref.saitama.lg.jp/a0001/news/page/2019/0821-01.html

https://clip.zaigenkakuho.com/magazine_osusume/

https://www.bousai.go.jp/kohou/kouhoubousai/r01/98/news_05.html

https://www.soumu.go.jp/midika-iot/admin/wp-content/uploads/2017/03/midika-iot-h28-seika-4.pdf

https://www.tama-100.or.jp/cmsfiles/contents/0000000/816/01_3AI_RPA3.pdf

http://www.hitozukuri.or.jp/wp-content/uploads/thinking21_14-21_20220307.pdf

https://caidr.jp/

https://www.sitel.com/blog/what-is-a-chatbot/

https://aistaff.mri.co.jp/

https://researcher.apu.ac.jp/apuhp/KgApp?resId=S001664

https://www.jstage.jst.go.jp/article/jasmin/202111/0/202111_247/_pdf/-char/en

https://www.bosaitech-pf.go.jp/doc/flyer_v2.pdf

次回は、1/14（土）です。

Archives in the Digital Age: The use of AI and machine learning in the Swedish archival sector

https://www.diva-portal.org/smash/record.jsf?pid=diva2%3A1675361&dswid=1448

を読みます。1–29頁までです。

【106】Dark archives

以下の論文を読みました〜

Mark Bell; Jenny Bunn, Dark archives or a dark age for reasoning over archives?, 

AI & SOCIETY (2022) 37:959–966, https://doi.org/10.1007/s00146-021-01365-z

次回は、12月16日（金）19：00です。

【105】AI文献を読む

More human than human? Artificial intelligence in the archive

Gregory Rolan a, Glen Humphriesb, Lisa Jeffreyc, Evanthia Samarasc, Tatiana Antsoupovad and Katharine Stuarte

188頁のAustralian initiativesの上まで読んだ。

次回はその上のCoverageのところから再開。

【104】LOCKSS：インストールのやりなおしから起動まで

前回、橋本のマシンでエラーが続いたので、元氏のマシンでインストールをやり直します。

マニュアルはこちら。

https://lockss.readthedocs.io/projects/manual/en/latest/index.html

インストールの作業は、こちらの道場ブログ記事を参照。

http://irisawadojo.blogspot.com/2022/06/103lockss.html

この中で注意しなければならなかったのは、

4.4.1. Content Data Storage Areas ※注意
4.4.2. Log Data Storage Area
4.4.3. Temporary Data Storage Area

のところです。

事前に/cache0のディレクトリ作成、権限変更を済ませておく必要があります。

そうしないと、次のようなエラーが出ます。

そんなことですから、rootになって、次の命令文を打ちました。

mkdir /cache0

chown lockss:lockss /cache0

chmod 750 /cache0

もう一つ前回までと変えたところは、

4.1. Network Settings
4.1.1. Hostname

のFully qualified hostname (FQDN) をlocalhostにしました。以前はipアドレスにしてました。結論から言うとあまり関係ありませんでした。

以上のように条件を整えてから、/lockss/lockss-installerに移り、

scripts/configure-lockss

を実行。うまいこといって、マニュアル4の環境設定は成功。

5. Running the LOCKSS System

続いて、マニュアル5のRunning the LOCKSS Systemに突入。

/lockss/lockss-installerで、

scripts/start-lockss

を実行。うまいこといきました。

6. Using the LOCKSS System

いよいよ使ってみる段階に入ります。ウェブブラウザを立ち上げて、URLに

http://localhost:24621

と入力。あかんかった（環境設定で指定したipアドレスがlocalhostではなかった）ので、

http://<ipアドレス>:24621

を入力。すると念願がかない、LOCKSSのサイトが立ち上がりました。

ここで、悲鳴を上げ始めていたマシンがとうとう限界に。続きは次回です。いよいよLOCKSSの機能を見ていきます。みなさんご参加ください。

次回は

7/22（金）19:00〜

です。

【103】LOCKSS：インストールと設定

　iRODSにしばしの別れを告げて、前回からLOCKSSのインストールに取り組み始めました。前回はRocky Linux 8.4のインストールに手こずりましたが、ようやくスタートです。

・LOCKSS 2.0-alpha5 System Manual
https://lockss.readthedocs.io/projects/manual/en/latest/index.html

・設定

仮想マシン：VirtualBox
OS：Rocky Linux 8.4

まず、IPアドレスを固定しておきます（設定は以下リンク先を参照）。

・virtualboxでホストオンリーアダプターを利用して、SSH接続を行う｜Windows10
https://qiita.com/koki276/items/28a87eb06abb4d8b5e13


　ひたすら上記マニュアルに書いてある通りに進めていきます。1と2はLOCKSS紹介とアップグレードに関する記述のため、具体的作業は3から始まります。

3. Installing the LOCKSS System
3.1. Creating the lockss User

　rootユーザーとして入って、lockssユーザーを作成します。 マニュアルにはありませんが、この段階でuseraddでパスワードを設定しておきましょう。

3.2. Downloading the LOCKSS Installer　※lockssユーザーに切り替え
　Tar must be installed and on the PATHと出たのでTarをインストールしました。
　$ dnf install tar
　しかし、lockssのパスワードを設定していないため（3.1.で設定しておくべきだったことに気づく）、exitでrootユーザーに戻ってtarをインストールしました。その後、もう一度lockssユーザーに戻ります。

3.3. Running the LOCKSS Installer

　ここで念の為、archivematicaでのLockssバージョンを確認しました。特に記述はないので最新版で大丈夫と思われます。

3.3.2. Invoking the LOCKSS Installer
　rockyで動かそうとしたところはねられました。「$ scripts/install-lockss」は、Priviledged user として動かす必要があるのでご注意ください。なぜこうもユーザーを細かく分けさせるのでしょうかね...？

　ユーザーの切り替えで戸惑うこともありましたが、その後はマニュアル「3.3.11. Checking the K3s Configuration」まで無事に進みました。

4. Configuring the LOCKSS System

　lockssユーザーに戻ってLOCKSSの設定を確認していきます。［　］内に示された設定で問題ない場合はEnterを押すだけです。設定を変更する場合は記述します。

4.4. Storage Areas

　今回、このメインストレージ領域の設定で躓きました。

4.4.1. Content Data Storage Areas ※注意
4.4.2. Log Data Storage Area

4.4.3. Temporary Data Storage Area

　まずは、メインストレージ領域のルートとして使用するディレクトリのフルパスを入力せよとのマニュアル指示に従って、「/cache0」で設定しました。

　参考に、4.5.から4.8.までの設定も貼っておきます。

　最後の「4.9. Final Steps」でconfigurationを確認できます。ここで「ディレクトリ /cache0を作成できません」言われるエラーが発生しました。

　そもそも、ストレージ領域をルート直下に作成した場合はアクセス権限が必要になるのでは？という疑問が出てきたので、lockssの下にmkdirでcashe0を作成しました。

　再び「4.」に戻って、ストレージ領域のルートをlockss下のCashe0に設定し直します。しかし、またもや「ディレクトリ /cache0を作成できません」言われてしまいます。さらに「/cache0/lockss-script-logs にアクセスできません」。

もう一度各種ディレクトリを作成して設定し直すも、結果は同じくエラーが出ました。理由は不明ですが、「Please create /cache0/lockss-script-logs」と出るので、「cache0」はやはり、ルート直下にしか作れないようです。

　解決策として、rootとしてlockssの上にcache0を作り、chmodでpermissionを誰でもread and write可能な設定にするという方法が示されました。いずれにせよ、Content Data StorageができないとLOCKSSが走らないので、クリアしなければ次に進めません。ということで、本日はここでお開き。

　次回道場は「4.4.」のメインストレージ領域設定の解決からです。

【102】iRODS：最終版～挫折、それは次の道の始まり～

 今日は少人数です。皆さま寒暖差にご注意ください。さてさて…本日は…ってか「は」ではなく「も」、iRODSです。そして、本日のオペレーターはHさん（Mac）です。

では、はじめます。今日のキーワードは、以前Oさんからご助言いただいたメールの内容：

(1)ファイアウォールの設定

から見直していきます。まずは、ポートの状況確認からです。

ss -atn

を見てみたものの、iRODSがどこにListenしにいってるのか不明ということで、それを調べてみようということになりました。次に、

ss -atnu

をみにいってるものの、やはり同じ悩みに。そこで、前回までに出ていたエラーメッセージを改めて確認しますと、

ERROR: _rcConnect: connectToRhost error, server on 192.168.56.4:1247 is probably down status = -305111 USER_SOCK_CONNECT_ERR, Connection refused

 ERROR: Saved password, but failed to connect to server 192.168.56.4

ということです。ここで整理すると、iRODSがききにいってるサーバーにアクセスできていないということですよね？焼き芋とかの話されたけどそうですよね？？ってことで、

sudo ufw allow 1247

ルールをアップデートしました(v6)

ということで、うまくいきましたので、

iinit

から、環境ファイルがないということですが、

サーバー設定を行うも

うまくいかず。どうしたもんかなと。

ってことで、environment.jsonファイルをここで改めて作成し直しても、これまでどおりだからとWさんマシーンに交代します。

(2)前回からの続き：6.4 Seeing the Tree

から。が、

まさかのH-Macと同じエラー。。。もうどうしたらいいのよ。
“iinit”を実行するも、同じエラー。つまり、毎回アクセスできなくなるってことになる！！ってことで、心がへし折れそうに。。。ってか折れた。今回参加出来なかった方、ごめん。まじでごめん。

そんななか、Wさんは必死にいろいろと確認しようとしています。もう、分からん。

そんななか、チャットに…

LOCKSSする？

って…だわな。次の課題を決めな。

ってことで、archivematicaとLOCKSSで連動させる？っていうことに。みんなどうよ？
んで。

(3)LOCKSSをインストールしてみる

Hさん、やる気すんげえわ。ってことで、下記を参照にインストールしてみる。

https://github.com/lockss/lockss-installer

ちなみにVer: LOCKSS 2.0-alpha4　です。
こちらのOSは、Ubuntu 18.04

楽勝と思いきや、ダメでした。ってことで、続きは次回に。

次回はいろいろと話し合った結果…5月13日！！

またねみんな！頑張ろうぜ！

【101】iRODS：はまりにはまってる…今日も？？？

 なななんと！！101回目！！継続はなんとやらってやつですね。
それでは、今日も初めていきましょう♪
書いてみたけど、完全なる備忘録です。

今日は、H号でスタートするも、

"missing environment file"

で…今日もなのか？？そうなのか？？ってことで、W1号に！！が、

error～・・・

No～～！！！まじかよ…そこでなんとW-2号が！！
しかしながら、ログインできないやつ！ずーっとループ。

そこで、H号に戻って…すみません理解が追いついてない。さらに、オペ号が変わっていき追うことができず。
※誰か分かる人この部分書いて！！

エラーの謎を解決するため、iRODS Docsの最新版のうち、
Installation>Default Environment
https://docs.irods.org/4.2.11/getting_started/installation/#default-environment 
にある、表記（下記）とW-2号の表記を比較すると
/var/lib/irdos/.irods～
部分の表記が違うことが。ここにヒントが？

irods_environment.json
がここにあることが分かるのですが。。。ってか、W-2号は新たにインストールしたものなのにもかかわらずそれが無い？っていうのが。。。書いてる私がよく理解できてないから。。。

＜協議中＞
ここで話し合いをした結果、皆さんに共通点が。
https://github.com/irods/irods_training/blob/main/beginner/irods_beginner_training_2019.pdf
のうち、5.4 Working with Data Objectsにある、
iput -r /home/ubuntu/training_jpgs
でスタックするということ。なにがなんだか。。。

話し合い2：環境ファイルを消去してしまったことへの対応として。
環境ファイルを適当に作って放り込むことでいける説！
先ほど書いた、/var/lib/irdos/.irods/ 以下にirods_environment.jsonファイルを作成します。
cd /var/lib/irdos/.irods
touch irods_environment.json
cd
init
走った！！！
ここで、固定IPを打ち込み…port＃をいれんで…
ブーーーーー！！！！！！！ダメです…

＜協議中2＞
ここでまたまた、W-2号に、移り変わります。
※ここでみんなオレがブログ書いてるの気づいたze！！
iRODS beginner Training のうち、Chapter 5をスタート。
先述の5.4まできました。どうなる。みんなが引っかかった
iput -r /home/ubuntu/training_jpga
=> ubuntu :自分のUsername
に書換ると、成功！！！aliceを作成し、
cd /home/alice
んで
iget /tempZone/home/alice/training_jpgs/lemur.jpg
成功！！
iget /tempZone/home/alice/training_jpgs/sources.txt
もちろん成功！んで、なんだかどんどん進みます。bobbyに編集権限を与えたり、コレクションからの一部ファイル削除も、削除したファイルを戻したり、レプリカ作った・・・り・・・出来ねえ！！何故だ！！
irepl - R newResctraining_jpgs/peanuts.jpg
に対して、
ERROR: replUtil: repl error for /tempZone/home/~
status = -13000 status = -13000 SYS_NO_API_PRIV
とのメッセージ。

＜協議中3＞
暗中模索。どうしたものか。。。問題の所在がわからないので、解決案もわからず。。。
/var/lib/irods.log にて、エラーログを確認。その表記は。。。

Mar 25 20:58:36 pid:7887 remote addresses: 127.0.0.1 ERROR: [-] /repos/irods/server/api/src/rsAuthResponse.cpp:75:int rsAuthResponse(rsComm_t *, authResponseInp_t *) :  status [CAT_INVALID_AUTHENTICATION]  errno [] -- message [rcAuthCheck failed.]

        [-]     /repos/irods/plugins/auth/native/libnative.cpp:558:irods::error native_auth_agent_response(irods::plugin_context &, authResponseInp_t *) :  status [CAT_INVALID_AUTHENTICATION]  errno [] -- message [rcAuthCheck failed.]

とのこと。ダメだ。そもそも、これを解析する知能があるんだったら、ここでスタックすることはないんだった。。。そこで、まさかのこの行程をスキップ！ばしっ！！
5.5 Making Collections
無事に通過！！
5.6 Wrapping Up

無事に通過！！
6.3 Building a Tree

無事に通過！
6.4 Seeing the Tree

無事に通過！！
6.5 Using Our New Storage
無事…にできず…

そこで、localとiRODSとの関係でごちゃごちゃしちゃいます。。。
そしてスキップしたレプリカの問題がここに…

次回も・・・血を吐きながらやりますよ！！
4月15日です。みなさんどうぞ！

【100】iRODSのiCommandsを試す

じゃじゃん～　久々にブログ担当に復帰しました。

iRODSの本格的な動作の確認が出来ず、時間が経っているのですが、この問題を解決できるだろうかと不安になってきました。若干諦めモードになっていますが、今日も素直にマニュアルに沿って進めてみます。

まず、マニュアルはここ↓
iRODS Beginner Training with iRODS 4.2

https://github.com/irods/irods_training/blob/main/beginner/irods_beginner_training_2019.pdf

今日は5章あたりをやってみます。

今日は、Aliceでログインして、Githubから練習のためのtraining_jpgs.zipをダウンロードしている状態で始めます。（~5.4）

irm, imv

iCommandをいくつか動かしてみる作業です。

前回（？）以下でpeanuts.jpgを削除してみましたので

$ irm /tempZone/home/alice/training_jpgs/peanuts.jpg

以下のコマンドで、もとに戻せるかを試します。

しかし、なぜかエラーが出ました。（もしかしたら前回ゴミ箱（trash）を捨てたかのかしら）そこで、別のファイルを削除して、戻してみます。

今度はうまくできました。

irepl

次は、レプリカを作ってみます。レプリカは同一の物理的コピーを意味します。

ここでエラーが出ました。

irepl -R newResc training_jpgs/waffle.jpg

remote addresses: 192.168.56.2 ERROR: replUtil: repl error for /tempZone/home/alice/training_jpgs/waffle.jpg, status = -347000 status = -347000 USER_SOCK_CONNECT_TIMEDOUT

USER_SOCK_CONNECT_TIMEDOUT -347000　

良く分かりませんが、以前からずっと出ている上記のエラーについて何とか調べることに。

Trouble shootingの文書から、このエラーに対する対策があったのでやってみます。

https://docs.irods.org/master/system_overview/troubleshooting/#the-server-log-rodslog　からの説明とやったこと↓

iRODS Server is down

１．ienv

• The ienv command displays the iRODS environment in use. This may help debug the obvious error of trying to connect to the wrong machine or to the wrong Zone name.

やってみたところで、何も解決のヒントがありません。説明を読んでもなんの役にも立ちません。( ﾉД`)ｼｸｼｸ…

２．Networking issues

• Verify that a firewall is not blocking the connection on the iRODS ports in use (default 1247 and 1248) (or the higher ports for parallel transfer).
  
  スクショ忘れましたが、以下のコマンドで1247, 1248のポートがLISTENの状態であることを確認しました。
  
  netstat -lntp
  
  
• Check for network connectivity problems by pinging the server in question.
  これについても、以下のようにpingで動いていることは確認しましたが、だからなに？という感じです。笑
  
  

３．iRODS server logs

• If the iRODS environment issues and networking issues have been ruled out, the iRODS server/client logs may provide additional information with regards to the specifics of the error in question.
  
  
  
  サーバーログは、rodsLogで確認できます。 https://docs.irods.org/master/system_overview/troubleshooting/#the-server-log-rodslog からの説明↓

  The Server Log (rodsLog)

  The iRODS server log (rodsLog) is the best place to find a history of what has happened and any error codes and file paths that may explain unexpected behavior. The rodsLog is found at /var/lib/irods/log/rodsLog*. The rodsLog is rotated every few days, so make sure you're looking at the latest file for recent error messages. The debugging level (below) affects how many messages are written to the rodsLog.　

  実際は、/var/lib/irods/log/に入ると、以下のようなファイルが見えます。　

  
  

  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  
  

  そこで、一番最新のログファイルを、以下のコマンドで開いてみました。

  
  

  vim rodsServerLog.2022.02.21

  
  

  その結果がこれです。

  
  

  Feb 25 20:04:51 pid:13044 remote addresses: 127.0.0.1, 192.168.56.2 ERROR: _rcConnect: connectToRhost error, server on 192.168.56.1:1247 is probably down status = -347000 USER_SOCK_CONNECT_TIMEDOUT

  Feb 25 20:04:51 pid:13044 remote addresses: 127.0.0.1, 192.168.56.2 ERROR: [create_physical_file_for_replica:115] - rsFileCreate failed [error_code=[-347000], path=[/tempZone/home/alice/training_jpgs/waffle.jpg], hierarchy=[newResc]]

  Feb 25 20:04:51 pid:13044 remote addresses: 127.0.0.1, 192.168.56.2 ERROR: [create_new_replica:505] - l3Create failed [error_code=[-347000], path=[/tempZone/home/alice/training_jpgs/waffle.jpg], hierarchy=[newResc], physical_path=[/var/lib/irods/new_vault/home/alice/training_jpgs/waffle.jpg]]

  Feb 25 20:04:51 pid:13044 WARNING: [unlock_impl:214] - failed to restore status for replica because no original status found in data_status column. Setting replica status to stale. [data_id=[10028], repl_num=[1]]

  Feb 25 20:04:51 pid:13044 remote addresses: 127.0.0.1, 192.168.56.2 ERROR: [restore_replica_statuses:122] - failed to restore status for replica; original status not found in data_status column [data_id=[10028], repl_num=[0]]

  Feb 25 20:04:51 pid:13044 remote addresses: 127.0.0.1, 192.168.56.2 ERROR: [replicate_data_object:748] - failed to replicate [/tempZone/home/alice/training_jpgs/waffle.jpg]

  Feb 25 20:04:51 pid:13044 NOTICE: rsDataObjRepl - Failed to replicate data object. status:[-347000]

  
  

ここで、また-347000を発見。あれ？最初に戻った？なんだか、説明を読んでも説明になってないお見事な説明です。役所に電話してたらいまわしにされた感じです。たらいまわしになったら、一旦やめるべきですね。（笑）

とういう事で今日はここまでです！

※今日必要となったサイト

• iCommands
  https://docs.irods.org/master/icommands/user/
• Trouble shooting
  https://docs.irods.org/master/system_overview/troubleshooting/#the-server-log-rodslog

====================

次回は3/18です～

【98】irodsのエラーで五里霧中

 2022/02/11

5.4 Working with Data Objects

を実行しようとしたら、エラーが頻発し、rodsとしてログインさえできませんでした。

メンバー同士でirodsの-305111エラーの対処方法を探ってみましたが、解決できず...残念な夜でした。

irodsにログインすると自動生成されるログイン情報　/home/irods/.irods/irods_environment.jsonファイルを削除して、再度ログインしてみたのですが、やはりirodsにつながらず、でした。

投稿が遅れて大変申し訳ありませんでしたが、2月11日金曜日は、なかなか困難が多い日でした。

次回、別の機械から5.4を再挑戦してみたいと思います。

【97】iRods：Storage resourceを作る・PostgreSQLを確認する

2022/01/14　beginnersマニュアル p.15～です。

iinitの設定で問題がある場合や、ユーザの切り替えの際には、p.16を参照し、irods_environment.jsonファイルを削除して、再度正しく接続しましょう。

$ iexit full

$ rm ~/.irods/irods_environment.json

AliceとBobbyのユーザ作成、パスワード変更まで順調に進みます。

それでは、iadminをつかって、AliceとBobbyが操作できるようなセットアップをしてあげることをやってみます。/var/lib/irods/new vaultにストレジリソースを作ります。

p.16～　Let's create a storage resource so that Alice can try out iCommands in the next subsection. When we installed iRODS, the setup script created an initial iRODS storage resource, demoResc.

Please Note - demoResc is not for production use, but we will use it for training purposes.

$ iadmin mkresc newResc unixfilesystem 'hostname':/var/lib/irods/new_vault

ですが、残念ながら間違った操作をしたことで、エラーになりました。

⇒エラー：$ iadmin mkresc newResc unixfilesystem マシーンのname:/var/lib/irods/new_vault

⇒正しい：$ iadmin mkresc newResc unixfilesystem 自分のサーバーのIPアドレス（マシーンのnameではありません）:/var/lib/irods/new_vault

（94回目をご参照：http://irisawadojo.blogspot.com/2021/11/94irodsicommand.html）

もう一度、正しいhostnameにしてnewRescを作ってみたら、すでに存在している...

ということで、マニュアルを参照して、他にストレジリソースを作って実行する手もありますが、以前newResc（new resource）の代わりに別のResc（95回：wonResc）を作成したところ、あれこれうまく進まないことがあったので、今回は間違って作ったnewRescをデータベースから削除して、マニュアル通りに進めていくことにします。

まず、p.9～10を参照して、PostgreSQLの中から、new_vaultフォルダの中のnewRescを削除するか、iadminを使って削除するかを判断するために、PostgreSQLの中を調べることから始めます。MySQLとは構文が違うので、PostgreSQLの構文は神業（=みんなでググる～とQuiitaさん）で進めていきます。

su権限でPostgreSQLに入ります（ここからは、psqlと書きます）

$ sudo su - postgres

$ psql

postgres=# \l　（逆スラッシュエル・存在するデータベースを表示する）

postgres=# \c ICAT　（p.10で作成したirods用のデータベースICATに接続）

ICAT=#　\dt;　（ICATの中のテーブル一覧を見せて）

ICAT=#　select * from r_resc_main;　（r_resc_mainというテーブル内のデータの一覧をみせて）

としてら、私たちが間違って作ったnewRescが入っていました。

（postgresだけではなく、sqlの操作もグーグルとQiitaに頼ってきていますので、ご容赦ください。恥ずかしいですが、ワレワレはsqlの操作方法など、身に着けていません。）

ということで、newRescのデータの場所が確認でき、中身が空っぽになっていることもわかりました。やはり、間違って作られていました。

iadminで削除したものと、postgresから削除することの相違を確認ができないため、今回はpostgresからnewRescを削除せず、iadminを使って削除することにしました。

ICAT=#　\q　（ICATデータベースからquit）

$ exit　（postgresからexit）

「iadmin rmresc Name」でstorage resourceを削除することができます。（参照：https://docs.irods.org/master/icommands/administrator/）

$ iadmin rmresc newResc

これで、newRescが削除されたことを再度確認します。

ということで、遠回りしましたが、再度newRescを作成し、成功しました。

その後、5.2 Logging In with Aliceと5.3 Basic Navigationを済ませました。

次回は5.4 Working with Data Objectsから作業します。

もう昨年のことですが、当初、マニュアルの6.3 Building a Treeを実行していた際に、【96】iRODSのVirtualization失敗になったため、今、みんなとワイワイと復習をしているんです。細かい説明がないところは、前回までのブログやマニュアルをご参照ください。

手探りではありますが、少しずつirodsの働き方やデータベースの構成などがわかっていく気がします。

次回は2/7（金）です。よろしくお願いいたします。

（p.s　この記事作成が1か月も遅れてしまい、申し訳ありませんでした。間違った記述などは、発見した際にその都度修正していきます。）

【96】iRODSのVirtualization失敗

本日は、BEGINNER TRAINING WITH iRODS 4.2のChapter 6 Virtualization（p. 24〜）から開始です。

storageResc1とstorageResc2というresourceを作成するところ（p. 28）ですが、

$ iadmin mkresc storageResc1 unixfilesystem  hostname :/var/lib/irods/storageVault1

$ iadmin mkresc storageResc2 unixfilesystem  hostname :/var/lib/irods/storageVault2

hostnameはipアドレスにしました。

$ iadmin addchildtoresc replResc newResc

$ iadmin addchildtoresc replResc storageResc1

$ iadmin addchildtoresc replResc storageResc2

のところで、newResc、storageResc1とstorageResc2をreplRescの子供にします。

$ ilsresc --ascii

で親子関係を示せます。

ところが、

$ iadmin modresc replResc rebalance

でエラーが発生。これで、すべての子供のresourceに同じファイルのコピーを持たせることができるようですが、エラーです。

実は前回、virtual machineのゲストのipアドレスが変化してしまったため、変化前のipアドレスであったnewRescにアクセスできなくなってしまい、代わりにwonRescというresourceを作ったことを思い出しました。

そこで、やりなおしです。

$ iadmin addchildtoresc replResc wonResc

ところがエラーが継続です。

エラーログは次の場所にあることが判明。

/var/lib/irods/iRODS/server/log/rodsLog

確認すると次のようなメッセージが出ました。

なるほどわかった！ということにもならず、ipアドレスが変更されてしまったのが原因と考え、次回までにipアドレス固定の上、ここまでやり直したiRODSを使い、再開します。

次回は、

12/17（金）

で今年最後の道場です。半分は忘年会ですかね。

また次次回は、

1/7（金）です。半分は新年会かも。よろしくお願いいたします。

【95】iRODSのUsing iCommands

BEGINNER TRAINING WITH iRODS 4.2

Chapter 5  

Using iCommands （pp. 14–23）まで完了。

次回は、

12/3（金）

です。 

【94】iRODSのiCommandを実行し、ユーザを作ってみます

前回まで「Chapter 4 Installing iRODS」 が終わりました。

BEGINNER TRAINING WITH iRODS 4.2（https://github.com/irods/irods_training/raw/master/beginner/irods_beginner_training_2019.pdf）の

BTマニュアル14～15ページです。

5.1 Administrative Operations

Ubuntuが起動されたら、iRodsの管理者＝admin＝rodsadmin＝ユーザも作れるし、resourceのセットアップなどができる「rods」のアカウントを利用して、iRodsサーバーにつなげます。

iRodsをインストールしたら、homeディレクトリの下位に/home/ubuntu/.irods/フォルダが作られています。

$ iinit

One or more fields in your iRODS environment file (irods_environment.json) are missing; please enter them.

Enter the host name (DNS) of the server to connect to:　(自分のサーバのIPアドレス)

Enter the port number:1247

Enter your irods user name:rods

Enter your irods zone:tempZone

Those values will be added to your environment file (for use by

other iCommands) if the login succeeds.

Enter your current iRODS password:rods

そうしたら、/home/ubuntu/.irods/フォルダの中に、入力したユーザの情報などが書かれた環境設定ファイル「irods environment.json」ができます。

（前回はなぜか、この情報を聞かれることがなかったので、錯綜しましたが、今回は問題なくすすむことができました。）

次は、マニュアル通り、aliceとbobbyという、新しいユーザ（普通のユーザ）を作ってみます。

$ iadmin mkuser alice rodsuser

$ iadmin moduser alice password passWORD

$ iadmin mkuser bobby rodsuser

$ iadmin moduser bobby password passWORD

これで、問題なく、aliceとbobbyができます。

次は、iadminを使用して、ローカルホスト上にunixfilesystemタイプの2つ目のリソース「newResc」を作成し、/var/lib/irods/new vaultにマウントしてみます。下記の画像のように、新しいresourceができます。

BT mアニュアル　P. 15

新しいresourceができたかは、以下のiコマンドで確認します。

$ ilsresc

できていました！

iRodsにAliceとしてログインするためには、いったんログインしていたrods（admin）がiRodsからログアウトして、rods用の環境ファイルを削除する必要があるとのことです。

$ iexit full

$ rm ~/.irods/irods_environment.json

（$ ils　は（のちに）データ・オブジェクトやサブコレクションをリストアップするiCommandですが、ログインしているユーザのディレクトリを調べるために打ってみました）

5.2 Logging In with Alice

では、アリスとしてログインしてみます。

（上記のiRodsのログアウトを行っているのが前提です）

$ iinit

One or more fields in your iRODS environment file (irods_environment.json) are missing; please enter them.

Enter the host name (DNS) of the server to connect to:　(自分のサーバのIPアドレス)

Enter the port number:1247

Enter your irods user name:alice

Enter your irods zone:tempZone

Those values will be added to your environment file (for use by

other iCommands) if the login succeeds.

Enter your current iRODS password:passWORD

ログインもでき、現在Aliceとしてログインしていることも確認できました。

Aliceのログインパスワードを変更してみます（ほかのユーザも同様です）。

$ ipasswd

Enter your current iRODS password:passWORD

Enter your new iRODS password:alicepass

Reenter your new iRODS password:alicepass

aliceのパスワードが変更されました。

今日はここまでできました！

iRodsがどのように実行されているか、誰がログインしているかがすぐにわからず、エラーの時はどのようにすればいいか、といった説明もまだ足りなくて、道場メンバーで手探りしながらここまでやりましたので、結構時間がかかりました。

次回は、BTマニュアルのp. 17、5.3 Basic Navigationから続きます！宜しくお願いします。

※iRodsインストール時のエラーについてメモ

ちなみに、iRodsインストールの際（BTマニュアル10～11ページ）に、irodsパッケージ（https://packages.irods.org/）をダウンロードするところでエラーになりました（2021/11/05現在）。

$ wget -qO - https://packages.irods.org/irods-signing-key.asc | sudo apt-key add -

$ echo "deb [arch=amd64] https://packages.irods.org/apt/ $(lsb_release -sc) main" | sudo tee /etc/apt/sources.list.d/renci-irods.list

$ sudo apt-get update 　（←ここで実はエラーが出ていた！）

$ sudo apt-get -y install irods-server irods-database-plugin-postgres 　←ここでレポジトリにファイルがない、みたいなエラーが出た！のでインストールができず、時間がかかった。

そして上記のirods-serverとirods-database-plugin-postgresをレポジトリからダウンロードできないというエラーがでた際に、エラーメッセージをよく読んでみると、

（キャプチャがないですが「Certificate verification failed: The certificate is NOT trusted. The certificate chain uses expired certificate.  Could not handshake: Error in the certificate verification.」みたいなメッセージがでましたので、調べて、以下の「ca-certificates」をインストールすることでiRodsのインストールすることができました）

$ sudo apt install ca-certificates

こんなエラーが出ない方もおられました。特定の人のみ呪われてるのかと悩む夜でした...

蛇足のつぶやき：今回のブログ、内容があまり充実しておらず、失礼しました。実は、なぜこんなに進まなかったかというと...エラーが解決できなかったり、操作ミスでパスワードが変更されたのに覚えられなかったり、新しくサーバーに新しくiRodsをインストールしたりしたメンバーもいて（私です(-_-;)）、あれこれ進まないことがありました。エラーメッセージが出た後、いろいろ調べているうちに、エラーメッセージが出なかったりもしているようで、まだ問題と解決策が明確ではないものもありますね。初心者にはむずかい！と思いつつも、「あ～できた、できてる！次、進もう！」という気分にもなるものでした。では、次回もよろしくお願いします！

 

 

【93】iRODSのインストール

今回からiRODSを見ていきます。

概要については次のサイトを参照。

• 本家のサイト：https://irods.org
• エネルギー加速器研究機構（KEK）のサイト：https://wiki.kek.jp/display/irods/Home

それでは、インストール開始。

BEGINNER TRAINING WITH iRODS 4.2という初心者用の資料 https://github.com/irods/irods_training/blob/master/beginner/irods_beginner_training_2019.pdf を発見。長いので勝手にBTと略称します。BTにしたがって作業を進めます。インストールについては、Chapter 4 Installing iRODS（p. 9〜）を参照。OSはUbuntu 18.04（VirtualBox上）です。

データベースを入れます。

$ sudo apt-get update

$ sudo apt-get -y install postgresql

$ sudo su - postgres

$ psql

> CREATE DATABASE "ICAT";

> CREATE USER irods WITH PASSWORD 'testpassword';

> GRANT ALL PRIVILEGES ON DATABASE "ICAT" to irods;

> \q

$ exit

iRODSのソフトウェアパッケージを入れます。

$ wget -qO - https://packages.irods.org/irods-signing-key.asc | \

sudo apt-key add -

$ echo "deb [arch=amd64] https://packages.irods.org/apt/ \

$(lsb_release -sc) main" | sudo tee \

/etc/apt/sources.list.d/renci-irods.list

$ sudo apt-get update

$ sudo apt-get -y install irods-server irods-database-plugin-postgres

成功したら次のメッセージ。

iRODS Postgres Database Plugin installation was successful.

To configure this plugin, the following prerequisites need to be met:

- an existing database user (to be used by the iRODS server)

- an existing database (to be used as the iRODS Catalog)

- permissions for existing user on existing database

Then run the following setup script:

sudo python /var/lib/irods/scripts/setup_irods.py

今回、Postgresが起動しないエラーが起こりました。

10 main 5432 down postgres /var/lib/postgresql/10/main /var/log/postgresql/postgresql-10-main.log

と表示。リブート。

同様のエラーは、https://qiita.com/Dexctersu/items/3d6bc50bf1d4a294980b に記載。

$ pg_lsclusters

で確認したら、起動できていました。

最後のステップ。

$ sudo python /var/lib/irods/scripts/setup_irods.py < /var/lib/irods/packaging/localhost_setup_postgres.input

BTのp. 12の表と同じような設定値が表示されるなか、次のような不穏なメッセージが我々を不安に陥れました。4つのWarningが次のように出ています。

それでも構わず、セットアップを終えます。

$ echo $?

0と出て問題なし。

サーバー起動します。

$ sudo su irods -c "/var/lib/irods/irodsctl start"

iCommandsの章

BTのChapter 5（p. 14〜）です。iinitというコマンドで、サーバーのホストネーム、ポート番号などを設定していきます。

$ iinit

Enter your current iRODS passwordと出ましたが、何とこれがわからん。

BTのユーザーネームと表記されるrods（p. 15）かと思いきや、うまくいかず。

ひょっとして、上記のWarningが関わっているのか？と思ったのですが、わかりませんでした。

デモ動画 https://www.youtube.com/watch?v=s-RnMII6A3Q や https://pgale.web.unc.edu/2015/04/20/irods-training-install/ などを見て、もう一度インストール過程を検討して、次回に備えようという話になって、本日は終了です。

次回は11/5（金）です。ご参加ください。

【92】ArchivematicaのArchival Storageについて考える

 始まりました。人数も少ないですし、地震もきましたし、サッカーも相手へのナイス・パスで負けたので、まったりいきます。

本日のテーマは！それは！！なんと！！まさかの！！！

これから考えます！

という会になりました。

ずーっとああでもない、こうでもないっていう話を。
頭のなかが… Storage 管理に関するサードパーティーのアプリケーションを入れ込んで欲しいのですが、お金がかかるものが多くワレワレのような貧乏人には無料じゃないと…（涙

ん～・・・ってことで、1.5h話し合ったところで決まりましたよ！
ドラムロールスタート！ｄｒｄｒｄｒｄｒｄｒｄｒdrdrdrdr....daaaaan!

LOKKS！！

に決まりました！！！
詳細は、GitHub（https://github.com/lockss/lockss-daemon）をご確認ください。
みんなで見てると、いろいろと意見が…ここで決めてくれ！！（祈

ん。。。だめ。。。なのか。。。また。。。なのか。。。…

LOKKSつかってOAIS参照モデルって…
ネットワーク入れば簡単にできるんじゃね？…
本来はe-Journalを管理できるように作られたんですよね？
そうそう、そんで他にも使うことができるから派生シテ…
etc. など、

あれれ。。。

それはそうと、こんなんのもあるよ！（file:///C:/Users/hori6/Downloads/iprespaper-finaledit.pdf）
おお～！！OAISの図がカックイイ！！

とか。

ペーパーに文脈関係ないのに、自分の写真出しちゃうやつって。。。←これはH（私）

とか。。。これは、LOKKSは止めるのか。。。
ここで急浮上！

iRODS！！

もう。。。追えないよ。。。
ってなか、みーーーーんな、勝手にiRODSのことをバンバン調べだし、笑うくらい五月雨式に話だすっていうリモートの"マナー”に違反しまくり…

ってことで、

First！　iRODS

Second！ LOKKS

に。

ってことで、次回までに読むものリストです。
https://arodes.hes-so.ch/record/1907/files/makhlouf_research_data_management_switzerland_2017.pdf

https://docs.irods.org/4.2.10/

https://sciencenode.org/feature/isgtw-technology-taming-data-deluge-new-open-source-irods-data-grid-system.php

さーーがんばりましょう！！

次回は、恐らく22日です！！

【91】Archivmaticaで日本語のOCR認識（Tesseract利用）

今日は前回の続きのTesseractのテストです。

Archivemimaticaは、デフォルトでOCR認識用としてTesseractを使っています。基本は英語認識になっているので、日本語を認識できるようにしてみましょう！

Tesseractのファイルは、/usr/share/tesseract-ocr/ の下に実行ファイルがあります。まずは、そこをみてましょう。

学習した言語ファイルがあるところは、tessdataの中です。先週日本語版Tesseractを入れているので、下記には日本語認識に関わるファイルが存在している状態です。

各ファイルは以下のように関係しています。

jpn.traineddata：日本語

jpn_vert.traineddata：日本語（縦書き）

Japanese.traineddata：日本語

eng.traineddata：英語

osd.traineddata：文字の方向の判定

ここで日本語と英語のファイルをちょっといじってみます。Archivematicaでは英語だけを処理するように設定されているので、こっそりeng.traineddataの中身をjpn.traineddataにすり替えてテストしてみます。とりあえず、元のデータがなくなるとまずいので、eng.traineddata.originalにしておきます。

次に、eng.traineddataの中身をjpn.traineddataに入れ替えます。

このあと、Archivematicaに日本語文書のJPGファイルを入れてingestしてみます。

以下の画像をingestしました。

ingestしたJPGファイル

Transcriptionのマイクロサービスでは、Yesを選んでください。

結果は〜〜〜以下のように日本語を認識してくれました！

OCR認識で出力された結果

師匠ありがとうございます！これでTesseractの仕組みが少し理解できました！

今度は、ArchivematicaのPreservation planning からcommandを変更してみましょう。どちらかというとこちらが正式な方法です。先いじったファイルは元の状態に戻してから試してください。

Preservation planningでは、コマンドやルールの変更・追加ができます。マイクロサービスで行われる処理の中で正規化（Normalization）のようにルールが必要なタスクについては、行う処理内容をコマンドで書いて、実行する対象と結びつけます。これが、ルールというわけですね。

OCRの処理はTranscriptionのマイクロサービスで行われますので、TranscriptionのCommandを変更してみます。

関連マニュアルはここ↓
https://www.archivematica.org/en/docs/archivematica-1.13/user-manual/preservation/preservation-planning/#transcription-commands

以下が、Transcriptionのコマンドを変更する画面です。


上記のCommandの最後に　-l jpn を追記しました。languageをjpnにしてくださいというコマンドです。試した結果……成功しました！（^^）/

では、次は縦書きも試してみます。

今度は以下のコマンドを最後に入れてみます。

-l jpn +Japanese_vert

これも成功しましたが、縦書きの認識率は少し低いです。でも7割程度は認識しているように見えます。

日本語関係の学習ファイルが2つあったので、以下でも試してみます。

-l Japanese +Japanese_vert

そうすると、以下のように結果が少し異なりました。

左：jpn  右：Japanese

Japanese.traineddataの場合は日本語と英語の学習用テキストを混在した状態で学習させた代物ということらしいです。また、出力結果に余計な空白が含まれる問題があるとのことです。（それで右のJapaneseで試した結果がああなったわけね…）

参考サイト

https://a244.hateblo.jp/entry/2018/06/20/200000

今日はここまでです！

今日は意外と順調に進みました。いつもこうだといいですね〜〜

================================

10月8日（金）19：00〜

やることは後日連絡です。ではまたね〜