jq -s 'add | length' ./*.json でいける。
$ cat a.json [1, 2, 3, 4] $ cat b.json [5, 6, 7, 8, 9] $ jq -s 'add | length' ./*.json 9
-s は --slurp の略らしい。
-s, --slurp read all inputs into an array
以下のように挙動を追うとよく分かる。
$ jq '.' ./*.json
[
1,
2,
3,
4
]
[
5,
6,
7,
8,
9
]
$ jq -s '.' ./*.json
[
[
1,
2,
3,
4
],
[
5,
6,
7,
8,
9
]
]
$ jq -s '. | add' ./*.json
[
1,
2,
3,
4,
5,
6,
7,
8,
9
]
$ jq -s '. | add | length' ./*.json
9
とある事情により産業用のプロトコルを喋るコードを書く必要があり、そのライブラリがPython向けにしか提供されていないというケースに出くわした。普段はPerlとTypeScriptのみで生きていて、ときどきGoを触ったりRubyを触ったりシェルスクリプトを触ったり……という感じでPythonは数年前にVimのプラグインを書くのにちょろっと触ったくらい。記憶としてはなんかインデントに意味があったはず、くらいが残っている状態。
教科書的にいうと公式ドキュメントのチュートリアルなどから入って書き方を学びつつREPLで試しましょう、GitHubなどで公開されているコードを読みましょう、といったコースが王道だし丁寧にやっていくならそうなるでしょうと思う。しかしだらだらと勉強から始めていたら成果を出せない、品質はホットモックレベルでいいからとにかく高速に物を作りたい、といったときにこれをなぞっていると足が遅い。そういうケースでこうやったぜ的なTipsを書いてみる。主に作りたいものが決まっている人向けRTAテクといえる。
今回はPythonにフォーカスしているので必ずしも普遍的ではないが、まあまあ他のオブジェクト指向っぽい言語でも流用できるのではないかとは思う。どうでしょう。他の言語を学んでいるかとかのバックグラウンドにもよりそうなのでかなり限定的なポジショントークかもしれない。
というわけでこまごま書いてみた。みんなやっとるで、というものばかりだけど、最低限これくらいおさえたらあとは流れで物を作ることはできた。他の人は新しい言語で爆速に物を作りたいときにどこを見ているのかはやや気になる。
手順通りにやったらなんとかなったのでわくわく要素は無。
個人のSlackのmastodonチャンネルに4.1.1の情報が流れてきたので更新した。4.1.0が出てから運用を開始したので初のアップデート。手順はリリースノートの通り。
どうせ自分しか使っていないので一旦サービスを落とす。
$ sudo systemctl stop mastodon-*
Mastodonユーザになってアップグレード
$ sudo su - mastodon $ git fetch $ git checkout $(git tag -l | grep -v 'rc[0-9]*$' | sort -V | tail -n 1) $ bundle install $ yarn install $ RAILS_ENV=production bundle exec rails db:migrate $ NODE_OPTIONS="--openssl-legacy-provider --max-old-space-size=2048" RAILS_ENV=production bundle exec rails assets:precompile
ついでに apt update && apt upgrade とかで依存も更新しておく。依存を更新したらrebootしたくなるのでそうした。systemd上はenableされているので再起動後にMastodonのservice群は勝手に立ち上がる。
リリースノートにはDBのバックアップを用意するといいぞいって書いてあるけど自分しか使ってないしいいかとおもってなにもせずに更新した。いずれにせよマネージドなPostgreSQLを利用しているので日次でスナップショットが撮られていて便利。
ついに明後日はYAPC::Kyoto 2023ですね。自分は明日の前日祭からスタッフをやっているので来場されるみなさま一緒にわいわいしましょう。
割とn番煎じっぽい小ネタ。このブログは自分用メモみたいなところがあるのでそういうものです。
SSHでログインされたらSlackに通知したい。誰かが入ってきたら分かるようにしたい。コンテナ化された現代の開発ではSSHログインされるサーバがまずなかったりするわけだが、個人がお金をケチって運用しているとまあある。というかこれです。
ホストへのSSHログインがあった場合にそれをトリガーとしてコマンドを実行するには /etc/pam.d/sshd に
session optional pam_exec.so PATH_TO_BIN
の1行を足せば良い。PAMはLinuxにおける認証まわりをよしなに扱えるようにする仕組み。configに書いてある行を評価していってログインの成否を決める。sessionはユーザ認証の前後あたりで実行するモジュールを指し、optionalとすることで、以降の成否が認証の成否に影響を与えないようにする。つまりコマンドがコケても無視するというところ。このあたりは man pam.conf を眺めておけば分かる。
pam_execを利用するといくつかの値が環境変数に設定された状態でPATH_TO_BINの実行ファイルが実行される。こちらは man pam_exec を眺めれば分かる。具体的には
the following PAM items are exported as environment variables:
PAM_RHOST, PAM_RUSER, PAM_SERVICE, PAM_TTY, PAM_USER and PAM_TYPE, which contains one of the
module types: account, auth, password, open_session and close_session.
とのこと。これを読みつつPATH_TO_BINの中身は実際には以下のようなシェルスクリプトにしている。
#!/bin/sh if [ "$PAM_TYPE" != "close_session" ]; then echo "$PAM_USER logged in to $(hostname) from $PAM_RHOST" | /opt/bin/notify_slack; fi
/opt/bin/notify_slack はcatatsuyさんが作られているプロダクトで、この実行ファイルをポン置きしたもの。
設定はこのドキュメントに書いてある通り、事前にAppを作ってIncoming Webhookを払い出して /etc/notify_slack.toml に置いている。Slackに投稿する部分はcurlなどで書くと煩雑になるので、標準入力で渡せば適当に流してくれるのはありがたい。
ということで、ここまで設定するとSSHログイン時に以下のような通知がSlackへ送られてくる。
SSHログイン時だけでなく単純なユーザのログインなどもトリガーにできるので、デスクトップLinuxでもいろいろ遊べそう。
最近、ISUCON*1の練習でもしようかな〜と思いAWSに環境を立ち上げることにした。これまでは有志で作られていたTerraformの定義をありがたく利用させてもらっていたのだが、AWSだしCDKで立ち上げられると便利だよな〜という思いがあり定義を書いた。
ここ2年くらい天下n品というチームでISUCONに参加していて、ときどき練習もしている。なのでこの中で使えるといいなと思って天下n品のorgに置いておいた。
以下のような手順で練習環境を立ち上げることができる。Ed25519の公開鍵をEC2に送るので、デプロイ前にrepoの直下に配置しておく。もし持っていなかったら作る必要がある。
$ git clone git@github.com:tenka-n-hin/cdk-isucon.git $ cd cdk-isucon $ npm i $ cp $HOME/.ssh/id_ed25519.pub ./ $ npm run cdk deploy isucon9q -- --profile YOUR_AWS_PROFILE
各環境(ISUCON9予選とかISUCON10予選とか)がそれぞれひとつのStackとなっていて、何も指定せずにデプロイすると全環境を立ち上げようとするので注意。デプロイできるStackは cdk ls で確認できる。
$ npm run cdk ls > cdk-isucon@0.1.0 cdk > cdk ls isucon10q isucon11q isucon8q isucon9q
いまのところ8から11の予選に対応している。本戦の定義は単に面倒で追加してないだけ…… 12は公式にCloudFormationの定義が配られているのでそちらを使うのがよさそう。
なお、AMIはmatsuuさん(
id:tmatsuu)が管理されているmatsuu/aws-isuconを利用している。いつもお世話になっています。自前のAMIに変えたい場合は cdk.json に定義があるのでこれを書き換えれば良い。
他にも cdk.json の中で実際の予選で使われたのと同等のインスタンスタイプを指定していたり、optionalでセキュリティグループの開放ポート設定を行えたりする。詳しくはコードを読んでください。TypeScriptだしコード量も少ないので読みやすいはず。
というわけで、8から11の予選を立ち上げたい場合はどうぞご利用ください。
ところでcdk-isuconを書いた結果、環境を立ち上げるので満足してしまってまだ練習はできていない。がんばろう。
*1:「ISUCON」は、LINE株式会社の商標または登録商標です。この記事は「ISUCON」を運営するLINE株式会社とは一切関係ありません。 https://isucon.net
