最近の弊社では、久々に検証機材の近代化を行っている最中です（それでも安〜い中古ですが……）。そうすると、サーバーラックからは古い機材が押し出されて、素直に廃棄をしたり、お知り合いで古くても欲しいという方がいればお譲りしたりしています。 今回押し出された機材は、Dell R620やHPE DL360p Gen8といった、Xeon E5-2600 V1/V2世代です。CentOS Stream 10では残念ながらサポートが打ち切られてしまいますが、おそらく数年くらいなら、まだちょっとくらいは遊べそうです。今回もお知り合いからの引き合いはあるとのことだったので、お譲りできるように機材の調整と、iDR…

新しいサーバーにOSをインストールする必要がありました。最近は社内サーバーをMAASで管理しているので、基本的にはMAASでデプロイします。しかしMAASで使っているネットワーク以外を利用したい場合、管理下から切り離して後は何らかの方法でOSのデプロイなどを実行することになります。 コロナ禍以前はオフィスに出社していたので、サーバールームに行ってDVDメディアかUSBブートでインストーラーを起動してOSセットアップという芸当ができましたが、引っ越ししたのもあって在宅ワーク中心になった現在はその方法は取れません。 大抵のサーバーにはリモートコンソールがあって、何らかの方法でイメージをマウントして…

先週、ビルの保守点検のための停電があって、いくつかのインフラがその影響を受けたのですが、個人的な雑多な検証のために使っていたLinux KVMサーバーのホストOSも起動しなくなってしまいました。 そこで、社内で使っているLinux KVMサーバーを更新することにしました。 古いサーバーの方はお願いしてUbuntuをライブブートしてストレージをマウントしてもらって、そこからqemuファイルと/etc/libvirt/qemuのあたりにあるxmlファイルを新しいサーバーにコピーし、Linuxブリッジも作成して さあ起動だと思ったら、ほとんどのVMはそれだけで済んだものの、一つのVMだけ起動せずにエ…

MAAS 3.5がリリースされました。MAAS 3.5ではpacker-maasでイメージを作って動かすことができるディストリビューションのいくつかを正式にサポートしたのもあって、リリースされたら早速試そうと思っていました。 MAAS | Reference: Release notes MAAS 3.5 リリースノートによると、イメージの保管方法が変わった（データベースからリージョンコントローラーのパスへ）こと、 その変更によるイメージの同期が高速化されたこと、Soft Power Offのサポート、Oracle LinuxのサポートがStableになったこと、Ephemeral OS de…

一つ前の記事でProxmoxの話題を取り上げました。 tech.virtualtech.jp 社内でProxmoxはLXCコンテナーが使えて超便利という話を伺ったので、早速試してみました。 Proxmoxでは作成したLXCイメージをアップロードして利用するほか、「テンプレート」というものが用意されていて、全くゼロの状態からProxmoxでコンテナを使えるようになります。 テンプレートは色々なLinuxディストリビューションが用意されています。 仮想マシンと比べて気軽に作って使えるのでアプリケーションの動作確認とか、一時的にLinux環境を使いたい時とかに便利ですね。 ちなみにアクセスについては…

VMware vSphere代替探索ということで、前回はXenServerを触ってみました。 tech.virtualtech.jp 今回はProxmoxを触ってみます。 Proxmoxの概要 ProxmoxはDebianベースのLinux KVMベースの仮想化プラットフォームソフトウェアです。 GUIを使った仮想マシン管理ができる点は、ESXiをWebクライアントで操作している感じに似ています。 特別なソフトウェアをインストールすることなく、ブラウザーだけで仮想マシン環境の管理ができる点が優れています。 有償ライセンス版もありますが、無料でも利用制限なく利用できます。 インストーラーは専用の…

相次ぐ値上げラッシュ ニュースを見れば、頻繁に何かが値上げする話題が取り上げられています。 原材料の高騰がきっかけとして色々なものが値上げ値上げのオンパレードです。 その上円の価値も落ちているため、ドル換算だと値上げをしていないようなものも、今買うと割高な印象を受けます。 例えばスマホとかタブレットとか.. （あえてこう言いますが）VMwareの値上げラッシュも大変ですよね。つい最近もこんなニュースが飛びこんできましたし。 https://xtech.nikkei.com/atcl/nxt/column/18/02864/061200003/ VMwareのライセンス価格の高騰をきっかけとした…

先に結果 MAAS 3.3.6で、Ubuntu 24.04 LTSのデプロイが問題なくできるようになったのを確認しました。 Ubuntu 24.04LTSがリリースされた当初はまだデプロイできませんでした。これでようやくMAASでもUbutu 24.04ベースの検証ができます。 使い方 MAASのイメージ管理画面に遷移して、Ubuntu releasesとして「Ubuntu 24.04 LTS」を選択、Architectures for 22.04 LTSとして「amd64」を選択します。 あとはデプロイしたノードを選んでデプロイするだけです。 次のように、Ubuntu 24.04 LTSをデ…

MAASにはLinux KVM hostをデプロイしてMAASの管理下に加える機能があります。このブログでも何度か取り上げています。 具体的に何をするかというと、MAASの画面からLinux KVM環境をセットアップして、そのLinux KVMホストで仮想マシンを作成し、その作った可能マシンにMAASでOSをセットアップしたり、固定のIPアドレスを払い出したりみたいなことができます。MAASを使えばOSのセットアップからLinux KVMの環境までを自動化できます。 デプロイしたLinux KVM環境はMAASによってリソース監視されます。作った仮想マシンは環境がいらなくなったらリリースできま…

2024年4月25日、Ubuntu 24.04 LTSがリリースされました。 筆者はUbuntu 24.04 LTS + Cockpitを自宅の次期仮想マシンプラットフォームにする予定で、先日ベータ版を利用して紹介記事を書いたのですが、この記事では自己署名証明書をそのまま利用していました。そこでこの記事の補完ネタとして、Let's Encryptで正規のSSL証明書を取得し、Cockpitから利用する方法をここで紹介します。 CockpitはLAN内で運用する上、SSL証明書の取得のためだけにポートを開きたくはないため、DNS-01チャレンジを使用します。またDNSサーバーとしてはAWSのRo…

何気なしにLXD環境があるOSをアップデートをして、再起動をしたら、いつまで経ってもLXDが起動しなくなってしまいました。しかしこれはOSC（ https://ospn.jp ）のWebサーバーなので、呑気なことも言ってられず、なんとかすぐに治す必要があります（何気なしにアップデートするな、それはそう）。結果としては20分ほどで解決はできましたが、今日のヒヤリハットでした……。 現在の環境 LXDホストはUbuntu Server 20.04上にsnapで導入しており、CentOS 7 x 1台、Ubuntu Server 20.04 x 2台の計3VMが動いています。トラックはlatest/…

MAASはこのブログでも何度か取り上げたように、ベアメタルプロビジョニングを実現するツールです。わかりやすく言うと、パソコンやサーバーを用意したら、アプリケーションを実行するために何らかのオペレーティングシステム（OS）をインストールします。普通はOSのイメージをCDとかUSBメモリーとかに用意してインストールするのですが、管理するマシンの台数が増えてくるとその方法は効率的ではありません。そんなときに使うのがプロビジョニングツールです。 MAASはOSのデプロイの他、ノードのテスト、サーバーのIPアドレスマネジメント、ストレージやNICの構成変更等もMAASから行えます。 MAASはUbunt…

MicroStackとはなにか MicroStackとは、プライベートクラウドソフトウェアであるOpenStackをラップトップやベアメタルサーバーに簡単にセットアップできるソフトウェアです。シングルノードで動かしたり、マルチノードにも対応しています。 Kubernetesに対してMicroK8sというものがありましたが、そのOpenStack版がMicroStackというわけです。 現在のMicroStackはベースにMicroK8s、その上にMicroStackベースのOpenStackが載る形になるので、双方の基礎的な理解が必要になります。まあでも勉強にはなります。 最近VMwareが無…

PythonのvenvをActivateするときに、いちいちsourceコマンドでパスを書いてactivateするのは面倒なので、以下のような関数を作成して~/.zprofileに入れて運用しています。venvは~/pyディレクトリにまとめてあるので、そこにあるディレクトリ名だけ指定すればactivateできます。指定された名前がなければ新規作成します。 function venv_activate(){ if [ ! -d ~/py/$1 ] ; then virtualenv ~/py/$1 fi source ~/$1/bin/activate } これはこれで便利ですが、名前を思い出せ…

これまでもこのブログでJuju + MAASを使ったOpenStackの構築方法について定期的に取り上げていましたが、 今回久しぶりにJujuでOpenStackをセットアップしたので、参考にした情報とかハマったところとかを共有するためにブログに書いてみます。 JujuとOpenStack Juju はCanonicalが中心となって開発しているデプロイツールです。 Jujuは「Cloud」に対してマシンの作成、アプリケーションセットアップ、セットアップしたアプリケーションの管理を管理できるツールです。 オンプレ環境でOpenStackをJujuで構築する場合、同じくCanonicalのMAA…

containerdはKubernetesに対応するコンテナランタイムの一つです。 containerdにはctrというCLIインターフェースがあり、これを使ってコンテナの実行やイメージのPullなどができるのですが、Dockerのそれとはコマンド操作に互換性はありません。 しかしnerdctlを使うと、ほぼDockerと変わらない操作性でコンテナの運用ができるようになります。 実際Rancher Desktopでランタイムをcontainerdにすると、nerdctlを使って同じようにコンテナ操作ができるので手っ取り早く試してみたい方はRancher Desktopをインストールして試してみ…

NVIDIAのGPUのH100、A100、A30にはマルチインスタンスGPU（以降MIG）という機能が実装されています。 かつては専用ソフトウェアを使って1つのGPUを複数のGPUがあるかのように見せて、対応するアプリケーションで使うことができましたが、 先に挙げたGPUであれば追加ソフトウェア導入の必要なく、複数のインスタンスでGPUが使えます。 https://www.nvidia.com/ja-jp/technologies/multi-instance-gpu/ MIGをDockerで使ってみる 環境のセットアップ MIGをDockerで使うには、まず、OSにDocker Engine…

今回はMicroK8sでPG-Stromコンテナを動かしてみようと思います。 MicroK8sはこのブログで何度か取り上げたように、Kubernetesクラスターを簡単にセットアップすることができるツールです。 microk8s.io PG-StromはPostgreSQLデータベースの拡張機能です。GPUやNVME-SSDなどを利用して、主にバッチおよび分析ワークロードを高速化することを目的としたソフトウェアです。 github.com 今回はMicroK8sでKubernetesを動かし、PodでGPUが使える環境をセットアップした上でPodでPG-Stromを動かしてみようと思います。 …

今回のネタは以前同じような記事を書いたので、そのアップデート版です。 次の記事も併せてご覧ください。2019年ごろの記事です。今もだいたい通じます。 tech.virtualtech.jp さて、本題に入る前にそれぞれざっくり説明します。 MicroK8sとは MicroK8sとはUbuntuを開発するCanonicalが開発しているKubernetesクラスターを簡単にセットアップできるツールです。次が公式サイトで、一般的なx86PCやサーバーからRaspberry PiのようなARMボードなどでKubernetesクラスターを作成できます。 microk8s.io [追記] MicroK8…

注: PG-Strom 5.x以降のバージョンのPG-StromをUbuntuで動かしたい場合は、CUDA 12.2以降のバージョンをインストールしてください。この注を書いた2024/06/14時点ではCUDA 12.5.0が最新版であり、Ubuntu 20.04や22.04は対応していますがUbuntu 24.04は対応していません。 PG-Stromとは PG-StromはCUDA、GPUとGPUDirect Storage対応したストレージを組み合わせて使うことで、 PostgreSQLの処理をスケールさせて高速化するソフトウェアです。 また、PG-StromでApache Arrow形…

「PG-Stromのパッケージング化」がお題となったため、去年末くらいに検証したDocker/PodmanといったようなコンテナーでPG-Stromを動かす方法 に次いで、AnsibleでPG-Strom環境構築の自動化する方法について調査することにしました。 今回はRed Hat Enterprise Linux 8.6とRocky Linux 8.7に対応する形にしました。RHELは偶数バージョンのみサポート期間が長いという特性があるので、バージョン8.6にしています。今後も偶数バージョンがリリースされるごとに対応する予定です。 Rocky LinuxはRHELクローンのひとつですが、CU…

現在取り組んでいる仕事で、かなり大きいサイズのデータベーステーブルを作る必要がありました。正直言ってそれを簡単に作る方法はいくつかあるのですが、テーブルのフィールド（表計算ソフトで言うところのセル）に乱数が入っていたり、aとかbとかcとかいう適当な文字列が入っていたり...といったようなデータは用意できるのですが、それをSELECTしてもなんか面白くありませんし、そのデータを使って集計処理とか色々するにもちょっと都合が悪いので、PostgreSQLに簡単にラージサイズのテーブルを作るものを作ってみました。 データベースとテーブルの作成 データベースを作成して、それに切り替えます。 =# CRE…

Tableau Desktopはビジュアル分析ツールです。 ドラッグ＆ドロップ操作でデータをグラフ化してデータの分析をサクッとできる点が魅力です。 CSVファイルやExcelファイルといったようなローカルファイルデータの他、商用版であるTableau Desktopでは様々なデータベースの接続をサポートします。 www.tableau.com 今回Tableau Desktopを利用できる機会があったので、PG-StromがセットアップされているPostgrSQLノードに接続してみました。 接続の流れ まず、PostgreSQLコネクターのページを確認します。 ここで重要なのは、PostgrS…

Macで動くmacOS 13（Ventura）以降とApple Siliconチップ（執筆時点だとM1やM2）の組み合わせを使うと、「Rosetta for Linux」を使えるようになります。ここでいうRosettaとはApple Siliconチップの上でIntel CPU向けアプリを動かすことが可能なRosetta 2のことを指しており、この機能はそれをVMで使ってしまう技術です。 Macでもフリーで使えるVirtualBoxは活躍してくれていましたが、VirtualBoxはx86をエミュレートするソフトウェアであり、Apple Siliconチップには対応していませんでした（現在はM1…

Kubesharkとは 図は公式 より抜粋 KubesharkはKubernetesのための観測性・監視ツールで、マイクロサービスの動的解析、異常の検出などを実現するツールです。 Wireshark、BPF Compiler Collection（BCC）ツールなどを組み合わせた、Kubernetesを意識したものとお考えください...と説明されています。 Kubesharkは、クラスタ内の一部またはすべてのTCPトラフィックをスニッフィングし、PCAPファイルに記録し、HTTP1.0, HTTP1.1, HTTP2, AMQP, Apache Kafka, Redisなどのアプリケーション層…

最近、急に耳が良くなったのか、スピーカーの「サー」っというノイズが気になるようになりました。「FX-AUDIO D802J++ ノイズ」で検索するとACアダプタを変えたら改善されたとかされなかったとか。ある程度はしょうがないのかなっと思いつつ色々調べてみると、電源とアンプの間に挟むノイズフィルターというのもあるんですね。同じメーカーの「Petit Susie」と「Petit Tank」を買ってみることにしました。 FX-AUDIO Petitシリーズ？？？ store.shopping.yahoo.co.jp Petit Susieはノイズクリーナー・ノイズフィルターで、電源装置からの出力に含…

去年くらいからVTJのプロジェクトとしては「爆速DB」というプロジェクトで、DBの高速化の技術について検証をしています。 PG-Strom はPostgreSQLの拡張モジュールであり、データ分析やバッチ処理のために SQL ワークロードの GPU アクセラレーションを可能にするという技術です。GitHubでオープンソースで開発されており、インストール方法などは公式のドキュメントサイトにまとめられています。 コンテナで動かしてみようと思ったきっかけ GitHubのIssueに、「コンテナでPG-Stromが動いたらいいよね」と言ったようなリクエストがされていました。 Official Dock…

Fluentdとは Fluentdについて調べると、様々なデータの収集を統一できるオープンソースのデータコレクターといったような説明が出てきます。イベントログ、アプリケーションログ、click streamの分析に使用できるツールとの説明も見つかります。 click streamとはWebサイトの閲覧者が訪問してからそのサイトから離脱するまでの間にどのコンテンツをどのような順序で遷移したかを記録したデータのことを指します。 Fluentd Architecture (公式サイトより引用) さまざまな形式のログをFluentdで処理して、Fluentdに対応するソフトウェアと連携することで監視ソ…

2022年10月21日(日本時間)、Ubuntu 22.10 Kinetic Kuduがリリースされました。 主な変更点についてはリリースノートを参照して頂きたいのですが、一般的なユーザーにとって影響するであろうポイントは、SSHサーバーがsystemdのSocket-Based Activation経由で起動されるようになった点でしょう。 wiki.ubuntu.com この変更は、SSHサーバーの待ち受けポートを変更したい場合に影響があります。従来であれば/etc/ssh/sshd_configを直接書き換えていましたが、Ubuntu 22.10ではsystemd.socketのUnitフ…

私はアプリケーションや環境構築のテストをするときにOpenStackインスタンスの上で実行するのをよくやります。 単純なアプリケーションを実行したり、kubeadmなどを使ってKubernetesクラスターを動かして色々な実験をしたり、DockerやPodmanコンテナーでアプリケーションを動かしたり様々です。 MIRACLE LINUX 8.4がライセンスフリーになったこともあって、MIRACLE LINUXをコンテナーやOpenStackで使ってみたいなと思いました。 オフィシャルにはそのようなイメージは提供されていないので、今回はOpenStackイメージをハンドメイドで作ってみたのでこ…