こんにちは。SREホールディングス株式会社でエンジニアをしております、クマカワです。この記事では、Amazon S3のライフサイクルルールに関する情報をまとめたいと思います。過去、バージョニング有効のS3バケットに大量のオブジェクトを置いていました。コスト削減目的でライフサイクルルールを導入することに。サクッと設定・確認できるかなと思っていたら、「削除マーカー」なるものが現れたり、削除されるはずがされなかったり、困惑した経験から得た知識を共有します。 対象読者バージョニング有効のS3バケットにおいてライフサイクルルール適用したい方、苦戦している方期限切れ削除マーカー削除のル...

はじめにSREホールディングス株式会社データサイエンティストの恒松です。Python、画像処理を用いた開発をしています。今回は、Image Captioning(画像キャプション生成)を用いて写真から短歌を生成するAIを作ってみました。 生成結果西荻窪のピンクの象の写真から、「天井から 白き象たち 舞い降りて 軽やかに添う 店の夢模様」という短歌が生成されました。 使用した技術Image CaptioningLLavaを用いたキャプション生成翻訳Google 翻訳Python deep_translator大規模言語モデルOpen AI ...

SREホールディングス株式会社のエンジニアの木津です。さて、2024年のノーベル物理学賞は、米プリンストン大学のジョン・ホップフィールド氏とカナダのトロント大学のジェフリー・ヒントン氏への授与が発表されました。授賞理由は「人工ニューラルネットワークで機械学習を可能にした基礎的発見と発明」。選考委員会は記者会見で「2人が貢献したAIの技術革新と発展は、他の物理学も大幅に進化させている」とも評価しています。AIの基礎研究はたくさんありますが、今回は物理学賞ということもあり、本記事では、ニューラルネットワークに関する両氏の論文で提案された理論のアイデアと、物理理論とのアナロジーを取り上げ...

こんにちは、SREホールディングス株式会社にてデータサイエンティストをやっております吉田です。本記事ではMetric Learningを用いた階層型の学習について、背景や実験を交えて紹介します。 対象読者階層的なMetric Learningに興味のある方OpenMMlab(mmpretrain)でSupervised Contrastive learning、Hierarchical Multi-Label Contrastive Learningがしたい方 背景 Metric LearningMetric Learningでは特徴量の学習を通常のクラス分類では...

SREホールディングス株式会社 でデータサイエンティストをやっている井上です。私は、新NISAを活用するにあたって個別株投資も行っているのですが、銘柄選びのための企業分析をするにあたって毎回、企業のHPから有価証券報告書のPDFを持ってきて財務指標などを確認していました。この作業は毎回手間と時間がかかりとても大変でした。。。そこで、必要なデータを効率的に確認できないかと思って調べたところ金融庁が提供しているEDINETというシステムを発見しました。こちらのシステムを活用することで企業の財務データ等を自動で収集し、統一されたフォーマットでの一元管理を行えるようです。今回はEDINETか...

SREホールディングス株式会社でプロジェクトマネージャ（PM)をしている鍋谷です。システム開発で最も難しいのは、実現したい仕様を決めることだと思っています。それはさまざまな組織や人の思惑がぶつかり、仕様が発散するリスクをもっているからです。そのぶつかる工程が要件定義です。この記事では、私がこれまで経験してきたシステム開発から学んだ要件定義の重要性と仕様決定者へのアプローチ術について詳しく解説します。 対象読者・システム開発のプロジェクトマネージャ・お客様とシステムの仕様を調整するシステムエンジニア・コミュニケーションスキルを向上させたい人 要件定義の重要性要件定義は...

はじめにSREホールディングス株式会社にて、ソフトウェアエンジニアをやっております、叶です。2023年10月にGoogleが発表した「メール送信者のガイドライン」により、Dmarcを対応するプロダクトが増えてきて、どうやって監視するのか課題になり、AWSを利用して、SlackでRUAレポートを監視する仕組みを作ってみました。 対象読者AWSとDmarcの知見がある方Google送信ガイドライン対策で、AWSを利用して、監視したい方 Google送信ガイドラインにおける監視する内容DmarcのRUAレポートPostmaster Tools DmarcのR...

こんにちは。SREホールディングス株式会社の西野です。SREでは主に画像認識案件のPLを担当しています。案件推進の効率化目的でbokehを使った可視化用webアプリを開発したので、その紹介です。 概要 作ったもの今回開発したwebアプリは以下のようなものになります。!本記事で表示しているデータはkaggleコンペ：ISIC 2024 - Skin Cancer Detection with 3D-TBPのデータセットになります。皮膚がんに関する各病変（良性/悪性）の画像と、それに関連するメタデータ（病変サイズや診断結果など）がセットになったデータセットです。各患者...

SREホールディングス株式会社のデータサイエンティスト、北川です。今回はJetson Orinに接続したRealsense D456をDockerコンテナ内で使用するための手順をまとめました。このガイドは、DockerやPythonの基本的な操作に慣れている方を対象にしていますが、初めて触れる方でも理解できるよう、背景や関連技術についても簡単に説明します。この記事を通じて、コンテナ内でカメラで撮影したビデオフレームを取得し、扱えるようになることを目指しています。 背景Jetson OrinにRealsense D456カメラを接続し、pyrealsense2ライブラリを使用してカメ...

はじめにSREホールディングス株式会社でエンジニアをしております、加藤です。最近プライベートでモバイルアプリを開発する機会があり、Flutterを使用してみました。実際に使用してみて最初に知っておきたかったことや、こうしとけばよかった点などをFlutterの概要も併せて紹介させていただきたいと思います。 対象読者モバイルアプリを開発してみたい人モバイルアプリの技術選定で悩んでいる人Flutter初学者 なぜFlutterを選ぶのか？Flutterを選ぶ理由としては大きく分けて下記に示す4つあると思っています。クロスプラットフォームのフレームワーク通常の...

はじめにSREホールディングス株式会社のデータサイエンティスト、北川です。先々月、JSAI2024が開催されました。今回は弊社の北川が現地視察してきましたので、会場および展示ブースの様子をご紹介します。 JSAI概要 開催概要JSAIは、1年に1度国内の人工知能（AI）研究者が集う場であり、情報収集、情報発信、ネットワーク形成、採用・就職活動が行われます。画像などの特定の分野に限らず、幅広い分野の発表があります。 会期場所：アクトシティ浜松日程：2024年5月28日(火)〜31日(金) 会場の様子JSAIには多くのセッションがあり、今回は30日と...

SREホールディングス株式会社でエンジニアをしています天海です。機械学習では、データやモデルを変えて実験することが多く、過去の実験データを同じストレージ内に様々なファイル名で保存することがあります。このような方法を取ると、管理するファイル数が増加し、実験結果などのファイル管理が困難になることがあります。そこで、データ管理ツールであるData Version Control（DVC）を分析環境に導入することを検討しました。分析環境はEC2上に構築することが多いのですが、最小限のアクセス権であるIAMロールを付与した環境を構築したいため、DVCを実際に動作させながら、データ管理に必要な最...

こんにちは。SREホールディングス株式会社で新卒2年目エンジニアをやっております田城です。業務でFastAPIを使っていて、各エンドポイントのコールバック定義ってasyncをつけて良いんだっけ？良くないんだっけ？みたいな話になりました。結局、非同期の処理にはasyncをつけて、そうでない処理にはつけないほうが良い、となりました。しかし、実際つけないとどういう動作をするんだっけ？同時動作数を制限する方法はあるのか？というのが気になったので、実際に色々なライブラリのソースコードを読んでどういう実装になっているのかを追いました。 対象読者FastAPIのコールバックを asyn...

はじめにSREホールディングス株式会社にて、ソフトウェアエンジニアをやっております、叶です。今回はフロントエンド(React)のライブラリreact-form-hook yup 組み合わせて使うことによって、画面のvalidationとstate管理を楽にする方法を紹介いたします。 対象読者Reactを用いて、フォーム開発を楽にしたい方 使用したライブラリ(React)react-form-hook(7.49.3): フォームを管理するライブラリです。yup(1.2.0): Jason Quense氏が開発している、バリデーションのためのライブラリです。...

こんにちは。SREホールディングス株式会社データサイエンティストの岡林です。データ分析、機械学習の前処理では通常pandasを使用していますが、データ数が増えてくると処理時間が気になることがあります。少し前から話題になっているpolarsを使用すると、pandasよりも速く処理ができそうなので、実際に試してみます。 TL;DRpolarsはpandasより、概ね数倍〜十倍程度速いデータのread/writeはcsvよりも、parquetを使用した方が速いライブラリの成熟度、安定性の面ではpandasが有利用途やシーンによって使い分けるのが良い。 動作環境M...

SREホールディングス株式会社でプロジェクトマネージャ（PM)を努めている鍋谷です。様々な事情でPMが交代することになった進行中のプロジェクト。そのプロジェクトにあなたが後任のPMとして就任することになったとき、あなたはどうしますか？この記事では、筆者の経験に基づいて、進行中プロジェクトの後任PMの立場になったとき、どういう心構えで何をしたらよいのかをお伝えできればと思います。 対象読者・進行中のプロジェクトの後任PMになった人・プロジェクトの引継ぎに関心がある人・プロジェクトマネジメントのスキルを向上させたい人 前任PMから業務を引継ぐ最初にすることは、前任のP...

SREホールディングス株式会社 でソフトウェアエンジニアをやっている釜田です。近年、Webアプリケーション開発者にとって、コンテナの起動や停止のためにDockerコマンドを用いることが一般的になりましたが、その背後の仕組みについてご存知でしょうか？実は、コンソールからDockerコマンドを実行した裏側で、コンテナランタイムがコンテナの作成や起動を行っています。今回はそのようなDockerの裏側について紹介するとともにコンテナランタイムを直接動かしてコンテナを作成、起動してみようと思います。今回紹介するコンテナランタイムの役割と機能についての理解を深めることで、今後より適切なコンテ...

SREホールディングス株式会社の松本です。プロダクトはリリースしてからが始まりで開発し続けることが当たり前の時代、ソフトウェアは変更や拡張に強く設計しなければなりません。クリーンアーキテクチャはそんな設計を実現する方法の1つですが、名前は聞いたことはあるけど実践したことはない、なんだか複雑で難しそう、という印象を持っている人が多いのではないでしょうか。クリーンアーキテクチャを詳細に説明している記事は数多くありますので、本記事ではクリーンアーキテクチャを触ったことがない方に良さが伝わるように、やさしく噛み砕いて説明してみようと思います。 対象読者クリーンアーキテクチャをこれから...

SREホールディングス株式会社エンジニアの木下です。ChatGPTで日本語を処理する際のコスト削減に向けた工夫のひとつにプロンプトの英訳（英語訳/日本語を英語に翻訳）があります。本記事では、プロンプトを英訳すると、どの程度のコスト削減になりそうか、実例を用いて見てみたいと思います。 対象読者コストを抑えたChatGPT利用を考えているかた トークン数はtiktokenというライブラリで調べられるトークン数はtiktokenというライブラリを用いて調べることができます。https://github.com/openai/tiktoken利用したいモデルで使われているエンコ...

SREホールディングスでエンジニアをしています鎮目です。今回は、すでに業務で利用しているスプレットシートに対しCSVを取り込んで書き換えを行うといった作業があったため、初歩的な内容ではありますが、そのなかで行った作業を紹介致します。 前提スプレットシートがすでに業務で利用されているスプレットシートにGoogle Apps Script(以下GAS)のonEditイベントが設定されており、書き換えを行った際もそのイベントの実行が必要作業時間が限られているため、GASのイベント内容をスプレッドシートの書き換えを行っているプログラムに移行ができないスプレッドシートの書き換えはP...