はじめにこの記事で想定している読者の方:LangChainで簡単でもコードを書いたことがある人LLM chainについてざっくりと理解している人公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。stuff chainmap reduce chainmap rerank chainrefine chain今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてcha...

こんにちはへたれです。株式会社アイデミーでエンジニアとして、材料開発のためのデータ活用プラットフォームLab Bankを開発、運用しています。 はじめに現在Lab Bankグループではエンジニア5名体制で開発を進めています。フロントエンドはNext.js, バックエンドはFastify, インフラはAWSという構成です。しかし自分以外のメンバーではインフラの開発・運用が得意な方がいません...全員アプリケーションエンジニアです。自分がバスに轢かれるとサービス運用が立ち行かなくなります...そこでサービスの立ち上げから現在に至るまで、チーム全体にインフラの構成や運用を理解・...

はじめに - Juliaとはこんにちは。株式会社アイデミーでデータサイエンティストをしております中沢(X/Bsky)です。皆さんはJuliaというプログラミング言語をご存知でしょうか。Juliaは数値計算やデータ分析を志向した言語であり、Pythonのように簡単に書くことができ、Cのように高速に動作するものを目指した『欲張り』な言語として注目を集めています[1]。しかも、PyCallやPyPlotといったパッケージを通じてPythonのライブラリやツールをJuliaのコード内で直接利用できるため、Pythonの広範なエコシステムを高速なJulia環境で活用することができます[2]...

概要本書は、DVC(DataVersionControl)の利用方法を説明するものです。 背景・目的ソースコードのバージョン管理はGitが一般的ですが、Gitはサイズが大きいバイナリデータ(以下BLOB)の管理が苦手です。そのため、コードはGit、データはGoogleDrive、といったケースが多いのではないでしょうか?その場合、データはコードCodeと紐づくVersion管理を行っていないので、以下のような課題があります。実験の再現ができないデータの在処はGitリポジトリ見てもわからないDatasetのセットアップが手間 DVCとはDVCはデータのバー...

こんにちは。株式会社アイデミーでデータサイエンティストの米倉です。前回ご紹介したPyGWalkerに関連して、RATH（ラース、と読む）というツールが存在することを知りました。以下は前回記事のリンクです。https://zenn.dev/aidemy/articles/3aeea1470f1535実際にRATHを触ってみたのですが、今後のAI開発において有効なツールになるかもしれないと思いました。というわけで今回はRATHについてご紹介いたします。 データ分析の「次世代」に適応しよう！これまで機械学習やDeepLearningなどのAI技術において、データの質や量はとて...

はじめにこんにちは。株式会社アイデミーデータサイエンティストの中沢(X/Bsky)です。みなさまは複数の実験から集めたデータを分析する際に、実験間のバランスを取って要約・可視化したいと思われたことはありませんでしょうか。例えば、「アンケートデータとセンサーデータ」であったり、「官能評価と成分評価」であったり、質的に異なるデータをまとめて分析したいという場面はときどき出てくるかと思います。そのような場面で使える手法として、本稿では多因子分析 (Multiple Factor Analysis: MFA) を紹介します。 Multiple Factor Analysis (MFA...

はじめにこんにちは。株式会社アイデミーデータサイエンティストの中沢(@shnakazawa_ja)です。本記事ではAdversarial Random Forestsを使ったテーブルデータの生成について、RおよびPythonでの実装を紹介します。 Adversarial Random Forests (ARF) とはARFは2023年にProceedings of The 26th International Conference on Artificial Intelligence and Statisticsに採択された論文で提案された、テーブルデータに対して密度推定と...

はじめにJavaScriptのプロトタイプ理解してますか？classはプロトタイプのシンタックスシュガーであるみたいな記述を見たり、MDNのドキュメントでメソッドを調べるとprototypeが現れたり (e.g. Array.prototype.map) でなんとなく目にしますが、典型的なアプリケーション開発をしている分にはプロトタイプやclassの裏側を知らずに乗り切れてしまいます。しかしいざ必要になって[1][2]勉強してみたところ面白かったのですが、どこから勉強すればいいのか前後することになりました。[3]そこで、順番に読めるようドキュメントをまとめ、私の理解を残してお...

はじめにこんにちは。株式会社アイデミーデータサイエンティストの中沢(@shnakazawa_ja)です。本記事ではFacebook（現Meta）社が開発した時系列データ予測モデル Prophet を取り上げます[1]。ProphetはAnalyst-in-the-Loopを謳っており、モデルの出力結果を人が見てモデルに介入、改善するプロセスの簡便さを売りの一つにしています。しかし、論文では概念の提案に留まっており、具体的なループの回し方までは触れられていませんでした[2]。そこで、本記事では一度モデルを作った後に、どのように改良プロセスを回すべきかの一例を紹介します。 デー...

!この記事は、アイデミー Advent Calendar24日目の記事です。こんにちは。株式会社アイデミーの清水(@meso)です。アイデミーは、DXリテラシーからAI/機械学習の専門知識までオンラインで学べるラーニングサービス Aidemy を運営しています。教育サービスをやっているソフトウェアエンジニアという立場なので、自分の子にもプログラミングをどう経験させようかとずっと考えてきましたが、その一つの道筋が見えてきたのでそれを共有しつつ、そのために必要なツールとして表題のアドオンをご紹介いたします。対象読者は、普段から TypeScript や JavaScript のコ...

!本記事は、Aidemy Advent Calendar 2023の23日目の投稿です。 記事の概要気づけばもう年末です。年末年始はゲームをプレイして過ごす方もいらっしゃるのではないでしょうか。ゲームには古来よりチートがついて回っています。チートの原理を、チートを作成する体験を通じて、理解するのが本記事の目的です。具体的には、自作のじゃんけんゲームのバイナリを書き換えます。以下が前提です簡単なC言語のプログラムが読めるCPU : x86_64コンパイラ : gcc※本記事はチートを推奨するものではありません。技術的な理解を目的としています チートの作...

はじめにこんにちは。株式会社アイデミーのエンジニアの和泉です。普段は、WEBアプリケーションの開発業務に携わっています。今回は、StreamlitとYOLOを使った物体を検出するアプリを作ったので、ご紹介したいと思います。 Stremlitとは機械学習やデータサイエンスのためのWebアプリを簡単に作成・共有できるオープンソースのPythonライブラリです。公式サイトはこちらになります。 YOLOとは物体検出や画像セグメンテーションを行うアルゴリズムです。名前の由来は、「You Only Look Once（一度だけ見る）」です。現在の最新バージョンは、8.0.2...

!この記事は、 Aidemy Advent Calendar 2023の20日目の投稿です。前回の記事はこれからのデータ分析はPandasにDuckDBも併用して高速化しようという話でした。※弊社の教材はe-learningではなく、オンラインDXラーニングと呼びます。弊社のコンテンツを分析したわけではないのでこのタイトルで許してください。相関関係は因果関係を示したものではないと統計学で習い、じゃあ因果関係を示す手法を教えてくれよって頭が爆発しそうになった皆さんこんにちは。自分は何回も爆発しました。本記事はe-learningのデータセットとPCアルゴリズムを用いてどの要素...

こんにちは。株式会社アイデミーでデータサイエンティストをやっている米倉と申します。今回はデータ分析を高速化するために、従来のPandasによる実装に加えてDuckDBも併用して高速化を図ってみたのでご紹介します。 BI(ダッシュボード)作った → データ重すぎて動かない問題データサイエンティストや機械学習エンジニアの代表的な日常業務として、データ分析があります。データ分析作業を楽にしたり、より良い意思決定に繋げるための考察を得る手段として、BIツール（ダッシュボード）を作ることがあります。Pythonでダッシュボード的なものを作ろうとした場合、WEBアプリ系のフレームワーク...

!この記事は、アイデミー Advent Calendar 16 日目の記事です。15 日目は限界値のあるデータをベイズモデリングで効率的に扱う でした。株式会社アイデミーの土屋です。Lab Bank という化学業界の研究室向け SaaS 開発と、Modeloy という DX プロジェクトの伴走支援をしています。https://labbank.jp/https://www.modeloy.ai/ はじめにReact(TypeScript)で開発を行う際に、基本的には何かしらのフレームワークを利用することになると思います。その際、ビルドに必要な設定はフレームワークが最...

!この記事はAidemy Advent Calendar 2023の15日目の記事です。14日目はVS Code+DevContainer+Dockerで最強Python開発環境でした。 はじめに - 限界値のあるデータとはこんにちは。株式会社アイデミーデータサイエンティストの中沢(@shnakazawa_ja)です。データ分析の世界では、完全な情報を得られない状況に頻繁に直面します。その一つとして 「限界値のあるデータ」 が挙げられます。例えば水質調査や医療診断、食品安全性評価などで機器の検出限界を超えた測定値が得られたときにこうしたデータが出てきます。具体的には以下のよ...

!本記事は、Aidemy Advent Calendar 2023の23日目の投稿です。 概要 本書の内容VS CodeとDockerを利用した、Python用開発環境の設定/利用方法を説明します。本書で実現する開発環境の概略図は以下です。Dockerを利用するので、動作環境のポータビリティが確保できる等のメリットがある他に、以下のことができるようになります。VSCodeのUIで、コンテナをビルド・起動するVSCodeのUIで、コンテナ内のソースコード編集やスクリプトを実行するなどなど。なお、本書は、PCがMacであることを想定して説明しますが、Wind...

!この記事はAidemy Advent Calendar 2023の13日目の記事です。12日目はベイズ最適化でした！ はじめに株式会社アイデミーにおけるDXプロジェクトの伴走支援サービス（Modeloy）で、PMを担っている宮﨑です。弊社はミッションとして「先端技術を、経済実装する。」を掲げて活動しており、昨今話題の生成AIを活用したサポートMy Aideも2024年初頭にリリース予定です。しかしながら、とくに技術革新の目覚ましい昨今、とくに非エンジニアの私がどのように先端技術を活用していくかは常に課題としてつきまとっています。そんな私が最近活用を試みている「GPTs...

!この記事はAidemy Advent Calendar 2023 11日目の記事となります。10日目はマルチテナント構成のTerraform戦略でした！こんにちは、moshです。株式会社アイデミーでLab Bankという化学業界の研究室向けSaaSを開発しています。https://labbank.jp/ はじめに多対多の関係を表現する際には中間テーブルを使いましょうといったことはデータベースの本を読めば自然と身につきますが、一対一の関係をどう表現するかといったことはあまり本には書かれていません。そのためSQLで制約を表現する方法を設計中に「ひらめく」ことになってしま...

こんにちはへたれです。株式会社アイデミーでエンジニアとして、Lab Bankという化学業界の研究室向けSaaSを開発、運用しています。!この記事はAidemy Advent Calendar 2023 10日目の記事となります。9日目は素人がChat GPT君ちゃんさん氏とアプリ作ってお勉強する話でした！ はじめにLab Bankは複数の会社、研究所に対して研究データ蓄積機能を提供するSaaSです。顧客企業の研究データかなりセンシティブなので、扱いには相当気を使います...そのため、Lab Bankではアプリケーションレベルでのアクセス制御だけではなく、ECSサービス...