はじめにデータサイエンスと機械学習は、現代のテクノロジー界の最前線に位置しています。そこで第一歩目を踏み出そうとしても、「環境設定」がよくわからない…基本書を読んでも分かるようでわからない…色々と学んではいるけど、結局のところどう使えるのかがわからない…そういった悩みに応えつつ、この分野における技術的スキルの向上や新たなアイデアの探求を目指すなら、Kaggleはあなたの理想的な出発点となるでしょう。ここでは、Kaggleの概要からそのメリット、使用例、注意点までを詳しく解説します。 Kaggleとは？Kaggleは、データサイエンスと機械学習に特化した世界最大級のオ...

QSAR Toolbox（Quantitative Structure-Activity Relationship Toolbox）は、化学物質の毒性や生物活性を予測するためのコンピュータープログラムで、化学物質の評価とリスク評価に役立ちます。QSARはQuantitative Structure-Activity Relationship（量的構造-活性相関）の略で、このアプローチは、化学構造と生物活性との間の数学的な関係を使用して、未知の化学物質の活性や毒性を予測します。QSAR Toolboxの主な機能と用途は以下の通りです：化学物質の評価: QSAR Toolboxは、...

pubchemのapiを使用すると化合物のfingerprint使用して類似する化合物を取得することができます。化合物のfingerprint（指紋）は、化学的な構造情報を数値ベクトルまたはバイナリコードの形式で表現したもので、化学情報学や薬物デザインなどの分野で広く使用されています。これは、化合物の類似性評価、データベース検索、薬物デザイン、薬物発見などのさまざまな用途に役立つツールです。化合物のfingerprintは通常、以下のようなプロセスを通じて生成されます：1. 分子の表現: まず、対象の化合物が分子構造として表現されます。これは、元素や結合の情報を含む化学式や、原子の...

Matched Molecular Pair Analysis（MMPA）は、薬物設計、医薬品発見、化合物最適化の過程で使用されるコンピューターアシストツールです。このアプローチは、化合物ライブラリー内の化合物間の相互作用や性質の関連性を特定し、新しい医薬品の設計に役立てるために使用されます。MMPAの主要な特徴とプロセスは以下の通りです：化合物の分解: MMPAの最初のステップは、薬物候補を構成する化合物を小さな部分構造（フラグメントまたはペア）に分解することです。これらの部分構造は、化学的な官能基、環状構造、置換基など、分子の特定の部分を表します。部分構造のマッチング: こ...

PubChemには膨大な量の化合物の情報が保存されています。本記事では、その膨大な化合物のリストを取得する方法について説明します。 pubchemの化合物の情報が入ったSDFファイルのDLリンクを取得する今回取得する化合物のリストはSDFファイルに保存されています。SDFファイル（Structure-Data File）は、化学情報学や薬物デザインなどの分野で広く使用されるファイル形式の一つで、化学物質の構造情報と関連データを格納するために設計されたテキストベースのファイルフォーマットです。以下にSDFファイルの主な特徴と用途を説明します：構造情報: 化学物質の分子構造情...

OpenAIのAPI・パッケージの進化が激しいPythonのGPTのpakcageが1系に上がってコードの書き方が変わって、アップデートすると今までのコードを書き直さないといけないので要注意！という記事を書きました。https://zenn.dev/pipon_tech_blog/articles/6fbc3cc6cb22be上記の記事のようにAPIがどんどん進化しており、最新のAPIだと新しいパラメータが増えました。seedというパラメータです。このパラメータに値を入れておくことで、出力結果を一定にすることに貢献します。 出力結果の安定に貢献するパラメータ：tempe...

1 FastAPIのデプロイ方法1.1 第8章で作成したチャットボットの回答を生成するAPIのフォルダをVisual Studio Codeで開きます。1.2 拡張機能にて、Azure App Serviceをインストールします。1.3 Acitivity BarにあるAzureのアイコンを選択し、Azureにサインインします。1.4 「サブスクリプション」 > 「App Service」にあるFastAPI用のApp Serviceで右クリックし、メニューの中から「Deploy to Web App...」を選択します。1.5 デプロイが完了したらAzure...

1 チャットボット概要ここでは、社内文書を元に回答することができるチャットボットのコード部分について説明いたします。第3章で述べたようにBot Framework SDKを利用してチャットボットの構築を進めていきます。今回構築するチャットボットの機能としては、FastAPIにより生成した回答の送信、会話履歴の保持、フィードバック、ログの保存があります。 2 サンプルチャットボットの動作確認まずはMicrosoftが提供しているMicrosoft Bot Framework V4 SDK for .NETのサンプルの動作を確認します。2.1 git clone コマンドを実...

1 社内文書の準備ここでは社内文書をNotionで管理していることを想定して、サンプルデータをNotion上に作成します。 1.1 Integrationの作成Integrationにて、新しいIntegrationを作成する。ここで生成されたトークンはNotion APIを利用する際に必要となるので控えておいてください。 1.2 データベースの作成Notionで社内文書を管理するデータベースを作成します。1.2.1 Notionでページを追加し、「テーブル」を選択してください。1.2.2 ここでは以下のようなデータベースを作成しました。1.2.3 データ...

本チャットボットは、Azure上に構築します。チャットボットの回答を生成するAPIをコーディングする際に、Azure OpenAI ServiceやAzure Cognitive Searchのエンドポイント、キー等が必要になります。そのため、まず初めにチャットボットを構築するにあたってAzure上で必要となるServiceを作成していきます。Web AppsとBot Serviceは、すぐに必要になるわけではありませんが、ここで作成しておきます。以下、Azureで作業を進めていきます。 1 リソースグループ1.1 Azure上で「リソースグループ」と検索し、「リソースグループ」...

MacBook PromacOS Montereyバージョン: 12.6.5 1 Visual Studio Codeバージョン: 1.84.1Download Visual Studio Code 2 Bot Framework Emulatorバージョン: 4.14.1Download Bot Framework Emulator 3 Azure アカウントAzure の無料アカウント(公式ドキュメント) 4 Microsoft Teamsバージョン: 23285.3805.2505.9215Microsoft Teams 無料版 5 .NE...

1 システム概要本システムは、社内文書を元に回答することができるチャットボットです。チャットボットの構築には、Azure AI Bot Service、チャットボットの回答文生成にはAzure OpenAI Service、社内文書検索にはAzure Cognitive Searchを利用します。また、チャットボットとユーザーの会話のログ及びユーザーからのフィードバックを保存するためには、Azure Cosmos DBを用います。前述した通りBot Framework SDKにおけるJavaScriptとC#は引き続きサポートされますが、PythonとJavaは、2023年11月...

1 Azure AI Bot Service の概要Azure AI Bot Serviceとは、Microsoft Azureが提供するボットを構築するための統合開発環境です。Azure AI Bot Serviceでは、ローコードプラットフォームを用いたシンプルなボット構築からSDKを用いた高機能なボット構築まで、比較的簡単かつ迅速に行うことができます。また、構築したボットは、Webサイト、モバイルアプリ、Facebook、Microsoft Teamsなど、様々なプラットフォームに展開することができます。 2 Azure AI Bot Service の特徴 2.1 ...

RAG（Retrieval Augmented Generation）の概要近年、人工知能（AI）技術の中でも特に注目されているのが、 Retrieval Augmented Generation（RAG） です。これは、大規模なデータベースや文書から関連情報を検索し、その情報を基に回答や文書を生成する技術です。RAGの特徴は、単にデータを学習するだけでなく、必要に応じて特定の情報を検索し、それを基に新しい内容を生成する能力にあります。RAGがどのようなものなのかを簡単に図示するとこのような形になります。ちなみにRAGと従来のAIの違いはこちらです。従来のAI（自然言語処理...

1. はじめに RAGとは?RAG (Retrieval Augmented Generative)は文章検索で関連文章を抽出してLLMにプロンプトとして渡す手法で、検索拡張生成ともいいます。情報を外部のベクトルデータベースに保存しておき、ユーザーの質問あった際に、質問に関係しそうな文書データを検索して、その参考情報(Context)を追加したデータをもとにLLMが回答を生成する仕組みとなっています。https://zenn.dev/pipon_tech_blog/articles/92ab7ee5abdc06RAGはLLMに参考情報として文書データを渡すため、デー...

こちらの記事でもOpenAIのパッケージが変わったことに驚いたことを書いているのですが、友人もコード書き直しだ〜と嘆いていたので、皆んな困ってると思い記事を書いています。https://zenn.dev/pipon_tech_blog/articles/f84f4e11c085a9OpenAI Pythonの1系が出まして、普通にinstallすると以前の書き方と変わります。公式はこちらがわかりやすいです。https://learn.microsoft.com/ja-jp/azure/ai-services/openai/quickstart?tabs=command-line...

MS Ignite 2023にてCopilot Studioが発表され、その可能性の凄さにX(Twitter)がどよめいています。こちらがCopilot Studioの動画です。https://www.youtube.com/watch?v=_NICbozG0i0 Copilot StudioとはCopilot Studioは、Microsoftの各サービスとノーコードで繋げて、ウェブアプリやデータパイプラインを構築できるサービスです。Copilot Studioを利用することで、ユーザーは、プログラミングをせずとも、以下のようなサポートシステムを構築することができます。...

GPT BuilderとはGPT Builderとは、OpenAIが開発したChatGPTをカスタマイズできる機能で、自分オリジナルのボットを作って公開することができます！ChatGPT Plusを契約しているユーザーは順次作成できるようになっているようです。プログラミングの知識がなくても、自分の目的に合わせてChatGPTを公開することができます。GPT Builderでは既に様々なボットが出てきています。SNSアカウントの投稿を作成できる。写真と説明文どちらも対応「FeedAI」映画の台本作成などをサポートしてくれるボットFigmaなどのデザインを分析してユーザー...

Open AIのAssitatnts APIとは、テキストベースのユーザーの質問やリクエストに応答できるシステムです。ビジネスの観点から見ると、Assistant APIは顧客サービス、マーケティング、データ分析など様々な領域で応用が可能です。例えば、顧客からの問い合わせに自動で返答したり、ユーザーの意見や感想を分析して、製品やサービスの改善点を見つけるのに役立ちます。このAssistant APIのすごいところは、ビジネスシーンの様々なことに使えそうだということです。さて、そのAssistatn APIの使い方は以下になります。from openai import OpenA...

社内の問い合わせ対応を効率化するためのチャットボット構築を検討すると、FAQの重要性に気付く思います。しかし、社内マニュアルはあっても、FAQの形式にはなっていない。しっかりとしたFAQがあれば、すぐに精度の高いチャットボット構築は可能ですが、適切なFAQの作成には相応のコストが伴います。そこで、ChatGPT・LLMを使うことでFAQ作成の効率化ができます。FAQ作成の際の最大のポイントは、ユーザーの実際の疑問に沿った内容の選定です。誰もが参照しないQAを作成することは、企業にとって大きなコストの無駄遣いとなります。このため、問い合わせの頻度や疑問の内容を明確に特定し、コスト効...