はじめに8月にOpenAI社からStructured Outputsが発表されました。最近、Azure Open AIでも利用できるようになったので試してみる。https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/introducing-gpt-4o-2024-08-06-api-with-structured-outputs-on/ba-p/4232684細かい仕様については、以下の記事を参考にしてください。https://zenn.dev/microsoft/articles/azure-ope...

はじめにAppService証明書の有効期限が迫った際に新しいAppService証明書をAzure Application Gatewayにアップロードさせて証明書を手動更新する方法を紹介します！！ 前提使用PCはWindows。AppService証明書をAzure Key Vaultに格納すること。（手順は下記URL参照。手順の詳細は当記事では割愛します。）https://learn.microsoft.com/ja-jp/azure/app-service/configure-ssl-app-service-certificate?tabs=portal#...

やることDocument IntelligenceのFreeプランで検証をしていました。ファイルのサイズが大きいとエラーが出たり、3ページ目以降はOCRされない事象が発生しました。そういえば、FreeとS0って料金以外に何が違うのかな？と思い、この記事を書きます。「そんなの知ってるよ！」と思う内容かもしれませんが、私の備忘録として残します。 結論「料金」と「クォータ」に違いがある。 FreeとS0の料金表（従量課金）↓以下のDocsから引用https://azure.microsoft.com/ja-jp/pricing/details/ai-document...

0. 対象となる読者Ⅰ. 様々なデータを基本的な知識でExcelで分析してみたいと思っている方Ⅱ. データ分析について勉強をしているが、実際にどのように活用していくのかわからない方Ⅲ. その他Excelを用いて手を動かしながらデータ分析をしてみたい方Ⅳ. 統計の知識を学びつつ、その概念をすぐ活用したいと思ってる方Ⅴ. 資格「エクセル分析ベーシック（基礎レベル）」を取得したいと考えている方Ⅵ. 前回の記事「初心者もできるExcelから学ぶ統計学（1/2）」を読んだ読者の方 前回の記事はこちら 1. はじめに本記事では、2回に分けてExcelを用いて基本統計量を求める...

やりたいこと前回の記事の続きで、シルバー層のデータからゴールド層をMicrosoft Fabricのタスクフローに沿って試してみます。https://zenn.dev/headwaters/articles/f1c2ea1e2ee3f4 シルバーからゴールドデータ作成Fabricのメダリオンアーキテクチャのゴールド層は通常はスタースキーマにするとあり、dimentionとfactテーブルに分割する処理になるかと思いますが、今回は目的が犯罪数とパトロール指導の相関があるかみたいだけなので、表示したらそのままわかる状態のテーブルを作成します。 データ生成処理今回もノー...

現状現在会社でZennの記事を投稿しています。トレンドに上がった時にTeamsに通知を飛ばす機能を実現するためにMicrosoft FabricのData Activatorを使っていました。以下の記事で紹介しています。https://zenn.dev/headwaters/articles/6d0b7284dc91e3しかしサービス自体がプレビュー版であることもあってか、若干使いにくい状況です。また、トリガーを検知して実行したタイミングで別の値を取得するのが困難だったり(できるのかもしれません)、Teamsのチームチャネルに通知したい場合はPower Automateを...

やりたいこと会社で学習用として使っているFabricテナントがここ最近容量オーバーとなることがありました。1時的に容量をたくさん消費してたのか、利用者が増えて常に容量オーバー気味なのか知りたいため容量リソースを確認できるようにしたいです。 方法Microsoft Fabric Capacity Metricsというアプリが提供されてるようで、Fabricの容量の監視ができるそうです。https://learn.microsoft.com/ja-jp/fabric/enterprise/metrics-app-install?tabs=1st 導入以下のサイトから「今...

やりたいことMicrosoft Fabricにログインして、ワークスペースを作成すると「タスクフロー」を選択する画面になります。そこで、「メダリオン」というタスクフローがあったので、作成されたタスクに沿ってデータ分析をしてみようかなと。長くなりそうなので、データ取り込みからシルバーデータ作成までを試そうかと。 タスクフロー選択Fabricにログインしてワークスペースを作成したら、タスクフローが選択できるので、メダリオンを選んでみる。 データ取り込み 取り込むデータ今回はSHIBUYA OPEN DATA（渋谷区のオープンデータ）から防犯に関するデータを取り...

はじめに対象読者：Rust、Go、C、C++に触れたことがなく、知識もない人最近Rustの学習を始めました。普段はPythonでプログラムを書いています。背景として、Pythonが重いと感じることがあり、軽量な言語も習得したいと考えたためです。RustはKernelにも採用される軽い言語です。まだまだ学習の途中ですが、途中経過のアウトプットとして、Ollama APIを利用するプログラムをRustで実装しました。このプログラムを通じて、Rustについて説明します。 環境構築Rustには、rustupというpyenvのようなツールがあり、様々なtoolchainを使...

概要Azureモニターのアラート通知をMicrosoft Teamsに通知する方法については私が書いた記事に公開しております。https://zenn.dev/headwaters/articles/ae65d85127b6e3Azureのアラートの重要度は下記の種類があります。「0 - 重大」「1 - エラー」「2 - 警告」「3 - 情報提供」「4 - 詳細」今回はアラートの重要度「0 - 重大」、「1 - エラー」、「2 - 警告」はTeamsに通知ができていたのですが「3 - 情報提供」、「4 - 詳細」はTeamsに通知ができていなかった事象がありまし...

GitHub Modelsの招待リストに登録したところ、先日招待されましたので色々触ってみます。 GitHub Modelsとは2024年8月に発表されたばかりのGitHubの新機能。現在はプライベートプレビュー版です。1分あたり・1日あたりの使用制限などはあるものの、ユーザーは簡単に生成AIモデルを使用することでき、精度の検証を行うことができます。今まで各モデルごとにユーザー登録したり、有料プランに入ったり、検証するためにロジックを実装したりしていましたがGitHub Modelsを使用することでそこが簡単に・無料にできるようになりました。 使用できるモデル一覧以...

はじめに最近、とあるワークショップで新技術を使ったハンズオンを体験しました。段取りが悪かったり、スムーズに進んでいない点が多くて残念な感じだったので、そこから得た学びをこの記事にまとめました。ヘッドウォータースでは生成AIやFabricのハンズオンソリューションも提供しているので、自戒も込めて執筆します。 環境の整備は徹底的に前準備をするここでいう環境とは、ざっくりと会議にかかわる環境とAzureなどのクラウド環境を指します。 会議環境まわり近年では、ワークショップやハンズオンを開催するときはオンライン会議で開催したり、対面とオンラインのハイブリッドで開催したりする...

やることAzure OpenAIでレスポンスを必ずJsonでもらいたい場面がありました。Json modeというものがあるみたいなので、それを試してみる。 参考資料https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/json-mode?tabs=python 前提python 3.9.6open 1.43.0 Json mode がサポートされているモデルgpt-35-turbo (1106)gpt-35-turbo (0125)gpt-4 (1106-Preview)...

前回の記事で「Geekbench AI」のインストールと使用方法までを解説しました。https://zenn.dev/headwaters/articles/3c4dc41863e0cbなので今回は、僕の自作PCを「Geekbench AI」で測定してみようと思います。 自作PCのスペックCPU：12th Gen Intel(R) Core(TM) i3-12100F 3.30 GHzGPU:NVIDIA GeForce GTX1660 Superメモリ：24GBマザボ等を知りたければ以下の記事を探せば載っていると思います。https://zenn.dev/ar...

概要AppService証明書自体は自動更新設定をすることが可能ですが、ドメインの名前解決先をお名前.comやRoute53などをドメインの名前解決先にしている場合、例えば"aaa.com"のTXTレコードの値をお名前.comやRoute53などで手動で更新する必要があります。 状況簡単に構成は下の図となります。名前解決先はAWS Route53です。AppService証明書をAzure Key Vaultに格納することを事前に実施しておいてください。（手順は下記URL参照。手順の詳細は当記事では割愛します。）https://learn.microsoft.c...

やることHTMLからJSONへの変換を自動化する 前提インデックスを作成する方法は主にインデクサーを使うかPythonでAzure SDKを使うかの２パターンあると思います。後者の場合はJSON形式のデータが必要となるので（ただしLangChainならその限りではない）、HTMLを簡単にJSONに変換したいというのが主旨です。今回はサンプルとして、Pythonの公式ドキュメントをJSONに変換してみたいと思います。https://docs.python.org/ja/3/tutorial/controlflow.html 依存ライブラリpip install bea...

はじめにMicrosoft Fabricについて学習を進めていたら別のエクスペリエンスなのに同じ機能を持っていました。混乱しないようにまとめます。Microsoft Fabricにおけるエクスペリエンスとは画像のData FactoryやData Engineeringなどのコンポーネントのことを指します。また特定のデータ関連タスクやワークフローに対応するためのインターフェースやツールセットとも捉えることができます。https://learn.microsoft.com/ja-jp/fabric/get-started/microsoft-fabric-overview...

Project IDXとは2023年の8月に発表されたGoogle製のクラウドエディターサービスです。2024年の5月に限定公開が外れて、一般的に利用することができるようになりました。https://idx.dev/モバイルやデスクトップなどのマルチプラットフォームの開発に対応しており、生成AIを活用した効率的な開発を行うことができます。ReactやVue, Flutter, Django, Laravel, Goなど主要なプログラミング言語とフレームワークの開発が可能です。GitHubからプロジェクトのインポートもできます。 試してみた一番親和性が高そうなFlut...

先日会社からエンタープライズプランに招待してもらえましたので、どんな機能があるのか紹介します。 1. GitHub上でGitHub Copilot ChatBussinessプランまではVS Codeなどのエディター上でしか使えませんでしたが、GitHub.com上でも使えるようになりました。ユースケースとしては以下かなと思いました。Copilot Chatを使いたいけど、コードは書かないからローカルにcloneするほどじゃないリポジトリへの質問ライブラリとかパッケージの公式リポジトリへの質問今勉強中のGraphRAGのリポジトリで検証してみます。まずは対象のリポジ...

GitHub Copilot for Azureとは今年の5月に開催された「Microsoft Build」で発表された、GitHub Copilotの拡張機能。GitHub Copilot Chat上でAzureに関する質問もできるようになります。https://www.itmedia.co.jp/news/articles/2405/23/news124.html現在はプレビュー版として一部開発車に限定公開されており、申し込んでみたところ招待されました！ 導入招待を受けると限定公開のGitHubリポジトリに招待されますので、そこに記載されてる通りの手順で進めてい...