概要この記事の対象者：LLMの内部処理をコードレベルで具体的に理解し、自分で簡易的なモデルを動かしてみたいエンジニアや研究者。この記事の内容：Raschka著『作りながら学ぶLLM入門』第2章をベースに、トークン化からサブワード分割、特殊トークン付与、データローダー作成、埋め込みまでの前処理工程をPythonコード付きで解説。この記事を読んでできること：前処理の各ステップを自力で実装し、英語・日本語を問わずLLMの学習データを準備するパイプラインを構築できる。 序説(長いので、お急ぎの方はスキップしてください)MCP、AIエージェント等盛り上がりを見せてますが、そ...

概要この記事の対象者マーケ・営業・CS部門での業務効率化やAI活用に関心があるビジネスパーソンや企業のデジタル推進担当者。この記事の内容RevOps（収益オペレーション）の概要と、生成AIを活用した業務改善・データ基盤・ガバナンス強化の実践例を紹介。この記事を読むとできること自社の収益プロセスにAIを効果的に組み込み、部門横断の業務最適化と再現性のある成長戦略を描けるようになる。 序章みなさん、RevOpsが大事だと聞いたことはありますでしょうか？(私は、ないです)しかし、今後どうなるかわからない世の中、１つや２つ知って損はないと思います。この機会にRevOp...

(2025/05/08)uv venvの手順に誤りがあり修正しました。 概要対象者：エージェント連携やA2Aに興味のあるAIエンジニアや開発者内容：Google製のA2Aプロトコルを用いた複数エージェント連携チュートリアルの実践解説できること：複数のAIエージェントをA2Aで接続し、統合チャットUIから対話・実行できるようになる 序説本日、A2Aチュートリアルを触りました。１回目構築: 1時間30分(エラーで２回ハマる)２回目構築: 10分くらい !? ※個人差ありという感じでちょっと詰まった部分がありましたので、共有したいと思います！ A2Aとはエージェント...

概要この記事を読む対象者GitHubリポジトリのドキュメント自動生成に興味がある開発者・エンジニア。この記事の内容DeepWikiの仕組み・使い方・セキュリティ上の注意点を検証付きで紹介します。この記事を読むとできることDeepWikiを安全に活用し、リポジトリから自動で高品質なドキュメントを生成できるようになります。 序説私「A先輩見てください！DeepWikiで、一瞬でドキュメント作成できるんですよ！」A先輩「それセキュリティ的に大丈夫なん？」私「え・・・」 DeepWikiとはみなさん、ソースコード書いて、それをドキュメントするの大変じゃないですか...

はじめに最近Streamlitを触って遊んでいるのですが、StreamlitからSnowflakeにキーペア認証を使用して接続するための情報が見つからず、少しだけ試行錯誤したので、備忘録として残しておこうと思います。そもそもStreamlit in Snowflakeを利用する場合は、全然気にする必要がないことなので、小ネタ的な感じではあります。 方法 １：seacrets.tomlを作成StreamlitからSnowflakeに接続する際、プロジェクトフォルダ内にある「.streamlit」フォルダの中に、「seacrets.toml」を作成する必要があります。プロ...

はじめに以下の記事にて、Evidenceのインストール手順をまとめました。https://zenn.dev/churadata/articles/3aca8ad69a0fbb次は、実際に手元のデータを使ってEvidenceを触ってみる場合に必要となる、データソースの追加について、その手順をまとめようと思います。 データソースの追加具体的には、以下の２パターンについて、手順をまとめようと思います。ローカルに保存しているCSVファイルSnowflake（キーペア認証）このご時世、データベースへの接続の際はセキュリティを考慮してユーザ/パスワードだけで接続することは少...

はじめにある日、スマホをダラダラと眺めていると、EvidenceというBIツールに関する記事がオススメ記事に表示されました。どんなものかと気になり少し触ってみたところ、無料なのに意外とできることが多く、楽しかったので、今回はMarkdownとSQLを使用してデータを可視化するBIツール 「Evidence」 の導入手順を残しておこうと思います。 Evidenceって？Evidenceとは、Markdownでコード管理できるオープンソースのBIツールです。https://docs.evidence.dev/Pythonを使わなくても意外と表現できることが多く、触っていて楽し...

概要この記事の対象者Python で自動翻訳ツールを試してみたい人。この記事の要約Jupyter Notebookの Markdownテキストを、googletransを使って日本語に自動翻訳する仕組みについて解説この記事を読んでできることgoogletrans を利用して翻訳処理を実装する方法 序説最近購入した本の付録に、Jupyter Notebook（.ipynb）形式のファイルが付いていました。内容は主にコードと Markdown 文書で構成されており、Markdown の文章は英語で書かれていました。そこで、「これを日本語に変換できたら...

がく＠ちゅらデータエンジニア（50）です。まとめてみたりんくはこちら 背景先日、LayerXの名村さんによるhttps://findy.connpass.com/event/344929/というイベントが有りました。https://speakerdeck.com/layerx/ai-agents-practice-202503ちょっと前からAIエージェントをいうワードをX（旧Twitter）でのMyTLで見かけることが増えていました。ただ、AIエージェントというワードについては、大まか2つのグループの概念？モノ？を示しているように思いました。作業を任せたり、様々...

がく＠ちゅらデータエンジニア（50）です。みなさん、花粉のパッションを感じてますか！！！私はとてもとても感じております。杉を燃やし尽くしたいさて、今日は組織内リスティングとインターナルマーケットプレイスを検証する機会がありましたので、作業メモ的にブログを書くことにします。 Snowflakeでのデータ共有2025年DataSuperHeroの前田さんがデータ共有の記事を書いてらっしゃいましたhttps://zenn.dev/dataheroes/articles/1e2b4983f22e90SnowflakeのデータシェアリングについてはDirect Sharing...

概要この記事を読む対象者： Snowflakeを利用しており、新機能「Cortex Analyst」に興味がある技術者やデータ分析者。この記事の内容： Snowflake Cortex Analystの仕組みと利用するための具体的な技術的手順を解説します。この記事を読むとわかること： 自然言語による質問を通じてSQLを書かずにデータ分析ができるCortex Analystの活用方法が理解できます。 序説Text2SQLという技術をご存じでしょうか？Text2SQLとは、自然言語（テキスト）からSQLクエリを生成する技術やシステムのことを指します。従来、データベースへのア...

こんばんわ、がく＠ちゅらデータエンジニアです。さてさて、12月にアドベントカレンダーで燃え尽きて、はや2ヶ月・・・そろそろブログも再開していこうと思います。※完成した対策の記事を誤って空記事で上書いてしまって全部消えて。。。。失意のあまり、インフルに掛かって2週間ほどぶっ倒れていたなんて言えない（たまたまインフルにかかっただけで、寝込み正月だったorz） Cortex Searchとは早速ChatGPTに聞いてみましょうSnowflake Cortex Searchは、Snowflakeが提供するフルマネージド型のハイブリッド検索サービスで、非構造化データやドキュメント...

概要この記事を読む対象者生成系AI（ChatGPTなど）の連携に興味があるWordpressを使う人。この記事の内容WordPressの独自データを活用し、RAGを使った簡易チャット機能を構築する手順。この記事を読んで分かることCSV+BIN形式で記事要約を埋め込み検索し、WordPress REST API経由でChatGPTに回答させる実装方法。 序説みなさん、WordPressでのサイト運営は楽しんでいますか？中にはフルスクラッチで構築する方もいらっしゃいますが、簡単に導入・管理ができるCMS[1]を使う方も多いのではないでしょうか。本記事...

概要この記事の対象者:AI アプリの開発や運用に興味のあるエンジニアやビジネス担当の方この記事の内容:Dify ってなに？ どう使うの？ 雑学も交えながらサクッと紹介！この記事を読んで分かること:Dify を使ったジェネレーティブ AI アプリの開発や運用のやり方がイメージできる 序説この数年、チャットGPTの人気やオープンソースの大規模言語モデル（LLM）の進化で、AI を使ったアプリ開発がすごいスピードで進んでいます。でもいざ作ろうと思うと、「どのモデルを選ぶ？」「プロンプトはどう管理する？」「バックエンドは？」といった感じで、地味にやることが多いんですよね。...

概要この記事の対象者:LLMの精度比較や回答の特徴に興味があり、宇宙の起源やビッグバン以前の話題に関心はあるが専門的なことは知らない方この記事の内容:GPT4-o, o1, Claude3.5, Gemini2.0-flashの4モデルに同じ質問を投げ、それぞれの回答や強み・個性を比較し整理するこの記事を読んで分かること:4つのモデルの特徴や使い分けのポイントが理解でき、どのテーマにどのモデルが適しているかが分かる 序説先日、OpenAIから新しいモデルとして o1-pro が発表されました。名前からして強化版を想起させるこのモデル、なにやらすごそうなのですが、...

概要この記事を読む対象者:「AWSを使って開発したいけど、コストや設定が気になる…」と悩んでいるエンジニアこの記事の内容:LocalStackの概要や歴史、インストールから基本操作まで、手を動かしながら学べる実践ガイドをお届けしますこの記事を読んで分かること:LocalStackを活用してAWSサービスをローカルでエミュレーションし、コスト抑え効率よくテスト環境を構築する方法が身につきます！ 序説「AWSは便利だけど、テストするだけなのにお金がかかるのはちょっと…」そんな経験、ありませんか？本番環境でいきなり試すのはリスクが高く、設定ミスで予算オーバーになることも...

こんにちは！がく＠ちゅらデータエンジニア(50）です。いやー、ほんと寒いですね！朝起きるのがきついです。小1の娘が居ますが、なかなか起きないので大変ですｗhttps://qiita.com/advent-calendar/2024/frostyfridayこちらの17日目の記事になります。 Frosty Friday Week123 Intermediate Cortex, Snowpark今回のチャレンジは、ヒンディー語のWebページからスクレイピングで持ってきて、TAGで解析し、それをSnowflakeのTRANSLATE関数を使って、英語に翻訳してみましょう！ってい...

がく＠ちゅらデータエンジニアです！Frosty Friday Live ChallangeもVol.15！（Vol.0があるので16回目になりました）毎回、ゲストにも来ていただけるようになり、大変楽しいです♪普段業務では使わないように機能の検証・・・・これは、**テックセラピー！**とても楽しく収録・運営をさせていただいています。こちらはhttps://qiita.com/advent-calendar/2024/frostyfridayの13日目の記事になります。※少し公開が遅れたぁぁぁ Frosty Fridayとはhttps://frostyfriday.org/...

がく＠ちゅらデータエンジニアです！※以前の記事、公開を忘れていました・・・・・Frosty Fridayをやる深夜RADIO的な番組をやっています。もうVol.12になりました♪一緒にメインMCをやってるのが、Tableau DataSaber時代からの友達の @tomowk1 さん♪また、前々回より、親会社の同僚であり仲間のあれさんも、レギュラーに迎えて、MC3人でお送りしています！ Frosty Fridayとはhttps://frostyfriday.org/2022年07年に最初のお題が投稿されたSnowflakeのスキルアップを目的とした学習コンテンツです。1...

がく＠ちゅらデータエンジニア(50)です。はっぴばーすでーとぅみーー、はっぴばーすでーとぅみーー天命を知る・・・そんな年齢になりました!50代、パワフルに生きていきたいと思っています！こちらはhttps://qiita.com/advent-calendar/2024/snowflakeのシーズン3の12日目の記事になります。※寝落ちして公開が一日遅れてしまったorz 開発環境、ステージング環境、本番環境についてさて、皆さんは、あるプロジェクトで開発をするときは、環境をどのように用意されますか？本番環境ステージング環境開発環境の三環境を用意して開発を進める...