はじめにこんにちは！ナウキャストのデータエンジニアのけびんです。日々 Snowflake と dbt を使ってパイプライン開発をしているのですが、その中で「日付を表す文字列を dateadd 関数に渡したら、タイムスタンプ型として戻されることに気づかず困った」という場面に直面しました。そこで今回のブログでは Snowflake のキャストについて簡単にまとめ、「文字列 → 日付・日時」の暗黙的キャストの落とし穴とその対策を紹介しようと思います。 キャスト概要あるデータ型の値を別のデータ型に変換することをキャストと言います。詳細は以下のドキュメントにまとまっています。ht...

背景SnowflakeのVIEWオブジェクトに対して、VIEWの参照元のテーブルは参照させずにSELECTクエリを実行できる権限をROLEに付与したかったが、このとき権限付与がうまくいかず、VIEWを参照させることができず詰まってしまったので、その原因と解決策について記事として残しておきます。 事象の再現今回作成したオブジェクトは以下のような構成になっています。権限はschema単位で管理しており、青色のDATABASE ROLEの階層を用意し、必要の応じて黄色のACCOUNT ROLEに権限を付与しています。OWNERSHIP_SCHEMA：SCHEMAのOWNER...

みなさまは、業務で生成AIを使っていますか？私たちFinatextグループでは、社内全体で生成AIツールを積極的に導入し、日々の業務の効率化を図っています。今回は社内のエンジニアを対象としたアンケートの結果をもとに、当社での生成AI活用の実態をご紹介します！ 生成AI利用についてのアンケートアンケートの結果、回答者61名中60名（約98%）が業務で生成AIを活用し、さらにその約85%が「毎日」生成AIを使っているという結果となりました。もはや生成AIは私たちの業務における必須ツールとなっています。 人気の生成AIツールは？アンケートデータから、社内でよく使われている生成AIツ...

はじめにこんにちは、ナウキャストで LLM エンジニアをしている Ryotaro です。2025 年 3 月 10 日から 3 月 14 日まで出島メッセ長崎で開催されていた、言語処理学会第 31 回年次大会（NLP2025）に参加しました。言語処理学会は年に一回開催される学会であり、NLP 系の学会では日本では最大規模です。研究者だけでなく企業の方も参加しており、昨今の LLM の発展により学会に参加する参加障壁が低くなったこともあり、発表者は増加していて今年はなんと過去最大の 777 件の発表数だったそうです。去年が 599 件、一昨年が 579 件なので、LLM の発展に...

はじめにこんにちは！ナウキャストのデータエンジニアのけびんです。Snowflake は様々な便利な機能がありますが、その一つに "Search Optimization" （検索最適化サービス） があります。 Search Optimization は大規模なテーブルに対する選択的な検索などのクエリのパフォーマンスを向上させるための仕組みです。https://docs.snowflake.com/ja/user-guide/search-optimization-service本ブログでは Search Optimization に関する概要を説明し、利用時の注意点や具体的な...

こんにちは、クレジットドメインQAの藤川です。先日、私たちは「バグバッシュ」というイベントを開催しました。このイベントは、プロダクトの品質向上を目指し、全職種が参加してバグを探し出す楽しい時間です。今回はその様子と成果についてご紹介します。 バグバッシュとは？バグバッシュは、みんなで集まってプロダクトを触り、不具合を見つけるイベントです。全職種が参加することで、普段の業務では見落としがちな点を発見し、品質を向上させることが目的です。また、バグをネガティブなものではなく、ポジティブなフィードバックとして捉えることで、チームのコラボレーションを促進します。 開催までの経緯バグバ...

はじめにこんにちは。株式会社ナウキャストのデータエンジニア、徳山です。現在所属しているData Holder Unit（DHU）では、データ整備などを担当しています。株式会社ナウキャストの商業用不動産・店舗ビジネス向けDataLens店舗開発において、物件情報を活用する検証の一環として、駅周辺に存在する物件のリストアップ検索を高速化するためにH3インデックスを作成しました。本日は、H3 Indexを用いた検索の高速化についてご紹介させていただきます。 H3 IndexのおさらいH3はUberが開発した大小様々な六角形（五角形も存在します）をグリッドとする新しいインデックスシス...

はじめにナウキャストでは、自社のデータプロダクト基盤をSnowflake上に構築し、Terraformによるリソース管理を行っています。また社外のクライアント様とのプロジェクトにおいても、Snowflakeを活用したデータ基盤の設計・構築を支援しています。本記事では、SnowflakeリソースをTerraformで管理する際に発生する依存関係の問題とその解決策について解説します。 具体的なケースTerraformはリソース間の依存関係を解析し、適切な順序でリソースを作成・更新します。しかし、Terraformが自動的に認識することができない依存関係が存在するケースもあります。...

はじめにFinatextグループが主催または共催する各種技術イベント（以下、当社イベント）は、技術情報の共有や参加者間の交流を通じて、技術コミュニティ全体の発展を企図しています。本行動規範は、参加者が安心して参加できる環境を整備することを目的とし、すべての参加者に尊重と礼儀をもって行動していただくための指針です。当社イベントに参加するすべての方（登壇者、来場者、スポンサー、スタッフ、その他関係者）は、本行動規範を遵守してください。 行動規範の目的参加者の人権や尊厳が侵害されないようにし、誰もが歓迎され、安心して参加できる場を提供すること技術的な情報交換や学習、コラボレー...

先日、2025年2月13日（木）・14日（金）にホテル雅叙園東京で開催された「Developers Summit 2025（デブサミ2025）」に、Finatextホールディングスとしてブース出展をしてきました！デブサミは毎年開催されているITエンジニアのための一大イベントで、今回のテーマは「ひろがるエンジニアリング」。生成AIをはじめとしたさまざまな最新テクノロジーが一気に普及している中で、エンジニアがどのように活躍し、社会をアップデートしていけるのかを考える場でした。https://event.shoeisha.jp/devsumi/20250213弊社のブースでは、証券クラウ...

はじめにこんにちは！ナウキャストのデータエンジニアのけびんです。現在ナウキャストでは dbt-snowflake を利用して Snowflake 上で ELT パイプラインを日々開発しています。その際にデータのクォリティの担保をするためには適切に dbt test を利用することが大事です。今回の記事では効率の良い dbt test を書く方法を紹介します。 結論dbt の generic test では where という config を利用することで、テストの SQL に絞り込み条件を追加することができ便利。https://docs.getdbt.com/refe...

この記事では、Clean Architecture を中心に利用されるリポジトリパターンに関するよくあるミスや気をつけるべき点を紹介したいと思います。少しテクニカルなところから話を始めて、抽象的な問題（設計・DX）へ移っていきたいと思います。※ここで言う DX は、デベロッパーエクスペリエンスのことです。 不適切なパラメータバインディングfunc (r *Repo) GetByName(name string) (*user.User, error) { query := fmt.Sprintf("select * from users where name = '%s...

はじめにこんにちは！ナウキャストのデータエンジニアのけびんです。現在ナウキャストでは dbt-snowflake を利用して Snowflake 上で ELT パイプラインを日々開発しています。基本的には dbt の使い方を把握していれば開発は可能ですが、やはり Snowflake 特有の設定というのも存在します。本ブログでは dbt-snowflake で開発をする際に個人的に重要だと思う以下の設定についてまとめます。Table - ClusteringTable - COPY GRANTSExternal TableSecure View Table - Cl...

背景データのスキーマは様々な理由で変更されることがあり、データオーナー側はその変更の影響範囲を正確に把握することは難しいことが多いです。そのため、複数のデータオーナーと安全にソースデータを連携するために、新規ソースデータの連携方法を明確化する必要があり、近年、ソースデータのスキーマ情報の管理やソースデータ監視などの仕組みの必要性が重要視されてきています。そこで、Data Contractという概念を取り入れることで、ソースデータのスキーマ情報やサービスレベルの管理を安全かつスムーズに運用できないか検討していました。Data Contractでは、データの送り手（データ提供者）と...

この記事はFinatextホールディングスのメンバーとして、海外カンファレンス（PCI SSCカンファレンス）への参加に関して、公開したブログになります。 はじめにFinaにゃちわ～。Finatextホールディングスでシステム管理を担当しています、Motohiko（@motohiko_s8888）です。PCI SSCカンファレンスに参加するため、Barcelonaに行ってきました。Barcelonaは初めてでしたが、とてもきれいな街ですね、食べ物も美味しいし、中心街を除けば治安も良いし物価も思ったほど高くないので住みやすいなと感じました！ 魚介のパエリアは最高！ PC...

こんにちは、ナウキャストでLLMエンジニアをしているRyotaroです。11/04~11/10で収集した生成AIに関連する情報をまとめています。※注意事項内容としては自分が前の週に収集した生成AIの記事やXでの投稿・論文が中心になるのと、自分のアンテナに引っかかった順なので、多少古い日付のものを紹介する場合がありますそれでは行きましょう ひとことかなり遅れての週報ですが、この年末年始で追いつくのでご容赦ください笑!2024/12/25時点での情報です！生成AI関連の情報は update が早いので適宜最新情報をチェックするようにお願いします！ Docling1...

はじめに2024 年 3 月入社の reoです。入社エントリーというにはだいぶ時が経ってしまったのですが、この記事の目的は以下のとおりです。Finatext に興味をもってもらい、選考に進んでもらうきっかけにしたい一緒に働く社員に対して改めて自己紹介する Finatext に入社する前新卒でネットワークエンジニアとして就職したのですが、日々自動化ツールを書いている内に、プログラマーへの興味が募り、スキルチェンジを目的に転職しました。プログラマーとして最初に配属されたプロジェクトで Java と Go を採用していたこともあり、必然的にバックエンドを軸にキャリアをス...

Finatextの @s_tajima です。この記事は、Finatextグループ Advent Calendar 2024の25日目の記事です。今回は、年末なのでAWSのルートユーザーの認証情報を大掃除して、その不正利用のリスクと運用の手間を削減した話です。具体的には、AWSが最近リリースした Centrally manage root access in AWS Identity and Access Management (IAM) の機能を使いました。自身の所属する組織において、AWSアカウントの管理を担当されている方に参考にしてもらえると嬉しいなと思っています。 C...

Finatextグループ Advent Calendar 2024 24日目の記事です。 この記事で解説することAmazon Cognitoのセットアップ（ユーザプールの作成と各種トリガーの設定）から、Hasuraへの認証情報の連携までの手順を解説します。JWT認証は、CognitoのホストされたUI、又は、Cognito API（amazon-cognito-identity-js）​を使用して実装する2パターンを紹介します。!Cognito、Hasura、及びGraphQLについての詳細な解説は割愛します。前提として、各サービス、技術の基本的な概念については理解しているもの...

皆さま、こんにちは。トリングことSEKIと申します。この記事はFinatextグループ Advent Calendar 2024の23日目の記事です！https://qiita.com/advent-calendar/2024/finatextgroup昨日は @tieyaki さんが「保険金請求処理でのAIテック企業の紹介」という記事を公開しています。https://zenn.dev/finatext/articles/c6bde24b8e50ce 最初に - このエントリは？本エントリでは情シス初心者向けに『[2024年版]FinatextグループのPCの標準スペックを紹...