こんにちは、TVerでデータ分析をしている高橋です。 弊社の分析業務の多くは BigQuery に蓄積されているログを使った分析で、大量のログを扱うため前処理から集計まで全てSQLで行っています。 本記事では、SQLを書く上で特に気を付けているテーブル結合時のケアについて紹介します。 分析業務の一例 「ホーム画面を開いてから10分以内にコンテンツを再生した割合を知りたい」という依頼が来ました1。 この集計は訪問ログと視聴ログを使い、ホーム画面に訪問したログを10分以内に再生した or 再生してないの2種類に分ければできそうです。 ここで、集計に用いるテーブルを簡単に紹介します。 訪問ログ (v…

こんにちは。 アドテク領域のエンジニアをしています安部です。 こちらは TVer Advent Calendar 2023 の14日目の記事です。 13日目の記事で「ツールを作成した」という話をちらっと書きました。 今回はそのツールについて備忘として書きます。 ツールは作成時は半自動状態(起動トリガーが手動)、12月に全自動化となりました。 ツールを作ったきっかけ ツール作成時の条件 なぜAWS、Lambdaを選んだのか システム構成図 ツールの詳細 ①S3のバケットからファイルを取得 ②SQLの作成 ③RDS接続・確認 ④Slackへ結果を送信 ⑤起動トリガーの設定 全自動化 ①Slack …

データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年（2023年）、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA（Generally Avaialble）になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する（データマートを生成する）システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等…

こんにちは、TVer レコメンドエンジン担当の由井です。 こちらは TVer Advent Calendar 2023 の23日目の記事です。 なぜレコメンドなのか？ 今年の5月からTVerにジョインして、レコメンドエンジンの開発に携わらせて頂いていますが、そもそもなぜ自分がレコメンド開発に携わることになったのかや、レコメンドエンジンにかける想いを、初心を忘れないためにも、つらつらと書かせてもらえたらと思います。 ただのポエムですのでイブ前ということで気軽に読んで頂けたらと思います。 ヨーロッパでの再発見 自分は、元々、ヨーロッパの歴史や新しい事を経験する事が好きだったため、あまり計画せずに現…

コネクテッドTVとTVerの関わりについて

日々、データ分析をしている森藤です。遅くなってしまいすみません。本記事は TVer アドベントカレンダー 17日目の記事です。 (10日の記事も今度書きます) qiita.com TVer のデータを分析の中で大きな割合を占めるものにユーザジャーニーの分析や外部からの流入の分析があります。 これらはどちらも URL の解析が必要になるのですが、 URL はだいたいにおいて Google Analytics の utm パラメタや hash の値が乗っており、 Facebook などは fbclid みたいなのが乗ったりと、これらを削除する作業が必要になります。 具体的には内部の回遊としては、 …

TVer広告事業本部の髙品です。 こちらはTVer Advent Calendar 2023の21日目の記事です。 本記事では、New RelicのChange Trackingという機能について書きたいと思います。 本記事を書く背景 Change Trackingを説明する前に、本記事を書く背景をお話させてください。 私は、2023年11月にTVer広告事業本部のエンジニアチームに参加しました。広告事業本部のエンジニアチームは、主に「TVer」で配信される広告プロダクト「TVer広告」の配信システム・広告周辺領域のシステムを開発・保守しています。TVerのエンジニア組織に関心がある方は、弊社…

本記事はTVer Advent Calendar 2023の19日目の記事です。 はじめに こんにちは、TVerでiOSアプリ開発を担当しています小森です。 Xcode Cloudの発表からしばらく経ちましたが、 CI/CDサービスを検討するに当たってXcode Cloudを初めて触ってみましたので、 本記事でXcode Cloudについてのセットアップ方法と、触ってみた感想をまとめたいと思います。 Xcode Cloudを検討されている方の参考になれば幸いです。 Xcode Cloudとは Xcode CloueはAppleが提供するAppleプラットフォームのためのCI/CDサービスです。…

本記事は TVer Advent Calendar 2023 の20日目の記事です。 はじめに こんにちは、TVerでAndroidアプリ開発をしています石井です。 AndroidViewでコンテンツの一覧などを表示する際にRecyclerViewがよく使われると思いますが、カルーセルのようなUIにするためにはどうすれば良いでしょうか。 一般的にはRecyclerViewにLinearSnapHelperをアタッチすることで、カルーセルのようにコンテンツを中央寄せさせるUIを作ることが可能です。 ただし、LinearSnapHelperはあくまでも中央へのSnappingしか提供していないため…

こんにちは、TVerでバックエンドエンジニアをやっている水野です。 こちらは TVer Advent Calendar 2023 の18日目の記事です。 初めてISUCONに挑戦しました。結果は最終スコア0で、悔いが残りますが、次回ISUCON14（開催未定）に向けての備忘録として振り返ります。 参加までの流れ 当日やったこと 会社からのサポート 来年への抱負 参加までの流れ 私がISUCON13に参加したきっかけは、ISUCON夏祭りへの参加でした。 techblog.tver.co.jp ISUCON夏祭りのハンズオンでprivate-isuを解いたり、トークセッションで先人たちの戦略を聞…

本記事はTVer Advent Calendar 2023の15日目の記事です。 はじめに こんにちは。去年も15日目の記事を書いていたバックエンドエンジニアの伊藤です。 11/15にInterBEEに合わせて海浜幕張で開催されたMedia-JAWSにて初の登壇をしてきました。 ということで今年は登壇ブログを書いていきたいと思います。 media-jaws.doorkeeper.jp Media-JAWSとは 以下、公式サイトからの引用です。 Media-JAWSは、例えば急激なトラフィック処理や映像や画像のワークロード処理、セキュリティ対策など、放送・ラジオ・新聞・雑誌・Web・SNSなどの…

こんにちは。アドテク領域のエンジニアをしています安部です。こちらは TVer Advent Calendar 2023 の13日目の記事です。 個人的に今年はAWSに縁があった年でしたのでAWSにからめて1年を振り返ります。 1月〜3月 フロントエンド開発をがんばっていました。(いきなりAWSじゃない！)OCJP Silver取ったりしてました。(バックエンド！)開発業務専門でAWSをどう使っているか、どうデプロイされているのかはあまり気にしていませんでした。転機になったのは3月にログのアラートをslackに連携したいという話が出てきて、CloudWatch LogsとLambdaを使用してs…

こんにちは、TVerの加我です。 こちらは TVer Advent Calendar 2023 と New Relic 使ってみた情報をシェアしよう！ by New Relic Advent Calendar 2023 の8日目の記事です。 みなさまNew Relicを活用していますか？サービスの信頼性を担保していますか？オブザーバビリティの導入・実現に向けてNew Relicを使い倒していますか？ New Relicは非常に高機能なオブザーバビリティプラットフォームです。TVerではフロントエンドからバックエンドまでNew Relicを活用した横断的な観測を行っています。しかしNew Rel…

こんにちは、TVerでデータ分析をしている高橋です。 こちらは TVer Advent Calendar 2023 の12日目の記事です。 弊社の分析業務は、主にBigQueryに蓄積されたデータを対象としています。データ処理の効率を向上させるため、データの前処理から集計までを一貫してSQLクエリで実施しています。この過程でNULL値の取り扱いは避けて通れない重要なテーマとなっています。 この記事では、（直近タスクでNULL含む処理の検証に多くの時間を溶かした筆者が）弊社で頻繁に使用されるSQLクエリの処理においてNULLがどのように扱われるかをまとめたのでご紹介します。 チートシート 今回調…

こんにちは、TVerの加我です。 こちらは TVer Advent Calendar 2023 の4日目の記事です。 先日Inter BEE 2023に併せてMedia-JAWSを開催しましたのでそちらのレポートになります。 昨年のレポートはこちら。 techblog.tver.co.jp Inter BEE 2023 今年は11/15 - 11/17にかけて幕張メッセで開催されました。Inter BEE自体の説明については昨年のレポートをご覧ください。 会場 昨年は予備知識というか業界知識がゼロの状態で参加したので展示を見ても何が何やらという状態でしたが、今年は多少なりとも知識があったので展…

こんにちは！ こちらは TVer Advent Calendar 2023 の2日目の記事です。 TVerのサービスバックエンドのリードエンジニアをやっております内海です🐶！ 今年も昨年同様、チーム：パカパカアルパカとして出場してきました。 isucon.net 22位 86,322 パカパカアルパカ いえーい🎉 やったこと 担当範囲 基本、私はいつもアプリケーションレイヤーばかりみています。 toritori0318氏がインフラをメインに担当。 teraken氏がツール周りと遊撃担当。 開始直後 AWS上のリソース構築 レギュレーション、マニュアルの読み合わせ リソース構築完了後 初回ベンチ…

こんにちは、TVerの加我です。 昨年に引き続き今年もTVer Advent Calendarを開催します！ こちらはTVer Advent Calendar 2023 の1日目の記事となります。 qiita.com 昨年のはこちら。 qiita.com 今年のアドベントカレンダーに向けて 現在のTVerは下記のような組織体制となっております。 全体の組織図 speakerdeck.com その中でサービスの開発に携わっている部門 ≒ 開発組織は主に下記が挙げられます。 TVerの開発・運用を担っているサービスプロダクト本部 TVer広告プラットフォームの開発・運用を担っている広告事業本部 昨…

こんにちは、TVerの加我です。 先日10/7に福岡で開催されたJAWS Festa 2023 in Kyushuに企業サポーター兼当日スタッフとして参加してきました。コミュニティというキーワードに着目しつつ写真多めでレポートしていきます。 アンバサダーである広告事業本部の安部がJAWS Festa 2023の応援ブログと現地参加レポートを投稿してくれていますので先にご紹介します。 techblog.tver.co.jp techblog.tver.co.jp JAWS Festaについて JAWS-UGには大きな年次イベントが2つありまして、それがJAWS DAYSとJAWS Festaです…

こんにちは。アドテク領域のエンジニアをしています安部です。 10月7日に開催されたJAWS Festa 2023に参加してきました。 jft2023.jaws-ug.jp JAWS Festa 2023には企業サポーターとして参加しました。 参加の意気込みについてはこちらを御覧ください。 techblog.tver.co.jp 当日の会場の様子 会場の福岡工業大学。駅直結でアクセスがとてもよかったです。 企業サポーターブースではラバーコースターを置いていました。 他の企業のアンバサダーさんたちとたくさんお話できて楽しかったです！ ノベルティも個性があって見ているだけでも楽しかったです。 オープ…

こんにちは、TVerの加我です。 遂にJAWS Festa 2023が今週末の10/7(土)に開催となります👏 TVerでは企業サポーターとして協賛しておりまして、自社のノベルティを持参・配布する予定です。ぜひお手にとっていただけると私たちが喜びます。前回作成したものから微妙にリファインしておりますので、お気づきの方はこっそり教えてください。 企業サポーターの一覧ページはこちら。 jft2023.jaws-ug.jp 現地には広告事業本部でアドテク周りの開発を行っているアンバサダーの安部と、サービスプロダクト本部でSREとしてTVerを幅広く見ている私の2名が参加予定ですので、気軽にお声がけく…

TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB（以下、会員DB）のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利用することで、プライバシー保護を考慮しつつBigQueryで会員DBを高速で集計できるようにしました。 背景 TVerでは、GKEでセルフホストしているRedashを利用してデータ集計や分析を行っています。 また、弊社では分析用のデータはBigQueryに集約する方針のため、基本的にはRedashでの集計はBigQuer…

こんにちは、TVerの加我です。最近ではフロントエンド周りのモニタリング強化やオブザーバビリティを推進しております。 先日の9/1 - 9/3に開催されましたiOSDC Japan 2023にて登壇してまいりました。 fortee.jp ちなみにTVerはシルバースポンサーとして協賛いたしました。 techblog.tver.co.jp © 2023 iOSDC Japan 2023 実行委員会 iOSDC Japanとは 以下、公式サイトからの引用です。 iOSDC Japan 2023はiOS関連技術をコアのテーマとしたソフトウェア技術者のためのカンファレンスです。今年もリアル会場とオンラ…

こんにちは。データエンジニア 遠藤（TVerにJOINしてまだ3ヶ月）とアドテクエンジニア 鶴貝です。 2023年8月29日～31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。（4年ぶりのオフライン開催） 弊社では、民放公式テレビ配信サービスTVer・TVer広告のデータ分析で用いるビッグデータ基盤にGCPを採用しています。そこで、先述したエンジニア2名がGoogle Cloud Next '23に現地参加させて頂きました。 Next '23ではGCPの新機能リリースや世界中での活用事例が多く紹介されました。本記事…

こんにちは。アドテク領域のエンジニアをしています安部です。 10月7日に開催される JAWS Festa 2023 に企業ロゴサポーターとして協賛します。福岡出身の私としては4年ぶりのリアル全国イベントが地元なのがとても嬉しいです！ jft2023.jaws-ug.jp JAWS Festa とは HPより引用します。AWSユーザーのエキスパートたち、九州各県やスタートアップの事例などいまの九州だからこそやっていきたい、そんなコンテンツ/セッションと盛りだくさんのコミュニティイベントです。 jft2023.jaws-ug.jp 弊社とJAWS-UGの関わり 昨年のJAWS DAYS 2022 …

こんにちは！ TVerでフロントエンド開発チーム(iOS, Android, Web)のマネジメントをしている吉田と申します。 私は2023年4月よりTVerにジョインしまして、過去20年程度IT業界で開発からマネジメントまで携わって参りました。 今後もTVerのブログ記事など執筆することもあるかと思いますが、何卒よろしくお願いいたします！ TVerサービスと開発チーム TVerのサービスは、2023年5月には月間再生回数も3.5億回を超え、月間ユニークブラウザ数も2,800万を超えるサービスへと成長をしているものの[1]、まだまだ開発スピードの向上（＝ビジネスの成長速度）を高めていける余地が…

こんにちは。TVerの水野です。 2023年8月26日(土)、ヤフー株式会社 17F LODGE & セミナールームで開催された、ISUCON 夏祭り 2023に参加してきました。 isucon.connpass.com ISUCONとは ISUCON夏祭りとは 会場 ISUCON個人スポンサー ノベルティ ハンズオン トークセッション 登壇動画 登壇資料 Fireside Chat 交流会 感想 最後に ISUCONとは ISUCONについては、下記のインタビュー記事より引用させて頂きます。 『ISUCON（イスコン）』とは『Iikanjini Speed Up Contest（いい感じに …

こんにちは！！！！ バックエンドエンジニアの内海です。 タイトルの通りなのですが、2023/11/25に開催されるISUCON13に協賛させていただくことになりました🎉 昨年のISUCON12も協賛させていただいております。 ISUCONとは？や、協賛への思いはこちらに書いておりますので、お時間のあるときにお読みいただければ幸いです。 techblog.tver.co.jp ISUCON13 今年のISUCONは今までの予選→本選の形式から、大きく変更があり本選のみとなりました。 isucon.net 昨年までとは違い、いきなり本選なのでわくわくしちゃいますね！ TVer と ISUCON 昨…

こんにちは。TVerの加我です。 人生初の3ヶ月連続登壇という予定を組んでしまいまして、7/29にその第一弾となるJAWS-UG 東北(秋田)にて登壇してまいりました。 jaws-tohoku.doorkeeper.jp JAWS-UGとは 公式サイトより引用させて貰いました。 JAWS-UGとは、AWS (Amazon Web Services) が提供するクラウドコンピューティングを利用する人々の集まり（コミュニティ）です。 一人ではできない学びや交流を目的としてボランティアによる勉強会の開催や交流イベントなどを行なっています。 私たちは日本全国に「支部」の形でグループを持ち、それぞれのテ…

こんにちは、主としてデータにまつわる四方山を相手にしている森藤です。 昨年の2022年6月から取り組んでいた、慶應義塾大学 星野ゼミ様との共同研究「行動経済学に基づく効果的なプロモーション手法」が一旦、完了しましたので、本技術ブログでも公開いたします。 tver.co.jp hoshinoseminar.com 課題 TVer は「見逃し配信サービス」であるにも関わらず、それすらも「見逃してしまう」ユーザに対して、どのように「見逃さないでいてもらうか」が大きな課題となっていました。 バラエティであれば、連続する回で無い限りは、次のエピソードから視聴していただくことも可能ですが、ドラマやアニメの…

TVerの黒瀬です。 先日開催されましたGoogle Cloud Day '23 Tourの東京会場にて、Breakout Session枠で登壇しました。 この記事では、その発表内容について概要を簡単にご紹介いたします。 なお、本発表の細かい内容については下記ページからオンデマンド配信でご覧になれます。 cloudonair.withgoogle.com speakerdeck.com 背景 TVerは今後のサービス改善のために、提供中の機能などの利用状況をBigQueryで集計・分析するための環境を持っていました。 そこでは、収集したいログごとに異なるサービス・プロダクトを契約し、それらを…