こんにちは、中塚と申します。 今回の記事では、私が先日参加したKaggle Days x Z by HP World Championship (以降、Kaggle Days Championship) について紹介します。ただし、どれくらいCompetitionの内容に触れていいのかが不明なので、今回はタスクや解法の詳細には触れませんのでご理解願います。 私はチームで参加しましたが、チームメンバに恵まれたこともあり、上海開催ではPublic (暫定順位) 11位 / Private (最終順位) 14位、ニューデリー開催ではPublic 4位 / Private 3位でした！各開催のいずれか…

ご挨拶 どうもお久しぶりです、gucciです。 あと3ヶ月ほどで入社して4年が経とうとしています。時の早さに驚きが隠せません。 1年経つのが本当にあっという間ですが、よく過去を振り返る際にスポーツやイベント行事とマッピングして記憶することはありますよね。 今年は、我が東京ヤクルトスワローズがセ・リーグ制覇を成し遂げましたので忘れられない1年となりました。 コロナ禍で声を出しての応援はできませんが、やはりスポーツはいつの時代も熱くなれるとってもいいものですね。 スポーツから話を広げてみますと、 近年スポーツにおいてデータというのがかなり重要なファクターとなってきております。 例えば野球だと、投球…

季節の変わり目に心まで震えてます。chotaroです。 ICPチームでは日々、OpenAPI V3に即してAPIの設計を行なっています。gitlabでは、GUIでSpecを閲覧することができるため、大変便利です。 ですが、この閲覧機能lintまではやってくれないため、気づいたらエラー出るようになってるじゃん！ということであったり、細かい部分の表記揺れはどうしても出てきます。typeはstringで記載されているのに、exampleは数字じゃん！ということもままあります。 致命的な問題には今の所なっていないのですが、後から検知して直すというのも面倒だし、何か起きたら嫌なのでlintするツールない…

大変ご無沙汰しております。じんと申します。テック・ブログの担当と相成りまして、今回は技術の裏側の思想について考えてみたいと思います。 今回の主人公は堀栄三という人です。詳しくはウィキペディアを参照していただければと思いますが、戦中から戦後にかけて優れた情報分析者として足跡を残しました。彼の著書に『情報なき国家の悲劇 大本営参謀の情報戦記』というものがあります。これはデータに関わる技術者の必読書としてもいいのではないか、とも思われるもので、昔からの愛読書の一つです。 本書は一読するたびに大きな学びがあり、その感想は到底ここで書き尽くせるものではありませんが、今回取り上げてみたい問いは以下のように…

はじめまして。データチームのKimy(@yuu_kimy)です。 日々、各種データの整備に関わる開発を行っています。 早いもので、アスタミューゼにジョインしてから、1年が過ぎました。 ジョインしてから、グラント(研究助成)や特許データの整備開発、各種案件対応を行ってきましたが、最近では、特許の概念や用語の勉強の日々です。 だいぶ慣れてきたかなと感じていますが、やっぱり、難しいですね.. さて、案件対応では、蓄積されたデータを活用して、各種データの加工・集計等を行っていますが、様々なデータを利用することで、データのインプット・アウトプットの流れが分かり辛くなってくることがあります。 利用するテー…

データベースを使わずに、有効期限付きURLを生成してみました。また、できるだけ安全性も高めたいので、そこを対応してみました。

お久しぶりでございます。scala等でバックエンドを開発しているaxtstarでございます。 はじめに DX*1が叫ばれて久しい昨今ですが、日々作成されるデータが json だったり yaml だったりにもともとなっていて、簡単にプログラムで取り込めることはあまりないことだと思います。 人が作るデータ形式は、大体はExcelやcsvまたはスプレッドシートの形式が多いと思います。 私もDXの流れに乗って日々スプレッドシートに向かっております。 当然、人の作成したものですので誤りがあるのはある程度は仕方ないので、できる範囲のチェックを実施していることもあるかと思います。 例えば、文字列を範囲の中か…

こんにちは！ICPの主にバックエンドの面倒をみているまるやまです。 今秋いよいよ2年ぶりにJavaのLTS版であるJava17がリリースされます。ICPのバックエンドではJavaを実行環境として利用しているので、次期LTSのリリースに合わせて実行環境の最新化を検討し始めました。が、軽い気持ちで調べ始めたところ、APIサーバだけでも思いの外やるべきことが多くて泣けました。今回はその辺の話でもしようと思います。 まずは結論から 現在のICPで実装しているAPIサーバの主要な技術スタックは以下のような構成になっています。 Play Framework 2.6 ScalikeJDBC3.4.x Sca…

こんにちは！ プロダクトマネージャーの竹村（@juntakemura_pdm）です。 早いもので前回のブログから1年以上が経ちました。 今回が2回目のブログです。 さて、前回のブログではMVPについて書かせていただきました。 lab.astamuse.co.jp その中で、「MVPであれど必要な質をないがしろにしない。」ということを重要なポイントとして挙げておりました。 今回はそれに関連し、これまで私が色々な施策を企画する中で蓄積してきた 「プロダクト施策立案のチェックリスト」 を紹介させていただきます。 このチェックリストは、 「プロダクトの施策立案を行う際、その施策の精度を高めアウトカムの…

開発部のにゃんです。主にバックエンドを弄っております。 Webアプリケーションではセキュリティ対策のためにランダムな文字列を使用する場面が多々あります。例えば CSRF対策のトークン OAuthやOpenID Connectで使用するnonce, state, code_verifier メールの到達確認用URLのトークン パスワードをhashする際に使用するsalt セッションID これらの値は単に衝突しなければOKというものではありません。十分なセキュリティ強度を確保するためには推測不可能なランダム値を使う必要があります。 以下は推測不可能なランダム値ではありません。セキュリティが求められ…

こんにちは。開発部のtorigakiです。 今回はWeave Scopeを簡単に検証した話をさせていただければと思います。 弊社では様々なサービスでDockerを使っています。通常Dockerホストでどのようなコンテナが稼働しているのか確認するためには、サーバーにSSHログインしてDockerコマンドを実行して確認するという流れになるかと思います。 Dockerホストの台数が少ないうちはこの運用でも把握できるかと思いますが、台数が多くなるにつれ、この運用がつらくなってくることが想定されます。 また、1台のホストに多くのコンテナが稼働しているとどのコンテナがどういった連携をしているのか把握してい…

こんにちは、フロントエンドエンジニアの minamo です。 最近は夏映画の公開ラッシュで週2回映画館に通っています。忙しい！ 3度目のブログは、最近導入してみた Stylelint についてです。 Stylelint を導入するメリット おすすめのプラグイン 導入するときに困ったこと・その解決法 などについて書いていきます。 Stylelint って何？ Stylelint は CSS の 構文チェックツール です。Javascript の ESLint の CSS 版とも言える存在です。 基本的な構文エラーや typo 、たまにやってしまうスタイル指定の重複など、構文チェックツールとしての…

お久しぶりです。開発部のyanagitaです。 弊社ではGitリポジトリにGitlabを採用していて、CIはプロジェクトによってGitlab CIやJenkins、またその2つを組み合わせて使用しています。 今回は、Google CloudでCIサービスとして提供されているGoogle Cloud BuildをGitlab CIから実行するところまでを紹介します。 お詫び Google Cloud Buildの実行には事前にサービスを有効にしておいたり、使用するアカウントにGoogle Cloud Buildの実行権限を与える必要がありますが、そのあたりは今回省略します。 Gitlab CIか…

こんにちはnishikawaです。今回はDockerの勉強がてらにPXE環境の構築をしてみたので、そこでの気づきや結果などを書いていきます。 参考にしたのは、以前 弊社の元バンドマンであるgucci氏が書いてくれた記事を参考にしております。 lab.astamuse.co.jp 概要 Dockerを勉強するにあたり、PXE環境をDockerコンテナを用いて構築します。インストールするものはUbuntu Server 20.04 LTSですが、nginxの設定まで文章にしていたら記事が凄く長くなったので、この記事ではPXEでブートメニューを起動するところまでを対象とします。 最初やりたかったこと…

こんにちは、rinoguchi です。過去二回は、Dataprocの話 や 名寄せの話 などを書いたりしてました。 今回は趣向を変えて、子供のお勉強時間を管理するために iOS／Androidで動くネイティブアプリを Flutter で作ったので、その話をしようと思います。 Flutter の特徴 作ったもの 基礎的な構成を確認する アラームを鳴らす方法 通知を行う方法 懺悔 感想 さいごに 最終的に作ったアプリは、以下のようなものです。 Flutter の特徴 まずは、Flutter を知らない人のために、Flutter の特徴を紹介しておきます。 【○】一つのコードベースで、クロスプラット…

お久しぶりです、植木です。前回記事を書いてから、かれこれ一年が経ち、また当番が回ってきました。 現在も、ICPのエンジニアを担当しており、バックエンドとフロントエンド問わずに両方やってます。 はじめに さて、今回はJS界隈では話題のDenoに関するトピックスです。 弊社でもSwaggerで設計した内容を実際のコードにきちんとエンドポイントに落とし込んでいるのかを確認するツールや、Slack botで活用しており、徐々に浸透が広まっております。 個人的にもコードレビューでの気になるコードの動作確認をDenoのReplで行ったり、書き捨てのコードが必要な時もJSでささっと書いてDenoで実行するケ…

こんにちは。デザイン部の橋本です。 企業やブランド、サービスのデザインを行う際「デザインルール」や「デザインレギュレーション」、「デザインシステム」といったデザインのガイドラインをつくることがあると思います。 弊社でも上記のようなデザインガイドラインを作成し、業務に役立てています。今回はそんなデザインガイドラインについて、他社事例を含めて、いろいろと調査してみました。 デザインガイドラインでよく整備されているもの デザインガイドラインとは、色・文字・レイアウトなど様々なデザイン要素について、ルールを綿密に定義したドキュメントのことです。 ※今回は主に “Webページやアプリにおけるデザインガイ…

BigQueryで集計した結果を、GoogleDrive上のスプレッドシートに直にエクスポートする環境を整えたので、実装例含めて紹介します。

今回のブログ担当のt-sugaiです。今回、弊社のじんからインタビュー形式で、データエンジニアが何を考えているのか、という記事にしてはどうか、という提案があり、インタビューを受ける形になりますが、インタビュー形式でお送りします。 ーー今日はよろしくお願いいたします。 t-sugai：よろしくお願いいたします。 ーーt-sugaiさんは当社においてデータベース大臣の異名をお持ちです。これについてはいかがお考えですか。 t-sugai：物々しい二つ名なのと、自分自身は普通のデータベースの利用者だと思っているので、非常に恐縮です。 一方で、キャッチーな名前をつけていただいたことで、「データベースのこ…

こんにちは、2020年3月にastamuseに入社したYNと申します。本ブログを書くのははじめてです。どうぞよろしくお願いいたします。 今回は個人的な趣味で、TensorFlowのMetricsやLossesを使ってXGBoostを学習する方法について紹介したいと思います。 動機 GPUの普及もあってか、XGBoostのようなGBDT (Gradient Boosting Decision Tree) 系のライブラリでもGPUサポートがされるようになりました。ところが、XGBoostのV1.3.0のドキュメントを見ると例えばaucprはGPU対応されていません。また、多くのLossがXGBoo…

あけましておめでとうございます。アスタミューゼでデザイナーをしている@YojiShirakiです。 年末年始は皆さんいかがでしたでしょうか？ さて、今回は年始という区切りということで、当ブログのアクセス情報を紐解いて技術ブログで PV を稼ぐ記事のパターンを４つほどご紹介したいと思います。 目次 目次 当ブログの現況 ブログのアクセス数ってどうなの？ 技術ブログでPVを稼ぐ 4つの記事パターン PVを稼ぐ記事 その1 「ハマれば強いニッチトップ記事」 PVを稼ぐ記事 その2 「持続性抜群のインフラ技術記事」 PVを稼ぐ記事 その3 「数理系・統計処理系記事（但し平易でコード付き）」 PVを稼ぐ…

この記事は 自然言語処理 Advent Calendar 2020 の25日目の記事です。 こんにちは、rinoguchi です。今年の4月に こちらの記事 を書いて以来、半年ぶりの投稿になります。 当社では、特許・研究課題・論文など多くの知的財産データを保持しています。これらのデータを活用するには、データに含まれる同一組織・同一人物に対して同一IDを付与してデータをグルーピングすることが必要であり、この作業のことを名寄せと呼んでいます。 今回はこの名寄せの仕組みについて紹介したいと思います。 大まかな処理フロー 当社では名寄せ処理を、まずそれぞれのデータソース（例えば特許や論文など）の中で実…

ご挨拶 どうもお久しぶりです、gucciです。 気づけばもう12月も半ば…今年は本当に色々なことがあった年でしたね。 新型コロナによってこれまでの日常が一変し、当たり前だったものが当たり前でなくなるという本当に大変な年だったと思います。 私の好きなプロ野球ももちろん多大な影響を受けて、シーズンの開始が遅れ、無観客試合や手拍子での応援など、これまでとは異なるシーズンでしたが、何はともあれ無事にシーズンが終わることができたのは本当に素晴らしいことだと思います。 データエンジニアとしてやってきて さて、そんな中で私はデータエンジニアになり2年が経ちました。 （入社して1年弱アプリエンジニア〜その後デ…

こんにちは、師走ですね。業務に関連した技術トピックをということで、今回は翻訳について書こうと思います。ニューラル機械翻訳（NMT）システムがその内側でどんな処理をしているかを理解することを目的に、実際に簡単な翻訳モデルを手元で作成してみて、その品質を評価するところまでをご紹介します。

こんにちは、アプリケーションエンジニアの @yukung です。突然暑くなったり寒くなったり、気温の変化が大きい今日このごろ、体調いかがでしょうか。コロナの勢いも再び出てきてしまっており少し不安な状況になりつつある中、再度気を引き締め直してしっかり体調に気をつけていきたいですね。 スクラム始めてみてその後どうなった？ さて、今回は以前ご紹介した、弊社の ICP 開発チームにおける開発の様子のその後について触れてみたいと思います。 以前このブログで、ICP 開発チームでは開発の進め方としてスクラムを導入して開発を行っていることをご紹介しました。その時の経緯や具体的なやり方の様子などは、以下の記事…

11月です。寒いですね。ICPチームでgitlab-ci芸人をやっているchotaroです。 gitlab-ciと戦ったのも一年前。 性懲りもなく、ややこなれてきた人向けのgitlab-ciのTIPS記事です。 日本語での情報があまりない分野ですので、誰かの役に立てば幸いです。 （なおこの記事を書いている段階でブログ当番を2ヶ月ほど滞納しております。土下座。 主な元ネタはこちらのgitlab公式doc 本記事のモチベーション 以下をモチベーションとしています。 気軽にツール作ってdeployしたい。 gitlab-ciのjobからgcrにimageをpushしたい ついでにそのままCloudR…

データはいささか奇妙な性質を持っています。なんらかの事象の記録という観点では、それは文明の出現と時期をともにします。それが電子的に記録され、流通するようになってからは、まだ日が浅いものの、現在では、私たちの生活において決定的に重要な意味を持っています。 はじめまして。じんと申します。当ブログでは初のお目見えと相成ります。どうぞよろしくお願いいたします。弊社には2020年1月より参画し、いわゆるデータ・サイエンティストとして勤務しておりました。講談社サイエンティフィク社様のデータ・サイエンスに関する一連の書籍の一部の執筆を担当させていただいたことがありますので、まあ、データ・サイエンティストを自…

BigQueryのINFORMATION_SCHEMA VIEWSを使い、メタデータを可視化してコスト最適化できるか調査してみました。

こんにちは。デザイン部でフロントエンドエンジニアをしているkitoです。 今回は、アプリを作成する際、最適なUIを選定する4つの指針について書きたいと思います。 UIは、人間の心理や認知に深く関わり、アプリへの信頼性を左右する重大な要素ですが、我々がアプリを作成するとき、ほとんどの場合直感的にUIを選択しています。経験豊富なUIデザイナーなら、その直感は間違っていないことが多いでしょう。 ただ、そうはいってもUIはUIデザイナーだけで決定できるわけではないので、直感を言語化して共有することがプロジェクトを前進させる力になります。本文は、学術的な内容ではなく、数多くのUIを実装してきた「現場」か…

立秋の候、残暑が続きますが暦の上ではもう秋ですね。 多分に漏れず、我々 ICP 開発チームも３月４月頃から在宅での仕事が行われているので開発での打ち合わせ／スクラムイベントを中心に工夫や変わったことなどを振り返ってみたいと思います。 同じように打ち合わせで工夫されている方、開発チームの様子に興味ある方に軽い気持ちで読んでいただければ幸いです。 （スクラムに関する用語説明などは省略しております、ご了承ください） スクラムスタートの経緯などは @yukung がこちらの記事にしております。 スクラムに興味がある方はこちらもご参考にしていただければ！ http://lab.astamuse.co.j…