こんにちは。福田直起です。 この記事は、言語処理100本ノック2020の「第2章 : UNIXコマンド」Q17～Q19を解いていて見つけた、UbuntuのsortコマンドとPandasのsort_values()の厳格でない挙動について検証したものです。 解答・解説の前に Appendix-1 : sortコマンドのUbuntuにおける厳格でない挙動について Appendix-2 : pandasのsort_values()の厳格でない挙動について おわりに 解答・解説の前に この記事の 主な対象者と目的 実行環境 解答・解説を読む際の注意 は、以前の記事で説明しています。 検索サイトから直接…

こんにちは。福田直起です。 前回に引き続き、言語処理100本ノック2020を解いているアウトプットとして、「第2章 : UNIXコマンド」の10問のうち、Q17～Q19の3問を解説していきます。 他の問題の回答は、まとめページにリンクを貼ってあります。 解答・解説の前に 解答・解説 Q17. １列目の文字列の異なり Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 Q18. 各行を3コラム目の数値の降順にソート Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 別解 sortedを使うのではなく、バブルソートを書く別解…

こんにちは。福田直起です。 前回に引き続き、言語処理100本ノック2020を解いているアウトプットとして、「第2章 : UNIXコマンド」の10問のうち、Q14～Q16の3問を解説していきます。 他の問題の回答は、まとめページにリンクを貼ってあります。 解答・解説の前に 実行環境 解答・解説 Q14. 先頭からN行を出力 Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 Q15. 末尾のN行を出力 Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 Q16. ファイルをN分割する Python 解答コード 実行結果 解説…

こんにちは。福田直起です。 前回に引き続き、言語処理100本ノック2020を解いているアウトプットとして、「第2章 : UNIXコマンド」の10問のうち、Q12とQ13の2問を解説していきます。 他の問題の回答は、まとめページにリンクを貼ってあります。 解答・解説の前に 解答・解説 Q12. 1列目をcol1.txtに，2列目をcol2.txtに保存 Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 Q13. col1.txtとcol2.txtをマージ Python 解答コード 実行結果 解説 UNIXコマンド 解答コード 実行結果 解説 おわりに 解答・…

こんにちは。福田直起です。 この記事では、言語処理100本ノック2020の「第2章 : UNIXコマンド」の10問をPythonとUNIXコマンドで解き、複数回に分けて解説したものをまとめています。 各記事へのリンクと内容の概要 1. データのダウンロードと整形 前編 後編 2. データ内容の確認とデータの分割 3. 複数プロセスが必要なデータ処理 Appendix. 厳格でないソートが行われる可能性についての検証 おわりに 各記事へのリンクと内容の概要 今回は読みやすさを考慮して、出題意図を推察しながら以下の図のように記事を分割しました。 1. データのダウンロードと整形 前編 （前文、Q1…

こんにちは。福田直起です。 前回に引き続き、言語処理100本ノック2020を解いているアウトプットとして、「第2章 : UNIXコマンド」の前文～Q11までを解説していきます。 他の問題の回答は、まとめページにリンクを貼ってあります。 この記事の主な対象者と目的 実行環境 第2章の解答と解説 解答・解説を読む際の注意 前文――課題データのダウンロードと確認 解答コード 解説 Jupyter Notebook上でのUNIXコマンドの実行について UNIXのwgetコマンドについて UNIXのwcコマンドについて Q10. 行数のカウント 解答コード 解説 withを使ってPythonでファイルを…

初めまして。今年度からブレインズコンサルティングに入社した福田直起です。 私は今、Pythonを使った言語処理を学ぶために、言語処理100本ノック2020に取り組んでいます。 そのアウトプットとして、これからこのテックブログに回答と解説を発表していきます。 今回は「第1章 : 準備運動」の10問を解説していきます。 この記事のレベル感 「Pythonについてif文やfor文などの基本的な使い方なら知っている初心者が、記事を通して言語処理におけるPythonの強みがある程度理解できるようになる」 というレベル感で解説していきます。 実行環境 Ubuntu 20.04.4 LTS Jupyter …

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第６回、A Structural Probe for Finding Syntax in Word Representationsを検証していきます。 BERT、ELMo で埋め込んだ空間表現の中に、パースツリー情報が埋め込まれているらしいことを示した論文です。 本当に埋め込まれていると言ってよいのか、具体的にどのようにして構造を復元しているのかが疑問になるところです。

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第５回、前回理論的（数学的・確率論的）な側面を解説したNeural Processes の論文の実験編です。 DeepMind社のTensorflow による実装を参考に、PyTorch 版を作成しました。 意外と、DeepMind社の実装のように、ある程度抽象化したりモジュール構成を整理したPyTorch版Neural Processesの実装がない印象だったので、独自作成しました。 今回の実験編では、Few-Shot Leaning をテーマに、いくつかのデータセット（※）で検証していきます。…

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第４回、Neural Processes の論文について解説します。 Neural Processes の論文を選んだモチベーションは、もともと確率とニューラルネットワークの合わせ技のモデルに興味があったところ、 Deepmind 社が、ICMLでガウス過程の深層学習版として提案した当論文が目に入って来たというところです。

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第３回、Neural ODE の論文について解説、検証します。 今回の論文は、Neural Ordinary Differential Equationsで、ResNet と、オイラー法の更新則の類似性に着目し、 連続時間のモデルへ拡張した、新しい考え方、手法を提案した論文です。 個人的には、かなり内容が濃い論文の印象で、勉強になった論文です。

こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第２回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解釈を試みます。 先月ぐらいに、政府が考えるAIの7原則が記事になっていました。 その中に、「企業に決定過程の説明責任」というものがあり、一部で話題になっていたと記憶しています（批判が多かった印象）。 日本の戦略を考えると、量で質をカバーする方法では、もはや米国、中国には叶わないということもありそうなので、 仮に少量でも、…

はじめまして、ブレインズコンサルティングの大下です。 ブレインズコンサルティングでは、過去Blogger で、技術的な情報を公開していましたが、長らく更新が途絶えていたこともあり、 そちらを廃止し、こちらで、新たなテックブログとして開始することになりました。 記念すべき初回記事は、「あの論文を検証してみた！」のシリーズ第１回、今（2018年11月）、話題沸騰中（？）の 論文 [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding の解説です！ なにやら、複数の自然…