THINKING MEGANE

ペパボに入って4年が経った

ペパボに入社したのは確か2012年の10月だったと思うので、かれこれ丸4年が経ったことになる。

転職のきっかけは、新卒で入社した地元の会社での業務の出張の多さと技術面の軽視が自分の考える働き方と合わなくなったからだった。とにかく技術でやっていきたいんだという気持ちはありながらも、その気持ちを消化できる企業がどんなものか分からず、悶々と転職サイトを見ていた気がする。ある日、福岡 おもしろい it 会社 みたいに思考停止甚だしい検索をして、まとめサイトに辿り着き、自社でWebサービスを運営している会社への転職というのが視野に入った。今にして思えばもっとよい探し方があったと思うが、新卒で1社しか見てないあの頃はとにかく世界が狭かった気がする。ともかくそのまとめサイトにあるおもしろい会社を上から順に調べていって当時のpaperboy&co.に行き着いた。

当時、福岡基盤チームを立ち上げていく時期で技術的にも力を入れ始めていそうだったし、とても良い入社エントリがあったりして、応募を決めた。実は、福岡基盤に応募してバッサリと書類で落とされたのだが、入社すればなんとかなるぞと、ムームードメインのエンジニアとして再度応募した。幸運にも書類を通過して面接に行ったら、半袖短パンでサンダルの髭で目の細いおじさんが、それなりにえらい人として出てきたので、こんな社会人がいるのか、と日本に居ながらにしてカルチャーショックを受けるという貴重な体験もした。なんとか東京での最終面接を終え、採用通知を受け取り、これから始まるであろうおもしろい生活を想像しながらその日は一日幸せな気分だったのを覚えている。

入社後は、とにかく技術的なことを一緒に話せる人が会社にいることがうれしかった。当時のムームードメインはコードも運用も前時代的なものがたくさんあり、これらを現代風に置き換えていくというバリュー出し放題な環境で、GitHub、テストの追加、CI、デプロイ、Vagrant、Rails導入などをみんなで進めながら1年目はあっという間に過ぎていった気がする。シニアエンジニアになることができたのもこのあたりだった。

2年目にGo言語と出会ってから、アウトプットの量が増えた。The Platinum Searcherをつくったのもこの頃で今では1,700ぐらいスターついてて代表プロダクトに成長してくれた。 3年目にかけてGo関連でHoi,ArgenといったプロダクトやFukuoka.goの主催、東京でのGoConferenceでの登壇も経験して、なんとなく入社前に描いていたエンジニアっぽいひとになったような気がしていた。実際、社内でも成果をあげていたと思うし、アドバンスドシニアエンジニア(現プリンシパルエンジニア)になれたのでそのように評価されていたのだと考えていた。

そんな折、CMを打つことになったminneへの助っ人としての参加から、正式な異動があり、急成長するサービスを支えるエンジニアとなった。新しいチームや環境はなかなかに刺激的で学びがあったが、特に基盤チームを始めとする社内でもレベルの高いエンジニアと仕事をする機会が増え、そのスキルと視点の広さに自身との差を見てしまった。アウトプットも視座もまだまだ個人レベルだなと思い至り、試行錯誤の4年目が始まった。

プリンシパルエンジニアになったのは、最低限の基準を満たしただけで、実際はその職位としてあるべき振る舞いに向けて精進することを求められていたのだと思う。まだまだだった。 とにかく今までの延長だとダメだと、サービスを横断できるような仕組み作りで、ログ活用基盤Bigfootを担当したり、機械学習やるため数学の勉強し直しをしたりしていた。

今までより広い範囲のことができるようになったのはよかったと思うけど、もう少し敏感に課題を見出したり、大きな思想を持って解決策を提案したりできた気もする。手を動かす部分とのバランスが難しい。来年以降の課題になりそう。

もっとエンジニアらしく理路整然と取り組みやペパボの制度のよさを伝えたかったが、4年という期間を振り返っていると懐かしくなってしまって思い出語りになってしまった。

4年同じ会社にいるのはこの業界ではそこそこ長い。と思う。多分、ペパボがおもしろいとか仲がよいとかだけの会社だったら転職していたかもしれない。少し前までは自分のエンジニアとしての成長と会社の評価制度の成長具合がちょうどいいからだと感じていたけど、実際は評価制度の成長のほうが一歩先にいって、常に先回りした道を敷いている。抽象的なキーワードが示されるときもあるけど自分なりに考えて動くとなぜか成長しているというのはなかなか絶妙な加減じゃないかと思う。単純にそういう時期に在籍したということではなくて、制度としてそれが整備されて、日々アップデートされていっているのはエンジニアとして魅力的な環境であるし、自分の現状の少し先のイメージとして参考になるエンジニアが常にいる。その環境が続ける最大の理由なのかなと思っている。

ペパボでの5年目はまた働き方も変わってくる予定で、先回りした道も敷いていきたいし、憧れとしての背中も見せていきたいし、サービスもバシバシ成長させていきたい。

5年目、僕は上を見ていきたいと思います。今後ともどうぞよろしく。

— お知らせ —

こんなペパボに興味持たれた方、もっと雰囲気知りたい方、まずはお気軽にペパランチョンでもいかがでしょう。

『みんなのGo言語【現場で使える実践テクニック】』をいただきました。

著者のお一人、@songmuさんより、『みんなのGo言語【現場で使える実践テクニック】』をいただきました。ありがとうございます。

現場で使える実践テクニックのタイトル通り、Go言語界隈の有名人が様々なテクニックを紹介してくれています。自分もGo言語が好きでよく書いていますが、書き始めた当時に試行錯誤しながら身につけてきた知識、テクニックが簡潔にまとまっており、文法を一通り覚えた初学者にとって学習効率が非常に高い本ではないかと思います。

第1章 Goによるチーム開発のはじめ方とコードを書く上での心得

Go言語を快適に書くための開発環境の準備から、Goらしいコードを書くまでが簡潔にまとめられています。main.goだけのプロジェクトから卒業するときに悩むところが網羅されており、A Tour Of Goのあとに、みんなのGo言語 1章を読むまでを入門としてよさそうです。

また、この章で拙作の(dragon-imports)を紹介していただきました。ありがとうございます!

第2章 マルチプラットフォームで動作する社内ツールのつくり方

2章ではマルチプラットフォーム対応をするために気をつける点が説明されています。2.5 がんばるよりもまわりのツールに頼るや、2.8 設定ファイルの取り扱いなど、単一のプラットフォームだけでも役立つテクニックが掲載されています。

第3章 実用的なアプリケーションを作るために

実際に各所のプロダクション環境で動いているツール開発の経験が盛り込まれているまさに実践的な章です。自分自身も、独自シグナルによるメンテナンス性の向上やcontextパッケージなどまだ知らなかった知識を仕入れることができて満足度が高い章でした。

第4章 コマンドラインツールを作る

マルチプラットフォーム、シングルバイナリを実現するGo言語の華形と言えばCLIツールだと思います。CLIツールをつくるにあたり、本章を始め、筆者の方が今までブログや発表の中で一貫して述べてきた、使いやすくメンテナンスしやすいツールにするためのテクニックはとても役立つと思います。

特に4.5にある終了ステータスコードや入出力をmainとパッケージで分離する手法については自分のプロダクトでも採用させてもらっており、メンテナンスやテストによる堅牢性の向上などにつながっておりオススメです。

第5章 The Dark Arts Of Reflection

Go言語のリフレクションで何ができてどのような副作用があるかが説明されています。パフォーマンスについてもまとめられており、利用に関して自分自身で判断できるようになるためにも読んでおくとよいかと思います。

それにしても動的なSelect文の構築ができるとは思っていませんでした。Go言語初心者を脱した方にとっても新鮮な発見がある章かもしれません。

第6章 Goのテストに関するツールセット

Go言語でのテストの基礎とテクニックを紹介しています。Go言語もテスティングフレームワークが一時期乱立しましたが、最終的には言語標準の機能によるシンプルなテストに落ち着いたのではないかと思っています。この章を読むことでGo言語の提供する仕組みに沿いながらも必要十分なテストを書くための知識を得ることができると思います。

まとめ

全体を読みながら、自分もここでハマったなとか、最終的にこういう風に書いているなと納得しながら読み進めることができました。こういった知見は、普通は自分自身の試行錯誤や他のひとのコードを読んで少しづつためていくものですし、知見がたまったとしてもなかなか網羅的にひとに伝えることは難しいものだと思います。この本にある、現場で培われた実践的なテクニックを本というカタチで学習し、共有できるのは自分自身のスキルアップだけでなく、チームの拠り所として立ち上げや新規参入者を迎えるにあたって心強い一冊となるのではないでしょうか。

また、紹介されるテクニックについても様々なレベルがあり、自分のレベルややりたいことの変化に応じて、新しい発見のある本ではないかと思います。140ページほどで簡潔にまとめられているので、気軽に読み始めることができます。みんなのGo言語【現場で使える実践テクニック】 オススメです。

プログラマのための数学勉強会@福岡#5 で「Goによる勾配降下法 -理論と実践-」を発表してきた

8/6に開催されたプログラマのための数学勉強会@福岡#5で「Goによる勾配降下法 -理論と実践-」を発表してきました。

今回は勾配降下法にフォーカスした内容となっています。機械学習というブラックボックスが実は誤差を最小化するものであり、そのために勾配降下法というアプローチがある、という基本でもあり、数式に抵抗があると最初につまづく箇所でもあります。

今回は数式と図解に加え、Go言語によるサンプル実装も添えることでプログラマへも理解しやすくなるように資料を作ってみました。

また、勾配降下法の手法だけではなく収束速度の改善や学習率の自動調整といった最適化の手法も紹介しているので、基本を理解している人もよければ御覧ください。

サンプル実装

発表で使ったサンプル実装はこちらで公開しています。

正弦関数を元にしたトレーニングセットに対して多項式回帰を行うことができます。

このような感じで各種勾配降下法や最適化手法、ハイパーパラメーターの調整によってどのように学習が収束していくか、遊んでみてください。

$ go run cmd/gradient_descent/main.go -eta 0.075 -m 3 -epoch 40000 -algorithm sgd -momentum 0.9

こういうグラフが出力されます。

gradient_descent

プログラマのための数学勉強会@福岡

今回は発表に向けて自分で最適化手法について調べて実装して、検証してを繰り返すことで自分自身も理解が深まってよかったです。

発表内容も多様で、個人的には@hokutsさんの、意識の有無を統合情報量として数式に落としこむ統合情報理論の紹介が面白かったです。高度に複雑化した機械学習のモデルが意識を持つのか。色々妄想が進みそうです。

福岡で数学に興味ある方、お気軽に。発表者募集中とのことです。

静的データを扱うActiveHashでページングとライク検索するgem達をつくった

静的データをActiveRecord的に扱えて便利なActiveHashですが、ページングとライク検索が必要になったのでgemをつくりました。


ページングを行えるようにする active_hash-kaminari と、

ライク検索を行えるようにする active_hash-like です。

active_hash-kaminari

ページングを行いたいActiveHashのクラスにPaginatableモジュールをprependします。

class Country < ActiveHash::Base
  prepend ActiveHash::Paginatable
  ...
end

ページングにはKaminariを使っています。モジュールをprependすることにより、検索結果が Kaminari::PaginatableArray でラップされるようになり、ページングが可能になります。

Country.all.page(1).per(10)

もちろんViewでも使えます。

<%= paginate @counties %>

active_hash-like

gemをインストールすると、ActiveHashでlikeが使えるようになります。

class Country < ActiveHash::Base; end

Country.like(name: 'Cana%')

複数条件のうち、ひとつをlikeで検索する場合はwhere内ActiveHash::Match::Like マッチャーを使います。

Country.where(name: ActiveHash::Match::Like.new('Cana%'))

Custom Matcher

ActiveHash::Match::Likeはカスタムマッチャーのひとつで、マッチャーは独自でつくることが可能です。

マッチャーはcallメソッドを持つ必要があります。

class MyCustomMatcher
  attr_accessor :pattern

  def initialize(pattern)
    self.pattern = pattern
  end

  def call(value)
    # Case ignore matcher
    value.upcase == pattern.upcase
  end
end

Country.where(name: MyCustomMatcher.new('pattern'))

callメソッドを持つProcオブジェクトも使うことができます。

Country.where(name: ->(value){value == 'some value'})

OR 条件

あいまい検索という括りでOR検索も行うことができるようになります。

Country.where(name: 'Canada', or: {field1: 'foo', field2: 'bar'})
#=> name = 'Canada' and (field1 = 'foo' or field2 = 'bar')

OR条件の対象のカラムが同じ場合(IN相当)はまだ未実装なのでカスタムマッチャーを使ってください。

Country.where(name: ->(val){val == 'Canada' || val == 'US'})

まとめ

ActiveHash、静的データを扱うのにとても便利なので、active_hash-kaminariとactive_hash-likeと組み合わせて更に便利に使ってみてはどうでしょうか。

Treasure Dataのスケジュールジョブをコードで管理するPendulumというgemをつくった

Treasure Dataに収集したデータを集計・出力するためにジョブをスケジュール登録するにあたり、ブラウザコンソールやAPIから直接行うと履歴管理やレビューができないといった課題を解決するために Pendulum というgemをつくりました。

PendulumはDSLで記述された定義に従い、Treasure Dataのスケジュールジョブを管理します。 定義ファイルをGit管理することで、履歴管理やGitHubと連携したコードレビューが可能になります。

余談ですが、Pendulumは振り子という意味で、定期的な実行という意味と宝探しのダウジング的な意味から連想しています。ペンデュラム。響きがカッコイイ。

使い方

Schedfileという名前で定義ファイルを用意して、

schedule 'my-schedule-job' do
  database 'db_name'
  query    'select count(time) from access;'
  cron     '30 0 * * *'
  result   'td://@/db_name/count'
end

pendulumコマンドを実行するだけです。

# dry-run で 適用内容を確認
$ pendulum --apikey='...' -a --dry-run
# 適用
$ pendulum --apikey='...' -a

AWSのRoute53に対するRoadworker的なものを想像してもらえるとよいかと思います。

エクスポート

既存のスケジュールジョブがある場合はエクスポートもできます。

$ pendulum --apikey='...' -e

実行ディレクトリに Schedfilequeries ディレクトリが生成されジョブの定義とクエリが出力されています。

修正後、dry-runによるapplyを行ってみると、差分が検出されていることがわかります。

$ pendulum --apikey='...' -a --dry-run
Update schedule: my-scheduled-job (dry-run)
  set cron=@hourly

Schedfile

APIで利用する名称と同じものが使えます。

schedule 'test-scheduled-job' do
  database    'db_name'
  query       'select count(time) from access;'
  retry_limit 0
  priority    :normal
  cron        '30 0 * * *'
  timezone    'Asia/Tokyo'
  delay       0
  result_url  'td://@/db_name/count'
end

priority:very_highなど、cron:dailyといった読みやすい値も使えます。

query_file

クエリはquery_fileを使って別ファイルのクエリを読み込めます。

query_file 'queries/test-scheduled-job.hql'

集計用のクエリは長くなることが多いと思うので、こちらを使っていくことになるでしょう。

result

Result Exportの先を定義する、result_url をわかりやすくするための result もあります。

schedule 'test-scheduled-job' do
  database   'db_name'
  ...
  result :td do
    database 'db_name'
    table    'table_name'
  end
end

現時点では出力先としてTreasure DataPostgreSQL、カスタムのresultをサポートしています。他の出力先をresult記法で書きたいときはPullRequestをお待ちしております。

force

Schedfileに定義されていないスケジュールジョブは通常はUndefined scheduleとなり削除対象とはなりません。削除が必要な場合は--forceオプションを使ってください。

また、Treasure DataのAPI都合上、result_url内のパスワードは***とマスキングされており差分が比較できません。もしパスワードを変更した場合も同様に--forceオプションを使って適用してください。

config

environments/default.ymlなどを用意することで、DSL内でsettings経由で取得することができます。

...
  result :postgresql do
    ...
    password settings.password
  end

また、-E オプションによる環境ごとの設定ファイルにも対応しています。

まとめ

コード管理により履歴管理やレビューといったフローに乗せることができるので大変便利になりました。そのあたりの運用で困っているかたは使ってみてはどうでしょうか。

mrubyからSidekiqに非同期ジョブを登録するmrbgemをつくった

ngx_mrubyでHTTPリクエストに対して非同期処理をしたかったので、mruby-sidekiq-clientという mrbgem をつくりました。

mrubyからSidekiqのジョブ形式でRedisに非同期ジョブを登録し、別途用意したSidekiqのサーバーが登録されたジョブを捌いていくという方式です。これにより、非同期処理は通常のRailsやCRubyのコードで書くことができ、mruby側の処理はシンプルに保つことができます。

使い方

RailsなどでSidekiqを使っている方にはお馴染みのやり方です。

1. 非同期ジョブにしたいWorkerクラスを定義します

class HardWorker
  include Sidekiq::Worker
end

performメソッドはmruby側では実装する必要はありません。Sidekiqサーバー側のRubyコードに実装してください。

2. 非同期ジョブを登録する処理を定義します。

HardWorker.perform_async('bob', 5)

指定時間後に実行するジョブも登録できます

HardWorker.perform_in(300, 'bob', 5) # 300秒後に実行

mruby側はこれだけです。あとは先ほどのWorkerクラスと同じクラスをSidekiqサーバー側に追加し、performメソッドに非同期ジョブの内容を記述します。

ngx_mrubyで使う

mruby_userdataを使って、リクエストごとにRedis再接続しないようにしておきます。

http {

    (snip)

    mruby_init_code '
        userdata = Userdata.new "redis_data_key"
        userdata.redis = Redis.new "localhost", 6379
    ';

    server {

        (snip)

        location /hello {
             mruby_content_handler_code '
                 userdata = Userdata.new "redis_data_key"
                 Sidekiq.redis = userdata.redis

                 class MyWorker; include Sidekiq::Worker; end

                 (snip)

                 MyWorker.perform_async(args)
             ';
        }

Sidekiqサーバー

SidekiqサーバーはPlain Rubyの環境でも動作するため、ngx_mrubyとRedis、Rubyだけでシンプルなジョブキューをつくることができます。 手順はこちらを参考にしてください。

インストール

build_config.rb に以下を記述してください。

conf.gem :github => 'monochromegane/mruby-secure-random'
conf.gem :github => 'monochromegane/mruby-sidekiq-client'

mruby-secure-randomSecureRandomをmrubyで使えるようにするためにつくったmrbgemです。SidekiqのJIDを算出するために利用しています。ランダムデバイスとして /dev/urandom しか対応していないため Windows環境だと動きません。PullRequestお待ちしております。

まとめ

こんな感じでmrubyからSidekiqと連携できるようにしてみました。シンプルなジョブキューであればRails使わずにngx_mrubyとRedis、Rubyだけでつくれてしまうので便利では〜と個人的には思っています。

あわせて、今後、mruby使った動的なフロントサーバーがサービスのどの要件までを担当すべきかといった構成は常に考えていかなければいけないだろうなあとも感じています。適材適所それぞれの利点を最大限に活かせる構成を検討したいところ。

2016

去年も相変わらずGoを書いたり、ブログ書いたり、発表したり勉強会開催したり、自分のペースで自分の楽しいことをやってきたし、ふりかえってみれば、自分なりにそれらしい量もやれたかなとも思うけど、どうしても一昨年からの漫然と続く楽な活動であったと言われれば否定はできない感じがあった。活動の前提が個人の枠を超えていない。Go書いたりブログ書いたりも個人の小さな承認欲求を満たしたいだけなのでどうにもつまらんなあという感じ。

個人活動は非常に楽である。自分の好きなときにつくって公開して、たまに褒められてニヤリとして、また次をつくる。当たらなくても趣味なのでという言い訳が自分に立つ。なんと楽なことか。アウトプット最高!

そう、アウトプット最高なのだ。個人のアウトプットをキッカケに色々なところで知ってもらえて、つながりができていく。アウトプットでスキルが洗練される。ペパボに入る前はこういうことが喜ばれる環境や仲間に憧れて今、これができるようになっていることはとても楽しい。でもここはスタート地点だった。

昨年は仕事の中で、エンジニアとして技術で小手先ではなく戦略レベルの解決策を提示したり、人やチームに良い影響を与える人達を身近に見てきてきた。アウトプットの質が高く、かつそれらが業界や業務にフィードバックされていく。これがまさに専門職。趣味のアウトプットから次に進もう。

僕は自分に自信がないと話すのを躊躇してしまうので、そこの性格を直すというよりは自信が持てるように知識をつけていきたいと思っている。人間は変われないけど、知識がそれを補うことができると信じたい。なので今年の前半はたくさん本を読もうと思う。古典から新しいものまで。大量に読み流すのではなくて自分なりに体系立てていけるようにしたい。とにもかくにも考えをまとめれるようになりたい。

それらが後半以降に組み合わさって、自分なりの専門職としての武器になってくれればよいかなと思う。現時点で具体的な案が出せてないのはつらいところだけど、そもそもそれがあるなら、今ここで長々とこんな文章を書いてはいない。

問題を見つける、それを解決する技術を修める、それを適用していくためにまわりを巻き込む。

全部難しいことだし、今もできていないことばかり。2016年は個人活動から一歩先に進むため、一生懸命もがいていきたい。

Archives