どんな仕事をやってきたのか（データ分析・研究職編）

前の記事で、データ分析の仕事に転身するまでの話を書きました。
ここでは、その後の話をします。

SEから研究職に

データ分析をやろう。そして、ゆくゆくは自分がやってきたようなプロダクトに付加価値をつけたい。そう思って社内公募に手を上げ、データ分析をやっている研究部門に転身することができました。
2011年の夏、30代前半のことです。

しかし、転身といっても社内の異動。そこまで大きなショックはないだろうと高を括っていました。募集要項にも未経験者可とあったし、何より企画や製品化が業務なら、むしろ得意かもと思っていたのでした。

異動前に考えていたことは次のようなことでした。
今考えると死亡フラグ全開です。

・研究部門でイノベーションを形にするための募集だろう。
・ビジネスサイドの知見が必要になったのだろう。
・面接でデータ分析経験なしと伝えたから大丈夫だろう。

想定外の職場

異動して数日後、上司から次のようなことをサラッと言われました。

「募集要項には製品化と書いたけど、実際にやることは研究開発。製品化は研究所ではやらないよ。あのように書かないと誰も来ないからね。
テキストマイニングやデータ分析をやってもらうことになるよ。」

これは困ったことになったと思いました。
噂に聞くブラック職場の募集の手法にそっくりです。
表情は変えませんでしたが、相当顔色が悪くなっていたと確信しています。

周りを見渡すと、どの研究員も黙々とLinuxのコンソールでコーディングをして、実験を回していました。そして、ビジネスの話をしている人は誰もいませんでした。

私は、コーディングは入社4年目以降はやっていませんでした。しかも、実務でやったコーディングはJavaとCOBOL。回帰も機械学習も形態素解析も未経験でした。学術論文は何年も読んでいません。そして、英語がポンコツ…と完璧なまでにマッチしていません。

私は、経験もスキルも活かせない職場に、30代で飛び込んでしまったのでした。そして、私は経験を買われたのではなく、人員補填のために適当に選ばれたということがわかってきました。

もし前の職場にいれば、次期バージョンのプロダクト開発と早めの昇格があったかもしれません。ああ、これは失敗したかも知れない…。

経験が1ミリも通用しない日々

こうして始まった私の「データ分析研究者」としての仕事は、散々なものでした。

上司の指示やミーティングの観点がさっぱりわからず、作業としてのコーディングもできません。慌てて統計学、統計解析、Rの本を買い込みましたが、読んでもなかなか理解できませんでした。数式が入った本を読むのは実に8年ぶりという状況で、頭が受け付けません。

ある時、NLP関連の英論文(NTCIR)を10本ほど渡され、明後日までにサーベイしてくるようにと指示されました。NLPは大学でもやっていなかったので、目の前が真っ黒になりました。帰宅後に家で夜な夜な読んでみましたがさっぱり分からず、ダイニングテーブルでうなだれていました。
結果、大したサーベイはできず、ミーティングでは針のむしろでした。

次に、テキストの分類をやることになりました。
このとき、テキストデータのハンドリング、学習器、実験方法のすべてが未経験という状態でした。正規表現すら記憶にないレベルです。でもやるしかありません。

そこで、NLPを専門にしている先輩に相談すると、とても面倒見がよい方で、標準入力から受け取ったテキストをMeCabに流すためのサンプルコードを渡してくれました。それは、Perlでこのような雰囲気のコードでした。

 my %d;
 while(<>) {
     chomp;
     my @a = split /\t/;
     $d{$a[0]} = $a[1];
     …
 }

高々50行くらいのコードでしたが、Perl未経験の私はほとんどの行が理解できませんでした。Perlの本を数冊買い込み、ググりながら一晩かけてようやく20行ほど理解できるという有様で、日々睡眠時間が削られていきました。

このように、前職の経験が1ミリも通用しない日々を送ることになったのでした。このときの惨状は一度ブログに整理したことがあります。書いていて辛くなったので、乱文のママにしています。

自分の分析テーマとの格闘

それから数ヶ月経った後、自分自身の研究テーマを持つことになりました。
詳しくは書けないのですが、「ソーシャルメディア」データの活用研究です。とある業務分野への応用を狙った研究テーマでした。

今では、SNSの情報は様々な分野で活用されています。しかし、当時は東日本大震災直後ということもあり、デマの問題もあって、そういう雰囲気はありませんでした。

私は、このテーマに真正面から取り組むことになりました。
大量のテキストデータを相手に、データ加工、集計、モデル化、評価といったことを学んでいきました。

当時は周囲にscikit-learnのようなこなれたライブラリ使っている人はおらず、皆それぞれのやり方で学習モデルを作っていました。
当時のRは巨大な行列を投入するとメモリが足りなくなってしまうことがあり、先輩に教えていただきながらPerlやRubyでデータ処理を行っていました。とても人様には見せられないような方法でスパースマトリックスのデータ構造を作り、恐る恐る予測モデルを作っていきました。

技術習得と並行して、対象の業務領域の知識や課題を把握する必要がありました。まずは人に話を聞こうと、その業務の専門家にインタビューをしてみたのですが、話していることの本質がよく分かりません。そこで、図書館に何度も通い、朝から閉館までその領域の本を大量に読み、時間切れになって慌てて複写。その帰りに大型書店で専門書を買い込んで、電車と家で読む。

それでもなかなか成果が出ず、部内の研究レビューではいつも叱責されてばかりでした。その恐怖のレビューは数時間にも渡り、終電間近に大量の課題が課せられました。そして、それを調べるだけで時間が経ってしまうという悪循環。

睡眠時間を削り、本を読み、コードを書く。それでも時間が足りませんでした。私には経験もスキルもなかったからです。

こんな生活が続き、心身ともにすり減っていくような気がしました。
しかし諦めたくない。続けていればいつか光がみえるはずだと思っていました。

データ分析者として歩き始めた日

そうこうしているうちに、とある学会の研究会で発表する機会をいただき、その分野の専門家から貴重な意見をいただくことができました。それをきっかけにソリューションのコンセプトを作り、自社の営業や事業部の方と会話するようになっていきました。

そんなある日のことです。唐突に営業から電話がかかってきて、外部の顧客とディスカッションをすることになりました。その時のことは、以前にツイートしました。

この日のことを私は生涯忘れないでしょう。
このとき、ようやくデータ分析者になったのだと思います。異動して数年が経っていました。

プロダクトへ

実務を通して少しずつデータ分析実務ができるようになっていきました。
そして、研究テーマとして取り組んでいたものが、自社のプロダクトとなって世の中に出ることになりました。

それは、既存プロダクトの改良でもなく、市場自体もまだないというものでした。ついに、念願だった新プロダクトの立ち上げを行うことができたのでした。

このときの経験は、10を100にする仕事ではなく、0を1にするような仕事だったと思います。それは、世の中を驚かせるようなものではありませんでしたが、得難い経験となりました。

そして、気がつくと、異動前にやりたかったことがいつの間にかできていました。異動から4年半が経過していました。

その後のデータサイエンティストなる業務

目標を達成してしまったので、次はどうしようかと考え始めていました。

研究もよいのですが、やはりビジネスに戻りたい。
そう思っているときに、唐突にAIブームがやってきました。研究員もその流れに飲み込まれていくことになりました。そして、その流れに乗って自然な形でビジネスサイドに復帰したのでした。

それからは、データサイエンティストとして、データ分析のプロジェクトや、プロダクト開発といった業務を行っています。

--

ひとつの会社でシステム開発、プロダクトマネジメント、技術マーケティング、応用研究、データ分析、といろいろな仕事を経験してきました。
一般的なジェネラリストと違い、決して上を目指すやり方ではないと思います。おそらく、一つの職場で関係も経験も積み上げた方が、昇進は早かったと思います。

興味の赴くままに動き、想定外の事態に遭遇して痛い目に会いつつも、粘りだけで乗り切ってきたキャリアは、デコボコしたものです。

それでも、それが私のキャリアなんだと思っています。