初心者エンジニアのシステム構築失敗談

初心者エンジニア
の
システム構築
@Spring_MT

@Spring_MT
in 10xLab

Infra and
App Engineer

・前職でエンジニアに転向

・エンジニア歴 2年半くらい

・福岡歴は10ヶ月

言語
フレームワーク
perl
独自フレームワーク

テストはあんまりない >_<

DB関連
databaseは複数

joinは基本しない

masterとslave

autoincrement使わない

・テスト周りの環境がっ
てる

・新しくjoinする人(学生
含めて)の学習コストが低
い

・複数DB対応

・master slave振り分け

・採番(sequence)

・belongs_toの扱い

いきなり大きいこと考えすぎ

でもこの時は必要だと思ったんで
す。。。。

複数DBの対応
master・slave振り分け

方針
・DB + master、slave毎に
modelを作る

・Controllerで明示的にDBア

class TestMasterShard < ActiveRecord::Base
self.abstract_class = true
establish_connection "#{ENV['RAILS_ENV']}_test_master"
end

class FooMaster < TestMasterShard
self.table_name = 'foo'
attr_accessible :name
validates :content_id, {presence: true}
end

octopus
・テストではまる

・明示的に書いたほうがトラブ
ルが少なそう

# config.include RSpec::Octopus
config.before do
shards = ActiveRecord::Base.connection_proxy.instance_variable_get(:@shards)
@connections = shards.values.map(&:connection)
@connections.each do |connection|
connection.increment_open_transactions
connection.transaction_joinable = false
connection.begin_db_transaction
end
end

config.after do
@connections.each do |connection|
if connection.open_transactions != 0
connection.rollback_db_transaction
connection.decrement_open_transactions
end
end
end

View

Controller Model

UserController UserMaster master

UserSlave
slave
FeedController

FeedMaster master

FeedSlave
slave
GroupControlle

GroupMaster master

GroupSlave
slave

方針
アプリ内で一意のIDを発行する

・IDがわかれば、それに紐付
くデータが一意に決まる

・重複が起きない

ex) user_id + コンテンツ

class Sequence < SequenceShard
self.table_name = 'seq'

def self.generate(model)
result = self.connection.execute(
"UPDATE seq SET id=LAST_INSERT_ID(id+1)"
)
id = self.connection.last_inserted_id(result)
or raise RuntimeError
return id
end

end

方針
今回は複数DBを想定したの
で使わないことにしました
>_<

課題
・Controllerからはmaster
slaveを意識せずに使いたい

・ Fat Model

いきなりこの時点でスケール
を考えている。。。

そもそも考慮する必要があっ
たのか？

自分で見えない敵を作って
た。。。

方針 slave
・Controllerがmaster
を意識せずにModelを呼び出せ
る

・DBへデータを取得する部分
とデータを加工する部分を分け
る

方針
ModelをLogic層とData層
に分ける

View

Controller Model
Logic Data
UserController UserLogic UserMaster master

UserSlave
slave
FeedController

FeedLogic FeedMaster master

FeedSlave

GroupControlle
slave

GroupLogic GroupMaster master
GroupSlave
slave

Data層
・DBへのアクセスを管理する
層

・connectionの設定や、SQL
を管理するだけに留める

class TestMasterShard < ActiveRecord::Base
self.abstract_class = true
establish_connection "#{ENV['RAILS_ENV']}_test_master"
end

class FooMaster < TestMasterShard
self.table_name = 'foo'
attr_accessible :name
validates :content_id, {presence: true}

default_scope where(is_deleted: 0)
scope :hoge, lambda { |foo| where('bar = ?', bar) }
end

Logic層
・Data層を組み合わせて
データの加工を行う

class BaseLogic
include ActiveModel::MassAssignmentSecurity
include ActiveRecord::AttributeAssignment
include ActiveModel::Conversion
include ActiveModel::Validations
extend ActiveModel::Naming
extend ActiveModel::Translation

def persisted?; false; end
end
class TestLogic < BaseLogic
attr_accessor :foo
attr_accessible :foo

validates :foo, {presence: true, length: {maximum: 255}}

def get_test_one
end
end

課題
・複数のテーブルからデータ
を取得する場合、どこにその
処理を書くかで迷う(Logic
層？、Controller?)

方針
ControllerとModelの間に
一層(Context)を追加

ユーザーのしたいこと DBのデータを適切な
View
を実現する処理の流れ形で受け渡すのみ

Controller Context Model
Logic Data
UserController UserContext
UserLogic UserMaster master

UserSlave
FeedController FeedContext slave


GroupController FeedSlave
GroupContext
slave


GroupSlave
slave

Model Data層

・DBへのアクセスをコント
ロールする層。発行するSQL
はここでコントロールする

Model Logic層
・Data層をコントロールす
る層

・基本的に一つのテーブルに
一つ

Context
・ユーザーのしたいことを
実現するための処理の流れを
実装する

->ユーザが操作する内容ご
とに実装

Controller
・Contextで作成されたデー
タをViewに受け渡す

cellsを使って、uriで表現されている処理のみを実装
するようにしている

View
・データを描画する

・ここにロジックは書かない

課題

・validationをどうする？

・ユーザーが入力した値の
チェック

・DBに格納する前のデータ
のチェック

・Railsは2つのvalidation
が一緒になってる

Contextが入ったことで
validationでエラーが起きた時の
ARオブジェクトの受け渡しをど
うするか？

Contextでは複数のARオブ
ジェクトが格納されて、その中
からvalidationエラーをまとめ
る。。。。

Validation
チェック

のチェック

Controllerでもvalidationする

Controller
でも
validation

チェック => Controller

のチェック => Model

Controller
でも
Validation
するために

DataValidatorってのを書き
ました

DataValidator

ARのvalidatorとほぼ同じバ
リデーションロジックを実装
しています

params = {foo: 'foo', bar: 'bar'}

validator = DataValidator::Validator.new(
params,
{foo: {length: {is: 4}}},
{bar: {presence: true, format: {with: /A[a-zA-Z]+z/}}}
)

unless validator.valid?
@errors = validator.errors
end

@errors
=> {
foo: ["is the wrong length (should be 4 characters)"],
bar: ["can't be blank", "is invalid"]
}

・ユーザーの入力値

=> Controllerのアクショ
ン毎にDataValidatorを使う

・DBに格納する値

=> Modelで

Controllerでvalidationし
た後は、ユーザーの入力値は
正しい値としてみなし、DB
に入れる値をチェックする時
にエラーになった場合はシス

ユーザーのしたいこと DBのデータを適切な
View
を実現する処理の流れ形で受け渡すのみ

Controller Context Model
Logic Data
UserController UserContext

Validator
UserLogic UserMaster master

UserSlave
FeedController FeedContext slave
Validator


GroupController FeedSlave
GroupContext
slave
Validator

GroupSlave

slave

・この構成で落ち着いてます

・これ以上は手を入れない予
定

Railsやめちゃ
いなよって
つっこみはな

gem
・data_validator

・rack_session_redis_store

・redis_json_serializer

画像・ファイル
ストレージ

・分散ファイルシステムを自
前で作る？

・色々なアプリでAPIちっく
に使いたい

画像・ファイル
・sinatraでappは作
AWS VPC
App(RoR)
成
HTTP
・閲覧権限等は本体で
Nginx
管理
varnish varnish
・自前で分散ファイル
sinatra sinatra
app app システム構築は難しい
のでS3を使用
S3

public

subnet
net work

Gateway NAT
SSLの変換

subnet subnet subnet
subnet fluentd
utility storage
ser vice
deliver proxy
APP
Watch
redis
f f f
worker varnish
DB +
sinatra

f f worker

f f

その他
・session storeにredis

・queue処理はfluentd +
resque
=> http://spring-mt.tumblr.com/post/35097726578/fluent-plugin-resque

・fluentd + GrowthForecastを

時間があれば。。。。

なにかあれば
懇親会で！

ご清聴あり
がとうござ

初心者エンジニアのシステム構築失敗談

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie 初心者エンジニアのシステム構築失敗談

Ähnlich wie 初心者エンジニアのシステム構築失敗談 (20)

Mehr von Makoto Haruyama

Mehr von Makoto Haruyama (11)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)