Vain Effort

まえおき 先週開催されたAWS Summitのセッションの中で「Design for Resilience - 如何にしてクラウドアプリケーションの耐久力を高めるか」というセッションがとてもよかった＆勉強になった。AWS要素は少なくどのクラウドサービスを利用しても適用できるSREの基礎的な内容で、新人やクラウドをこれから始める人はぜひ1回は聞いてほしい内容だった。 6月30日までセッションの動画アーカイブが公開されるらしく、復習しながらメモを書いてみた。 アーカイブを見たい場合は AWS Summit Japnanページ からログインして、 Design for Resilience - 如何にしてクラウドアプリケーションの耐久力を高めるか(SP-04) というセッションを検索すると出ると思う。 資料も早く公開になったらいいな。 レジリエンスとは 言葉の定義 「抵抗力」、「回復力」、「弾力性」 最近では「困難な状況にも関わらず、しなやかに適応する能力」と言われる 情報システムにおけるレジリエンス 定常的に発生しうる部分的な障害に対する適応力 → HA(High Availability) MTBF(平均故障間隔)・MTTR(平均復旧時間) めったに発生しない広範囲の障害に対する回復力 → DR(Disaster Recovery) RTO(目標復旧時点)・RPO(目標復旧時間) 両方の目的は「アップタイムを長く、ダウンタイムを短く、データ損失は最小限にする」 レジリエンスの重要性 我々の日常生活・ビジネスはシステムに大きく依存している メール、生産、物流、ネットの買い物、銀行のATM... 今後システム依存度はどんどん強くなり、代替手段を戻すことも簡単ではない 障害とは システムが正常な稼働状態を維持できなくなること 障害の原因　→　コントロールが効きにくい(すべての原因・変化を事前に想定して取り除くことは難しい) コードや設定、データや状態、コアインフラ、災害シナリオ 障害の影響　→　コントロールが効きやすい(...

Today's 3 Line Summary Version Control, Regression Testing, Full Automation Our goal as developers is to delight users. Pragmatic Programmers don’t shirk from responsibility. TIL (Today I Learned) date 2022.04.05 The scope I read today Chapter 9 Pragmatic Projects What you want to remember in the book Topic 49. Pragmatic Teams Teams as a whole should not tolerate broken windows—those small imperfections that no one fixes. Don’t adopt new tech, frameworks, or libraries just because “everyone is doing it,” or based on something you saw at a conference or read online. Good communication is key to avoiding these problems. Automation is an essential component of every project team. Topic 50. Coconuts Don't Cut It The purpose of a software development methodology is to helppeople work together. But as with any goal, the key is to keep aiming in the right direction. Topic 51. Pragmatic Starter Kit And that’s the important part: at the proje...

Today's 3 Line Summary Requirements rarely lie on the surface, so you should try to produce mockups and prototypes for customers or become a client. When faced with an intractable problem, enumerate all the possible avenues you have before you. sometimes it is useful to do something different. The agile team should experiment continuously, and need a good design for easy change. TIL (Today I Learned) date 2022.04.03 The scope I read today Chapter 8 Before the Project What you want to remember in the book Topic 45. The Requirements Pit Requirements rarely lie on the surface. Normally, they’re buried deep beneath layers of assumptions, misconceptions, and politics. Even worse, often they don’t really exist at all. In those cases, Pragmatic Programmers rely on the “is this what you meant?” school of feedback.We produce mockups and prototypes, and let the client play with them. There’s a simple technique for getting inside your clients’ heads that isn’t used ...

Today's 3 Line Summary Don't write code by Coincidence. Don’t assume it, prove and try it. Write test code, when you write code. Try to Unit test,Property-Based Test Whenever you create a name, you need to think of the reason. TIL (Today I Learned) date 2022.04.01~02 The scope I read today Chapter 7 While You Are Coding What you want to remember in the book Coding is not mechanical. There are decisions to be made every minute—decisions that require careful thought and judgment if the resulting program is to enjoy a long, accurate, and productive life. Topic 37. Listen to Your Lizard Brain First, stop what you’re doing. Make doodles about the code you’re writing, or explain it to a coworker (preferably one who isn’t a programmer), or to your rubber duck Write “I’m prototyping” on a sticky note, and stick it on the side ofyour screen. Topic 38. Programming by Coincidence As developers, we also work in minefields. There are hundreds of traps ...

Today's 3 Line Summary Concurrency is a requirement in our system Try to use transaction,semaphores for concurrency issue Consider to use Actor for concurrency without shared state TIL (Today I Learned) date 2022.03.30 The scope I read today Chapter 6 Concurrency What you want to remember in the book Topic 33. Breaking Temporal Coupling Activity diagrams show the potential areas of concurrency, but have nothing to say about whether these areas are worth exploiting. Remember the distinction: concurrency is a software mechanism, and parallelism is a hardware concern. Topic 34. Shared State Is Incorrect State A semaphore is simply a thing that only one person can own at a time. You can create a semaphore and then use it to control access to some other resource. The current design is poor because it delegates responsibility for protecting access to the pie case to the people who use it. Let’s change it to centralize that control. This caused the buil...

Today's 3 Line Summary Try to decoupling between codes If you need to use external golbal data or static configuration wrap an API Try to write code around events TIL (Today I Learned) date 2022.03.26 The scope I read today Chapter 5 Bend, or Break What you want to remember in the book Topic 28. Decoupling Tell, Don’t Ask https://martinfowler.com/bliki/TellDontAsk.html Try not to have more than one “.” when you access something. There’s a big exception to the one-dot rule: the rule doesn’t apply if the things you’re chaining are really, really unlikely to change. Any mutable external resource is global data.the solution is to make sure you always wrap these resources behind code that you control. If It’s Important Enough to Be Global, Wrap It in an API Topic 29. Juggling the Real World But whatever their source, code that’s crafted around events can be more responsive and better decoupled than its more linear counterpart Top...

Today's 3 Line Summary Don't trust evev yourself. When you think "that could never happen", check it if use resources, check to freed status when finish Always take small, deliberate steps, checking for feedback and adjusting before proceeding. TIL (Today I Learned) date 2022.03.24 The scope I read today Chapter 4 Pragmatic Paranoia What you want to remember in the book But Pragmatic Programmers take this a step further. They don’t trust themselves, either. Topic 23. Design by Contract Remember, if your contract indicates that you’ll acceptanything and promise the world in return, then you’ve got a lotof code to write! Topic 24. Dead Programs Tell No Lies Pragmatic Programmers tell themselves that if there is an error,something very, very bad has happened. A dead program normally does a lot less damage than a crippledone. Topic 25. Assertive Programming Whenever you find yourself thinking “but of course that could never happen,...

Today's 3 Line Summary When you are write code, you should consider ETC and DRY, orthogonality There are no final decisions. you should prepare about reversibility The only way to determine the timetable for a project is by gaining experience on that same project TIL (Today I Learned) date 2022.03.21 The scope I read today 2.A Pragmatic Approach What you want to remember in the book Topic 8 The Essence of Good Design ETC:Easier to Change You may need to spend a week or so deliberately asking yourself “did the thing I just did make the overall system easier or harder to change?” Topic 9 DRY The Evils of Duplication Programmers are constantly in maintenance mode.maintenance is not a discrete activity, but a routine part of the entire development process. Every piece of knowledge must have a single, unambiguous, authoritative representation within a system. DRY is about the duplication of knowledge, of intent. It’s about expressing the same ...

Today's 3 Line Summary It is your life. Software development skills are in demand in the world. You can change it if you have frustrated the job. You should be responsible for what you did. Don't blame others, don't excuse problems. Don't leave broken windows(bad designs, wrong decisions, or poorcode) Your knowledge becomes out of date. As the value of your knowledge declines, so does your value.You should keep learning. TIL (Today I Learned) date 2022.03.19 The scope I read today Foreword ~ 1.A Pragmatic Philosophy What you want to remember in the book you can change your organization or change your organization. Don’t blame someone or something else, or make up an excuse. but it is up to you to provide solutions, not excuses That’s the way it must be with software: don’t cause collateral damage just because there’s a crisis of some sort. Great software today is often preferable to the fantasy of perfect software tomorrow. Don’t spoil...

まえおき 　今週の水曜日に開催された JAWS-UG 初心者支部の勉強会(#44) に参加した。今回はAWS Builders Online Series recap2 ということで AWS Builders Online SeriesのTrack2 開発者向けAWS入門に関する内容の勉強会だった。私は「CDKでLambdaをデプロイしてみた」をタイトルでLT発表をした。せっかくなので(ブログのアクセスを増やすためにも(笑))ここにもブログ版としても書いてみる。 当時発表した発表版はこちら。 サービス紹介 　デプロイをする前に、今回使うサービスの紹介を簡単にする。 AWS CDKとは 　 AWS Cloud Development Kit(AWS クラウド開発キット) と呼ばれ、慣れたプログラミング言語でAWSリソースを定義できるフレームワークである。プログラミング言語が利用できるので、プログラミング言語の知識と表現力を使用できるのが特徴で、例えばCloudFormationでは利用が難しいif文(条件関数があるけど、複雑に作るのは難しい)やfor文を利用できる。また、言語もCDKライブラリについてもエディターの補完が聞いたり、AWSのベストプラクティスがデフォルト値として入っているため、コード記述量が少なくなるというメリットもある。ただし、CDKコードがそのままAWS環境にデプロイされるわけではなく、CloudFormationのテンプレートに変換されて、AWS環境にデプロイされる仕組みとなっている。 AWS CDK紹介ページより( https://aws.amazon.com/jp/cdk/ ) AWS Lambdaとは 　 AWS Lambda はサーバーレスでプログラムを実行できるAWSのサービスで、サーバーレスの名前通りにサーバーがないので、インフラ周りのプロビジョニングや管理が不要である。また、リクエスト数に応じて自動スケールしたり、様々なAWSサービスと連携が便利という特徴を持っている。課金もリクエスト数＆実行時間という利用した分だけ払えばいい構造となっている。 　　AWS Lambda紹介ページより( https://aws.amazon.com/jp/lambda/ ) 写真をS3バケットに入れるとLambdaがトリガー...

まえおき 　2021年のAWS Summit OnlineでSecurity Jamに参加したので、紹介と感想を書いてみる。実はブログは途中まで書いたものの放置してしまい、今はあんまり思い出せないけど、頑張って思い出してみる。 Security Jamの紹介 　まず、AWS Jamとはユースケースや運用関連のタスクを一連のシナリオで参加者(チーム)に提供し、提供されるAWS環境から課題の解決に取り組むイベントである。いくつかの課題とAWS環境が与えられ、課題を解決すると得点が入り、制限された時間内にどれくらい大きい点数を得るかを競うイベント。その中、Security JamはSecurity系のユースケースに特化した課題が出るJamとなる。 　AWSの学習にはいろいろコンテンツがあるけど、やはり実際に触ってみたり、トラブルシューティングしてみないとわからないものが多い。個人のAWS環境で軽く触ってみることはできるが、トラブルシューティングまでは難しい。そういう面でAWS Jamはゲーム形式で様々な課題(トラブル)解決に取り組むことができ、楽しくAWSの学習とスキル検証ができるので、ぜひ参加をおすすめするイベントである。 Security Jamで楽しんでいただきたいこと(Security Jamの紹介スライドより) 今回のJam 申し込み AWS Summit Onlineが開催される何日前くらいに、Summitの次の日にAWS Security Jamを開催するとの案内が、AWS Japan Blogに上がってきた。 AWS Security Jam開催のご案内 AWS Security Jamの歩き方 申し込みはAWS Summitがある5月11(火)、12日(水)にできるということだったが、何時に開放されるかが書いてなかった…(アクセス集中防止のため？)。また先着100名までとのことで、Twitterでは1時間おきでチェックしまくるとかの話もあり、私もライブチケットを予約するくらいの覚悟(?)を決めてSummitの当日を迎えた。 実際には思ったよりは余裕があって、11日の8時から申し込み開始が始まり、12時過ぎに締め切ったようで、私も無事申し込むことができた。 イベント準備 当日のスケジュール 当日のスケジュールはこんな感...

まえおき 久々のブログ投稿！最近はエンジニア関係ない業務が多く、ネタがあんまりない…。 久しぶりにCDKでリクエストがあって対応したけど、確認せず大丈夫だろうーと思ったら、大丈夫ではなかったので書いてみる。   やりたかったこと 全体のスタックにAというタグをつける タグの付け方はこちらの ドキュメント を参照 ただし、特定のAWSリソースについてはAタグではなくBタグをつけたい   やったこと 一番上のスタックについて、Bタグをつけるリソース以外にAタグを設定する Tags.of(MyStack).add('A', 'AA', exclude_resource_types=['AWS::Xxx::Zzz']) Bタグをつけるリソースに直接Bタグをつける Tags.of(MyResource).add('B','BB')   デプロイ結果 BタグのみをつけるリソースにAタグもBタグもついてしまう   理由と回避策 　タグのPriority調整もしてみたが、結局解決できずサポートに問い合わせへ…。理由としては スタック にタグを付与するとデプロイ時にCloudformationがすべてのリソースにタグを付与してしまうらしい( exclude_resource_types が適用されない)。また、githubのレポジトリでも議論が行われていること( https://github.com/aws/aws-cdk/issues/16742 )。 　スタック以下のレベルでタグを設定したり、逆に include_resource_types を設定する、Bタグをつけるリソースだけスタックを分離ことで回避できるらしい。前の2つはCDKで生成するリソースが多くあるので、別途分離もスタック構成のアーキテクチャを考慮しないといけないので、難しい…。 　結局対応としては、これからCDK変更がほぼないこと、Bタグの適用は期間限定で必要なことから、コンソールから手でAタグを削除することになった。   まとめ 　CDKでタグを扱うときはスタックレベルの動作に気を付ける必要があることがわかっ...

発生した課題 　AWS CDKのL2 ConstructのSubnet( ドキュメント )を利用してSubnetを生成している。ConstructはCloudformationの AWS::EC2::Subnet , AWS::EC2::RouteTable , AWS::EC2::SubnetRouteTableAssociation を生成する。SubnetとRouteTableを生成し、その二つのアタッチまでやってくれる。 しかし、今の環境ではRouteTableを別途生成されたものを利用する必要があり、生成されたRouteTableを手で削除してテンプレートを修正しようとすると、RouteTableがないとエラーになり、修正ができなくなってしまった…。   解決策 　すぐ思いつく方法としては、L1 ConstructのCfnSubnetで生成する方法である。ただ、今回はL2 Subnetのipv4CidrBlockを別のリソースで利用していて、広い範囲でコードを修正しないといけなかった。 (なんで、 AWS::EC2::Subnet はgetAttでipv4CidrBlockをゲットできないのか…ipv6はできるのに…？) 　他の方法はないかと検索してみたら、githubのAWS CDKに同じ問題のissueがあり、そこで方法を探すことができた( https://github.com/aws/aws-cdk/issues/4308 )。 subnetA.node.tryRemoveChild('RouteTableAssociation') subnetA.node.tryRemoveChild('RouteTable') 　上記のコードを追加し、再度デプロイを試したら、無事Subnetのみをデプロイすることができた。   コメント 　AWS CDKのL2 Constructは、今回のRouteTableとAssociationやIAMの権限など普段使うことには便利ではある。しかし、実際の業務ではいろんな制約があるので、それをCDKに取り入れようとするとややこしくなる場合が多い。今回の場合も、無理やり削除している感があったり、最初にこのことに気づいたらL1 Constructを利用していただろう。L1 Co...

まえおき 　今月で有効期限が切れるGoogle CloudのProfessional Cloud Architectの更新をして、その内容を社内勉強会で発表した。それを少し修正を加えて書いてみる。 勉強開始の前に 筆者のスペック SI会社に入社して5年目 業務はAWSのインフラ周りを担当、Google Cloudを触ることはない AWS資格も何個か持っています(Solution architectとかDevOps Engineerとか)   Google Cloudの資格を受ける＆更新する理由 　業務ではAWS触るのになぜGoogle Cloudの資格を受けてるかというと、以下の理由で受けている いろんなクラウドを勉強することで、各クラウドの強み弱みがわかる AWSを利用していても、データ分析と機械学習部分はGoogle Cloudを利用するハイブリッド構成を取る会社が多い気がする Google Cloudの取り組み(?)が面白い＆好き(そこまで詳しくはないが) Monitoringサービスって一応AzureやAWSの監視にも使える オープンソースベンダーと戦略的提携を組んでいる 合格するとグッズがもらえる こういうグッズは結構好きなので、結構モチベーションになる。 もらったものは大体押し入れ行きになるけど(笑)、Hoodieとかはテレワーク時の部屋着として活躍してる 昔はAssociate Cloud Engineerにも、グッズがもらえたけど、1、2年前からはもらえなくなったらしい。マグカップとかタオルとかよかったけどなー   Professional Cloud Architectについて 　詳細は Professional Cloud Architectの概要 を参考するといいと思う Google Cloudの技術 を組織が 活用するために 、 必要なクラウドアーキテクチャと専門的な知識を持っているか 評価する資格 AWSのSolution Architect Professionalの位置 受験料は200ドル 資格の有効期限は2年 有効期限の3か月前に案内が来て、2か月前、1か月前にまたリマインドが来る 更新は60日(2か月)...

まえおき 　CloudFormationを使っているとスタック(Stack)の更新をすることがある。今までCloudFormation内をリソースを更新したときに、更新されなくて戸惑った3つの場合について書いてみる。   1. LambdaのコードをS3に保存した場合 　当たり前かもしれないけど、その更新は最新のCloudFormationのテンプレートと旧テンプレートの差分より更新される。つまり、「 テンプレートに変更がないとスタック内のリソースに更新は発生しない 」ということだ。 AWS::Lambda::Function の Code 属性の記載方法には２つがある。テンプレート内に直接記載する方法とS3にファイルをアップロードし、そのバケット名とパスを記載する方法だ( 関連ドキュメント )。ここで更新時に問題になるのはS3にLambdaファイルを更新する場合だ。S3のファイルを更新しても、CloudFormationテンプレート内のコードは変わることなく、S３ファイルの変化の検知もしないので、Lambdaが更新されない。私は以下の2つの方法で更新した。   方法１ S3パスを更新する 　シンプルな方法である。 AWS::Lambda::Function の Code 属性を変更すれば、テンプレートに変更点が発生するのでLambdaを更新するｋとおができる。私は日付ごとにフォルダを作成、更新するLambdaをおきテンプレートを修正するようにしていた。しかし、当時はCI/CD環境ではなかったので、テストでLambdaに修正点があれば、都度S3にファイルをアップロードして日付を修正＆デプロイまたはテンプレートをロールバック＆デプロイする必要があった。ミスも多く発生していた。そこで、CI/CD環境を整えることと同時に方法2の方法を利用することにした。   方法2 SAMを利用する(おすすめ) 　SAM(Serverless Application Package)　を利用する方法だ。SAMテンプレートを書いて、コマンドを実行すると以下が実行される。 Lambdaファイルはランダム文字列のファイル名でS3にアップロードされる テンプレートをCloudFormationテンプレートに変換して、S3にアップロードし...

まえおき 　最近、AWS DevOps Engineer - Professionalを取った。今年の面談でDevOps Engineer資格自体は今年取ります＆なので研修行きたいですと話したので、2つの研修(DevOps Engineering on AWS、Advanced Developing on AWS)を受けて、受験する予定ではあった。いつ受けるか考えていた中、たまたまサンプル問題を解いてみたら「割といけるんじゃない？」と根拠なき自信にあふれて2週間後のテストセンターを予約。そして、運よく合格したので、3年後の更新に備えてメモ。(最近投稿が少なかったのもあるし)   筆者のスペック 入社4年目、AWS経歴は2年くらい 業務でAWSを使っている AWS関連作業の自動化業務をやっており、最近はStepFuncions、Cloudformation、Codepipelineを浅く触っている Solution ArchitectのProfessionalを持っている Advanced Developing on AWS を受講済   「AWS DevOps Engineer - Professional」について 試験ガイド を参考にすると、6つの分野から出題されるらしい。 分野 1: SDLC(Software Development Life Cycle)の自動化 22% 分野 2: 構成管理およびInfrastructure as Code 19% 分野 3: 監視およびロギング 15% 分野 4: ポリシーと標準の自動化 10% 分野 5: インシデントおよびイベントへの対応 18% 分野 6: 高可用性、フォールトトレランス、およびディザスタリカバリ 16% 　もう受験して2か月くらい経つので内容はほぼ覚えてない(...)。 　覚えている範囲で書くと、まずはCI/CD系の内容。CodeシリーズとElastic Beanstalkのサービスと絡めて,上記の内容を聞く問題が出るような感じ。例えば、「ブルー/グリーン構成をElastic Beanstalkで構成したけど、問題が発生。どう直せばいいか」や「こういう構成で開発からデプロイまで自動化したい。どうすればよいか(選択肢にはCodeシリー...

まえおき 今週あったチーム先輩(Aさん)との会話 私　：CloudFormationテンプレートにStepfunctionsを書こうとするとyamlにベタ書きしかできないんですよ。 　　　これが私がCDKを押す理由の一つなんですよ。 Aさん：LambdaみたいにS３バケットに定義ファイルを置いてそのパスをyamlに書けばいいじゃん。 私　：あれ?私が調べたときはそれができなかったので、今あるテンプレートはすべてベタ書きにしているんですが…。 Aさん：うん?これでできないんだけ？(CloudFormationのドキュメントURLを共有) 私　：できるじゃん!? 　送られてきた CloudFormationドキュメント を見ると、 DefinitionS3Location というプロパティがあった。おかしいな…調べたときは本当になかったんだようなーと思いずつ更新履歴を見ると、2020年5月20日更新。私が調べたのは1月ごろだったから、その時はなかったということだ。うーん、What's Newはほぼ毎日見るけど、使っているサービスのドキュメント更新履歴も頻繁にチェックしないといけないのかな…。とりあえず、試してみることにした。   DefinitionS3Locationを試してみる Step Functionsのテンプレートを準備 　State Machineの定義はAWSドキュメントの Getting Started with Step Functions にあるコードから最後のstateを少し変えた簡単な以下のコードを利用する。 DefinitionSubstitutions も使ってみたかったので。 DefinitionSubstitutions はテンプレート内で同時に作成されるリソースをState Machine内で利用する場合に使う。例えば、Lambdaを作成して、それをState machineに入れるとか。(LambdaのARNが必要になる)   　jsonファイルで保存し、S3のバケットに保存する。 　これでStep Functions側の準備は終わり。   CloudFormationテンプレートを準備 　 CloudFormationの StepFunctions::StateMachi...

まえおき AWS CDKが使いたいです…。 私は今までCLI＆手作業でやってきたAWS関連業務をWebページのボタン1つでできるように簡略する業務を担当しています。何もないアカウントに環境を構築する業務が多いため、必然的にCloudFormationを多く使うようになります。CLIやGUI手作業で作成するよりは便利ですが、テンプレートを書いてると、「もうちょっといい方法ないかな…」と思う時がありました。例えば… yamlの書き方があまり慣れない 配列や連想配列などなど サービスによって(例えば、API Gateway)書かないといけないものが多い SAMを使えば一部解決はできますが…。 使いまわしができない(For文など) 例えば、名前は違うが設定が同じリソースを全部テンプレート書かないといけない ミスの確認が難しい vscodeやpycharmでcfn-lintを利用すればいいものですが、チームのデフォルトエディタはcloud9なんですよね… Lambdaの場合は、事前にS3にアップロードするか、テンプレート内に記載しないといけない S3の場合はzipしてS3にアップロードするPipelineを作ればできそうではありますが、テンプレート記載はメンテ辛いですよね…。 StepFunctionの場合は、コード(Amazon State Language)テンプレート内に記載しないといけない これはS3にアップロードもできなく困ってました。あと、書き方にもちょっと苦労してましたね。 DefinitionS3Locationという属性がアップデートされてS3から定義ファイルを読んでくることが可能になりました。 といったことですね。 そう思っている...