9.27 号考试通过了SAP（913分），心里终于落下一块石头.从开始准备到最后通过我用了数个星期的时间，平均每天超过10小时的准备.sap的难度比saa高不是一个级别的，涉及了大量的新的知识点.不仅仅需要知道每个知识点，还需要动手去实践，为此我写了20个几个blog都是尝试这里面的知识点，实际我做过的实验大概有40多个，几乎每天要做一个实验，因为时间的问题，没有把其他的整理到blog上来，也是一个遗憾，后面我会慢慢补充上来。 考前准备 aws 账号 ：做实验用 最好有一些linux/network/dev experience 最好熟悉一门编程语言,java/.net/python/ruby/go/nodejs 最好熟悉json/yaml 如果考过saa最好了，saa是非常基础的aws认证 如果考过saa，最好保证300小时以上的学习时间 考试内容准备 印度小哥的一个考试心得基本上面面俱到了 https://www.linkedin.com/pulse/preparing-aws-certified-solutions-architect-2019-sap-c01-agarwal/ bilibili 上印度小哥sap视频 https://www.bilibili.com/video/av66737718?from=search&seid=1011549087963751322 如果听的懂建议听听 bilibili 上cloud guru的sap视频 https://www.bilibili.com/video/av39285864?from=search&seid=1657200592137432769 aws 本上的get-started https://aws.amazon.com/getting-started/ 建议尝试里面大部分的实验内容，只有实验的多了才能够理解每个服务以及服务于服务之间的关联 ……

阅读全文

AWS X-Ray 可以帮助开发人员分析与调试分布式生产应用程序，例如使用微服务架构构建的应用程序。借助 X-Ray，您可以了解应用程序及其底层服务的执行方式，从而识别和排查导致性能问题和错误的根本原因。X-Ray 可在请求通过应用程序时提供请求的端到端视图，并展示应用程序底层组件的映射。您可以使用 X-Ray 分析开发和生产中的应用程序，从简单的三层应用程序到包含上千种服务的复杂微服务应用程序。 簡單來說，xray是用來追踪服務與服務之間鏈條，每個服務之間的請求內容，時間，參數等信息 用api-gateway 和 lambda 實驗 本文用到的例子是前面的博文: Aws cloudformation deploy lambda and apigateway 只需要額外做以下兩步 開啟api-gateway的x-ray,api gateway console-> apis->spring-boot-lambda->stages->Prod->logs/tracing->enable x-ray tracing 開啟lambda的x-ray,functions->spring-boot-lambda-LambdaSpringBootFunction-7CK2QHXPRA6F->aws x-ray:active tracing test x-ray:fire a request to api gateway open x-ray console:service map:you will see a picture like below: ……

阅读全文

aws migration from OP to cloud這是aws最注重的部分，關於遷移技術，aws提供了各種各樣的工具，比如遷移數據庫(sts,dms),遷移workload（aws server migration service）,協助你計劃遷移收集信息的工具(aws application discovery service),track遷移進程的工具(migration hub),遷移海量數據的aws snowball or snowmobile,s3 acceleration, 加速數據傳輸的 dierct connect等等，從網絡到數據庫到文件，給你武裝到牙齒 以下是兩篇關於數據遷移的好文 https://medium.com/@awsontop/aws-cloud-migration-strategy-and-process-6ed38479735a https://www.slideshare.net/AmazonWebServices/accelerating-your-portfolio-migration-to-aws-using-aws-migration-hub-ent321-reinvent-2017 ……

阅读全文

OLAP在線分析工具越來越來成熟，從開始的數據倉庫，到強大的elk，再到雲，比如aws的 gaq(glue-athena-quicksight)，當然aws也有elk在線服務 gaq vs elk,實際上是一類的產品，glue提供了crawler去爬去數據，類似 logstash，athena提供查詢工具類似elasticsearch ,quicksight 跟 kibana一樣ui.gaq是aws雲端的服務，沒有辦法部署在線下，elk既可以部署在op也可以部署在cloud上 這篇文章來自 https://medium.com/localz-engineering/serverless-big-data-start-here-aws-glue-athena-quicksite-4c70ecac9fe3 有一個圖片 實驗 cloudwatch agent 或者 application discovery agent 到ec2 cloud watch agent 或者 discovery agent sync log 到 s3 glue裡面創建crawler ，指定s3 glue裡面創建database 和table athena 寫sql語句查詢想要的數據 如果想要類似kinana那樣可視化的工具，那麼需要付費quicksight 完 ……

阅读全文

剛開始使用cognito服務的時候特別讓人困惑，有user pool 和 identity pool(Federated Identities)，user pool裡面還有federation，federation裡面有identity provider. identity pool 裡面有autenticated provider裡面也有user pool ID! 納尼?這是什麼鬼? let’s forget the connection between them user pool 簡單來說就是提供一個用戶驗證的服務，比如用戶自定義用戶，用fb,GOOGLE，twitter等賬戶登錄，登錄後獲取一個token，用戶的每次請求帶著這個token就可以了，用戶登錄後獲取的是你個人應用的resource! ,比如你自己做了一個網站，登錄後可以管理自己用戶，權限，圖片等等，你有權限去訪問這些資源 identity pool 也是提供一個用戶認證的服務，用戶可以在裡面設置aws 的role，也就說用戶登錄後得到的aws的resource 的訪問權限，比如你可以訪問s3.只是這個登錄可以跟 user pool提供的服務去綁定，也可以不用user pool的服務直接用 identity pool裡面的provider去對接，也就說，如果你有google的id也可以登錄後獲取aws resource 資源的訪問權限，這個是登錄後aws通過sts生成臨時credential 來做到的 summary user pool 只是負責authentication，沒有authorization，即便有也是用戶本身應用的服務 identity pool，既可以authentication，又可以authoriztion，授權的是aws的resource 上幾張圖 幾個非常有價值的link https://serverless-stack.com/chapters/cognito-user-pool-vs-identity-pool.html https://gorillalogic.com/blog/java-integration-with-amazon-cognito/……

阅读全文

这是一个aws官方的文档，我认为最好的cognito的例子，如果理解这个sample，那么cognito就没有任何问题 https://aws.amazon.com/getting-started/projects/build-serverless-web-app-lambda-apigateway-s3-dynamodb-cognito/ 详解 廢話少說直接上圖 程序組成部分 - 靜態的代碼存放s3 - 動態的代碼存放lambda - 代碼的訪問入口通過api-gateway - 數據的存放時dynamoDB(程序登錄後有個點擊頁面位置生成的數據,與用戶驗證沒有太多關係) Cognito user pool 在user login 流程 - 用戶用用戶名+密碼(或mfa，這取決於cognito user pool的配置)請求登錄 - aws cognito user pool去驗證用戶 - 如果用戶通過驗證返回一個token - 下一次用戶用這個token來請求訪問 - aws cognito user pool 可以基本满足用户登录，如果涉及到权限可以跟自己数据进行绑定 - 这个例子里面特别要注意的是，api gateway 直接设置了 Authorizers ：里面可以指定cognito 来对用戶進行驗證，不用額外寫程序來驗證，也就說每次訪問一個服務/ride.html,api-getway通過Authorizers直接去用cognito去驗證用戶的token - 這個例子分了兩個步驟，第一個步驟是直接登錄，登錄後獲得一個toke - 第二步驟是用api-gateway 自動驗證用戶的登錄，也就是authentication ……

阅读全文

用Cloudformation 来部署 java 的lambda 和api gateway,这里要用到spring-boot写java 代码，需要用到s3，存放lambda代码，需要创建lambda function和api agetway，还需要用到sam Aws lambda with Spring Boot 本文用到的git代码来自 https://github.com/gemerick/spring-boot-lambda 本文的内容来自 https://keyholesoftware.com/2018/04/26/aws-lambda-with-spring-boot/ 本文的步骤 安装sam git 克隆现有代码 创建s3 bucket 用cloudformation 上传 代码 用cloudformation 部署 测试代码 安装sam pip3 install --user aws-sam-cli git 克隆代码 git clone https://github.com/gemerick/spring-boot-lambda -b lambda mvn clean package 创建s3 bucket aws s3 mb s3://spring-boot-lambda-20100905 拷贝jar 到S3 ，更新sam的template aws cloudformation package --template-file sam.yaml --output-template-file target/output-sam.……

阅读全文

Aws ecs 简单来说就是host docker container，跟K8S类似，如果用过k8s，那么ecs非常的好理解 本文主要按照 Gentle Introduction to How AWS ECS Works with Example Tutorial 搭建 关于ECS的专业的词汇 Task Definition ：实际就是要给launch configration,比如暴露端口号，用什么docker image，cpu 内存需要多少，运行docker 的command，环境变量 Task ：简单来说就是一个running instance Service ：一组task Cluster ：一组task 跑在一个或者多个 constainer 里面 Container Instance ：容器实例里面跑的是多个 task 按照此图搭建一组ecs的服务 创建一个ecs cluster 创建一个ecsServiceRole 创建Task Definition 创建elb和 target group 创建 service，里面只有一个task 检查运行情况 把service里面的task 改为4 创建一个ecs cluster 创建secrutiry group my-ecs-sg……

阅读全文

Aws数据库迁移工具简介 越来越多的公司选择把服务迁移到云上,那么数据库的迁移尤其重要，亚马逊提供了数据迁移的工具 sct（schema converstion tool） 和 dms （data migration service）两个工具协作帮助客户从线下数据库导入到线上数据库,source 和 target 的database可以不是一种数据库类型，比如从mysql到oracle，或者mysql 到postgresql 简单介绍一下sct，简单点来说就是数据库schema转换工具，把本地的数据库的schema转换为aws线上目标数据库的schema，然后在线上导入这个schema生成数据库,然后用DMS帮你把数据导出到aws上 把aws mysql RDS 数据库 导出到 aws postgresql RDS 实验的目标就是把mysql数据库迁移到postgresql，由于在aws cloud上做比较方面，所以选择了都在云上来迁移做实验 Down load Aws schema convertion tool create mysql database on aws create database：test and table myclass with 2 column:id name test id name 1 hello 2 kitty create postgresql database on aws Open aws sct……

阅读全文

我几乎删除了所有的service，但是eni就是不让我删除 关联的eip也不让删除 我去aws社区看了很多帖子最后发现主要原因有两个地方 efs 使用eni nat gatway 使用了eni 根据这两点，我去查找，果然有个natgateway 使用eni，删除掉nat gateway后，eni可以删除，eip可以release了 ……

阅读全文