再抓一个大数据碗?AWS发布sagemaker:省略数据清洗、建模、优化的步骤,等等

< > >

作者: 娜塔利 文森特


美国拉斯维加斯时间2017年11月29日上午,美国首席执行官Andy Jassy发表在一年一度的AWS重新主题演讲:发明会议。仅仅两个小时,安迪就宣布了一系列令人兴奋的新服务。最重要的部分是一个249美元的deeplens智能相机,用于打开和部署的机器学习算法sagemaker平台,加上实时视频识别、文本翻译等应用服务。

在sagemaker平台最大的亮点,真正达到“无声杀全场”的强大功能:除了消除在数据清洗模型开发者的麻烦,它甚至可以让开发商最关键的参数优化机加工。
显而易见。亚马逊公司希望每个企业客户都能更好地利用人工智能技术,当然,最重要的是,使用亚马逊出售的AI工具。
已经发布了本会议宣布的这套人工智能解决方案。亚马逊已经明确表示,希望通过这种繁荣的东风,进一步扩大收入规模。同时,这项声明也意味着亚马逊和谷歌,也有自己的AI企业解决方案,已经成为这一领域的竞争者。

亚马逊sagemaker <H2>

我在开头所说的,它可能会释放这重新发明最大杀,也可能是由于各种开源的机器人工智能领域中流行的学习框架的最大杀手(如果你使用体验真的像Andy Jassy描述的一样):普通开发者想要使用机器学习他们自己的数据,但数据清洗、建模、试验和错误是太难花太多的时间,开发商害怕。sagemaker的目标是,开发人员只需要关心自己的输入数据,要使用什么框架和什么样的参数整定算法,其他什么肮脏的工作让机器使用机器学习来做一个关键的直接式机器学习服务,开发者应该。
让我们来看一看能使大数据工程师“失业”的工件的奥秘。

亚马逊sagemaker是满管的端到端的机器学习的服务,可以帮助开发者和数据科学家、机器学习专家,培训和管理快速建立大规模机器学习模型。它的出现将大大加快所有机器学习速度,并帮助您快速将机器学习元素添加到生产应用程序中。sagemaker *支持当前的机器学习的框架,是最受欢迎的**各种行业(包括谷歌tensorflow,脸谱网牛奶,pytorch和MXNet),并允许开发人员开始寻找必要的数据来训练人工智能模型,然后将结果发送到客户端,整个过程可以本程序实现。
< > > >

创建实例的记事本,它将启动一个配有传统的深度学习lib库巨蟒软件包,机器学习有5GB的存储容量,并含有多种机器学习算法的笔记本显示机制的计算实例。开发者可以选择配置VPC的支持能力,在自己的VPC简化和保护资源的访问创建埃尼。
实例配置完成后,我们可以打开记事本并开始编写代码!


模式训练 > >
为了简单起见,我们忽略了实际的模型训练代码。但对于任何亚马逊sagemaker常规框架的训练,你可以用下面的方法建立了一个简单的培训接口:


列车(
channel_input_dirs,超,output_data_dir,
model_dir,num_gpus,主机,current_host):
通过
保存(模型):
通过< >

这里,我们打算在Amazon sagemaker基础设施创建一个分布式任务训练上4 ml.p2.xlarge实例。顺便说一下,所有必要的数据都在这里下载。
进口sagemaker
从sagemaker.mxnet进口mxnet
M = MXNet(“cifar10 .py”作用,作用=,
train_instance_count = 4,train_instance_type =“ml.p2.xlarge
参数= { 'batch_size”:128、'epochs”:50,
“learning_rate”:0.1、'momentum”:0.9 })

现在,我们建立了模型的训练任务,我们可以将数据通过以下命令:m.fit(与# 8220;S3:/ /兰达尔喜欢sagemaker /数据/ gluon-cifar10和# 8221;)。


如果您转到任务控制台,您将看到任务正在运行!

<img class=“内容中间对齐尺寸全wp-image-104307”src=“http:

资料全部来自网络,如果有问题可以发邮件到站长邮箱