通过 IPython Notebook 体验 ODPS 大数据分析服务

› Apache Hadoop

› Treasure Data

This topic created in 3729 days ago, the information mentioned may be changed or developed.

http://notebook.odps.online/

“大数据就像青春期的性，每个人都在谈论，每个人都以为别人在做，所以每个人都宣称自己也在做。”

—— Simon Matthews

关于大数据有人觉得是泡沫，有人则相信它的价值，我们恰好是后一种人：）。 ODPS 的全称是 Open Data Processing Service ，是阿里云的大数据计算服务。考虑到上手 ODPS 这样的大数据服务门槛比较高，至少要先注册阿里云的账号，并开通 ODPS 服务，然后下载、配置好命令行工工具……总之比较麻烦，所以我们开发了 Notebook 这样开箱即用的服务（ http://notebook.odps.online/
），让用户可以通过 IPython 来与 ODPS 进行交互，同时也是一个教程，帮助对大数据感兴趣的人了解 ODPS 是什么。

下面这张图就是在 ODPS 的 Notebook 中执行一条 SQL 的样子，可以一次查询几个 TB 的数据，而一切的计算都跑在 ODPS 的集群中。

通过 IPython Notebook 也可以方便地对数据进行可视化：

当然了，所以操作都是通过 Python~

ODPS 目前还提供了 Dataframe 这样的数据结构，简化了科学计算。
目前我们也正在建设周边的生态工具： http://repo.aliyun.com/

欢迎大家来试用~

6 replies • 2016-04-04 22:26:56 +08:00

greenmoon55

Mar 27, 2016

Internal Server Error

gancl

Apr 1, 2016

```

Connected to pydev debugger (build 145.260)
Traceback (most recent call last):
File "C:\Program Files (x86)\JetBrains\PyCharm 2016.1\helpers\pydev\pydevd.py", line 1530, in <module>
globals = debugger.run(setup['file'], None, None, is_module)
File "C:\Program Files (x86)\JetBrains\PyCharm 2016.1\helpers\pydev\pydevd.py", line 937, in run
pydev_imports.execfile(file, globals, locals) # execute the script
File "C:\Program Files (x86)\JetBrains\PyCharm 2016.1\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
exec(compile(contents+"\n", file, 'exec'), glob, loc)
File "C:/work//BigData/aliyun.py", line 1, in <module>
from odps import ODPS
File "C:\work\Python34\lib\site-packages\odps\__init__.py", line 33, in <module>
from .ipython.magics import *
File "C:\work\Python34\lib\site-packages\odps\ipython\magics.py", line 22, in <module>
from odps.inter import enter, setup, teardown, list_rooms
File "C:\work\Python34\lib\site-packages\odps\inter.py", line 33, in <module>
from .df.backends.frame import ResultFrame
File "C:\work\Python34\lib\site-packages\odps\df\__init__.py", line 23, in <module>
from .core import DataFrame
File "C:\work\Python34\lib\site-packages\odps\df\core.py", line 30, in <module>
from .backends.pd.types import pd_to_df_schema
File "C:\work\Python34\lib\site-packages\odps\df\backends\pd\types.py", line 40, in <module>
for np_type in _np_int_types + _np_float_types:
TypeError: unsupported operand type(s) for +: 'map' and 'map'
```
运行失败

gancl

Apr 1, 2016

The odps module is not an IPython extension

gancl

Apr 1, 2016

The odps module is not an IPython extension ```

chinekingseu

Apr 4, 2016

@gancl Python 3 在发布 0.4 的时候兼容性有些问题，现在已经修复了，更新 pyodps 重试下哦

chinekingseu

Apr 4, 2016

@gancl 确认安装 pyodps 了吗？