senooken JP Social
  • FAQ
  • Login
senooken JP Socialはsenookenの専用分散SNSです。

  • Public

    • Public
    • Network
    • Groups
    • Popular
    • People

Conversation

Notices

  1. Akionux (akionux@status.akionux.net)'s status on Monday, 01-Jun-2020 00:19:31 JST Akionux Akionux
    PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog https://yutori-datascience.hatenablog.com/entry/2017/08/03/230047
    dask
    In conversation Monday, 01-Jun-2020 00:19:31 JST from status.akionux.net permalink

    Attachments

    1. Domain not in remote thumbnail source whitelist: ogimage.blog.st-hatena.com
      PythonでCSVを高速＆省メモリに読みたい
      from tkm2261
      今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas…

    Feeds

    • Activity Streams
    • RSS 2.0
    • Atom
    • Help
    • About
    • FAQ
    • TOS
    • Privacy
    • Source
    • Version
    • Contact

    senooken JP Social is a social network, courtesy of senooken. It runs on GNU social, version 2.0.2-beta0, available under the GNU Affero General Public License.

    Creative Commons Attribution 3.0 All senooken JP Social content and data are available under the Creative Commons Attribution 3.0 license.